DenoiseLAB
486 subscribers
1.33K photos
159 videos
3 files
1.57K links
Блог DenoiseLAB (машинное обучение, аналитика)

Информация в канале служит только для ознакомления и не является призывом к действию. Не нарушайте законы РФ и других стран. Мы не несем отвественность за ваши действия или бездействия.
Download Telegram
Коротко, о работе, в разных департаментах )) ML - департамент - оно считается ))))
😁3
🔤Новости, мнения, тренды ИИ. Ежедневный выпуск: 28/01/2024

👉"Илон Маск увеличивает вычислительную мощность Twitter, чтобы соревноваться с другими компаниями в области ИИ"

В целом ситуация, более чем прозаичная, на фоне того, что сейчас идет бурный рост ИИ и по оценкам экспертов, мы сейчас даже не на гребне волны, а на самом ее пороге ситуация с Теслой и игрушками Маска начинает закручиваться все острее.

Так на недавнем корпоративном совещании Маск призвал своих работников трудится круглосуточно, так как Китай уже не то, что наступает на пятки по электромобилям, а уверенно и даже в крейсерском режиме обгоняет всех и вся. А это потенциальные разработки и новые введения. Так например по исследованиям Deep Mind, было сгенерировано порядка 2.2 млн новых материалов для электромобилей, солнечных батарей и других приложений. Из них 380 тыс. являются стабильными.

США отчаянно нуждается в новых рабочих руках, отсюда и мягкая политика по отношению к мигрантам. То же заявляет и Макс, так как согласно конституции США сейчас принимается закон, позволяющий сократить срок рассмотрения документов на пребывание в США с 10 лет до полугода. Битва за кадры становится все ожесточеннее.
Please open Telegram to view this post
VIEW IN TELEGRAM
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_196

🔠 Можно ли создавать несколько кластерных индексов в одной таблице ? (Часть_5)

Горизонтальное и вертикальное масштабирование (Sharding): Если вам требуется масштабирование базы данных на несколько узлов, можно использовать горизонтальное разделение данных (sharding), при котором данные разбиваются на несколько физических узлов. В этом случае каждый узел может иметь свою собственную копию таблицы с кластерным индексом.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

👍Чем больше шеров и лайков, тем больше полезного контента я буду выкладывать.
🔤Новости, мнения, тренды ИИ. Ежедневный выпуск: 29/01/2024

👉Новость: К 2025 году Минобрнауки планирует переход к централизованному планированию всех НИОКР и технологических работ, которые выполняются за бюджетные деньги. Сделают это на базе единой цифровой системы. Власти не удовлетворены текущим уровнем внедрения результатов научно-исследовательских работ. Проблема в том, что отсутствует связь между расходами на исследования и приоритетами научно-технологического развития.

Мнение: Исследования это рискованный бизнес, на него всегда существует статистика по расходам, если направление дает 30%-40% профита, в него уже будут вкладываться и чтобы дотянуть его до 50% и выше. Мы не берем в расчет приоритетные области, которые развивают несмотря на любой процент.

Кроме того, есть фундаментальная наука, которая не приносит профита, но двигает всю науку в целом. Тут говориться о прикладных исследованиях, они должны окупаться иначе финансирования не будет.

Другими словами науку перестраивают на рельсы и методику фриланса, у успешного фрилансера 95% заказов внедренные и заказчик доволен. Вот к такому все ведут. Мера работала отлично в советском союзе, где ценность исследования имела вес.

Я давно консультирую по вопросам разработки научных изысканий по аналитике и машинному обучению и в вузах этот тренд все больше проявляется. Начиная с самых ранних работ бакалаврской диссертации и выше. Более того, снова поднимается тренд, на значимость защиты.

По итогам 2023 года Россия показала самый низкий процент защиты кандидатских и докторских диссертаций. Поэтому активно взялись за науку. Так что отсидеться больше не получится и за любые средства придется не просто отчитываться и показывать результат.
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
🔤🔤Ролик полностью сделан нейросетью. Видно, конечно, что местами плывет все, но качество просто поражает, невероятно круто.

🔤🔤Скоро такие ролики в реалтайме будут клепать. На бекстеджи, или между сценами, прям, вообще будет "залетать" на ура.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3❤‍🔥2
👋Уважаемые коллеги!!!

🔥https://habr.com/ru/companies/vtb/articles/790026/ - опубликовали мою статью по заказу ВТБ и Хабр.ру.

🆒Работа была такая, под эгидой ВТБ и других крупных игроков рынка: производства, науки и банковского сектора (Роскосмос, Ростех, МИСиС, МФТИ, Газпром, РусГидро и т.д.) проводился конкурс для школьников "Сириус" под государственной программой "Большие вызовы" https://bigchallenges.ru/. По данной программе школьники разрабатывали MVP под различные реальные задачи бизнеса и вообще учились коммуницировать с заказчиками и вливаться в тему больших исследований.

🆒Мне необходимо было провести интервью с представителями банка ВТБ, и собрать максимум информации о данному конкурсу, решаемых задачах, инструментах, организации и составе команды. На это отводилось 1 час. Интервью я проводил с коллегами с управляющим редактором Хабр.ру. По ходу разговора, я записывал все ключевые моменты, которые надо отразить в будущей статье, которую мне необходимо было написать.

🆒После этого была выдана дополнительная запись с разговором о задаче от самих участников, группы школьников и все необходимые материалы по самому проекту. Мне необходимо было написать тезисы, далее составить черновик (все это сделали за неделю до нового года, очень оперативно) и после нового года сдать чистовик. Я сдал его как условились. Были небольшие правки, которые я очень оперативно поправил. В итоге статья вышла в свет и заняла свое достойное место.

🆒Советую с ней ознакомиться и прилагаю все справочные материалы. Благодарю ВТБ и Хабр.ру за предоставленную возможность.

https://bigchallenges.ru/projects2023/geo_analitika
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4
🅰️🔤🔤Генерация по простому промпту выходит на новый уровень, в целом очень простой промт ("Interior selfie of a tattooed woman with silver hair and piercings, shot on a low camera quality phone") дает весьма реалистичное качество.

🔤🔤🔤Даже особо не надо накручивать ничего, как прежде прописывать как рендерить, какой свет использовать, какой кадр, какая пленка и какими инструментами пользоваться. В целом получается отличное качество.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2
👍Был сегодня на ивестиционом форуме. В целом, ничего нового, все покупают недвижку и вкладываются в нее (даже как-то скучно немного стало). На вопрос, кто использует в своей работе AI, было 2.5 руки, в том числе и ваш покорный слуга отличился в этом. То есть купить и сдавать выгоднее, чем рисковать и разрабатывать. В целом все копят, и активно скупают все средиземноморье. Даже Дубаи уже не в почете уже.

👍Больше всего, я хотел оценить публику и понять как общаться с потенциальными инвесторами и на, что они смотрят, что их может заинтересовать и как с ними разговаривать. Очень ценный навык и понимание при ведении бизнес-переговоров. Всем кто занимается аналитикой, бизнес-анализом, маркетингом, сквозной аналитикой, очень рекомендую такие посещать тусовки. В целом много было знакомо, так как по работе сталкиваюсь с такими людьми, но тут было сразу много разных типажей.

👍Мне больше всего было интересно посмотреть на презентацию одной компании, которая занимается аналитикой для селлеров WB. Они "запили" интересный инструмент по аналитике для продаж. Чтобы по кнопке все работало, и было максимально клиенто-ориентировано. Все остальное на данном этапе развития было не особо интересно.

👍 Интересное открытие для себя сделал, на IT конференциях в отличие от инвесторских, уважение в целом намного больше друг к другу, чем на таких. Было очень необычно видеть, как конференцию 2-3 раз тормозят, так кто-то очень шумно, что-то обсуждает и в целом создает впечатление, что это так все, а о чем там "трепится" докладчик, вообще все равно. Отличный опыт.
Китай перешел на собственные автоматизированные системы в портах

Новый терминал открылся в декабре прошлого года в порту Циндао (провинция Шаньдун).

Автоматизированные контейнерные терминалы, которые работают с грузами без участия людей, требуют сложного ПО. Группа проекта разработала более 28 тыс. компонентов аппаратного и программного обеспечения. В группу входили 30 человек, а также 20 китайских производственных компаний.

Первый автоматизированный терминал в КНР начал работу в Циндао в 2017 году. Тогда использовалось иностранное программное обеспечение.

По данным Министерства транспорта КНР, в настоящее время в стране действуют 18 автоматизированных терминалов в различных портах. Еще 27 строятся или находятся на стадии реконструкции.

Для сравнения, в США только 4 из 350 портов автоматизированы, во многом это связано с работой профсоюзов.
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_197

🔠 Как устроен декодер Transformers ? (Часть_1)

Декодер в архитектуре Transformers используется в задачах генерации текста, машинного перевода и других подобных задачах. Он выполняет обратную операцию по сравнению с энкодером и помогает генерировать последовательности на основе закодированного контекста.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

👍Чем больше шеров и лайков, тем больше полезного контента я буду выкладывать.
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_197

🔠 Как устроен декодер Transformers ? (Часть_2)

Декодер в Transformers состоит из нескольких блоков декодирования, которые могут быть идентичными или схожими с блоками кодирования в энкодере. Каждый блок декодирования обычно состоит из нескольких слоев самовнимания (self-attention) и позиционно-сетевой передачи (feed-forward).

Слои самовнимания позволяют декодеру фокусироваться на различных частях входной последовательности, а слои позиционно-сетевой передачи позволяют модели агрегировать информацию и генерировать последовательность на выходе.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

👍Чем больше шеров и лайков, тем больше полезного контента я буду выкладывать.
WiFi map – найдет и покажет доступные бесплатные Wifi-точки в вашем городе. За пароль от точек требует премиум подписка, однако большинство этих точек общедоступны.
Города вводите на английском языке.

https://www.wifimap.io/
Данный ресурс выдает точную дату и время загрузки видео в TikTok по его URL-адресу.

https://bellingcat.github.io/tiktok-timestamp/
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_197

🔠 Как устроен декодер Transformers ? (Часть_3)

В отличие от энкодера, декодер также использует дополнительное самовнимание, называемое "маскированным самовниманием" (masked self-attention). Маскированное самовнимание гарантирует, что модель не имеет доступа к будущим токенам во время генерации и может использовать только текущие и предыдущие токены для прогнозирования следующего.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

👍Чем больше шеров и лайков, тем больше полезного контента я буду выкладывать.
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_197

🔠 Как устроен декодер Transformers ? (Часть_4)

В процессе генерации декодер применяет блоки декодирования последовательно к входной последовательности с маскированным самовниманием, чтобы генерировать выходную последовательность.

Обычно декодер также использует эмбеддинги токенов на входе и включает механизм внимания (attention), который помогает модели сконцентрироваться на важных частях контекста при генерации каждого токена.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

👍Чем больше шеров и лайков, тем больше полезного контента я буду выкладывать.