10 лет назад я завалил последний экзамен в ШАД. Но сейчас для разработчиков появилось альтернативное поступление, где у вас проверяют не забытые знания высшей математики, а инженерные знания.

Не упусти возможность учиться в ШАД!

До 6 мая включительно можно подать анкету на обучение в Школе анализа данных Яндекса - двухгодичной программе, по одному из востребованных направлений: разработка машинного обучения, data science, инфраструктура больших данных или анализ данных в прикладных науках.

Чтобы поступить и учиться в ШАДе, важно интересоваться машинным обучением, обладать хорошей математической подготовкой и владеть одним из языков программирования. Для разработчиков с опытом есть альтернативный трек поступления, который включает в себя не только оценку знаний в алгоритмах и высшей математике, но и достижений в исследовательских и/или индустриальных задачах.

Основной язык обучения на программе: русский.

Анкета для поступления (https://clck.ru/34GwCS), чат для поступающих (https://t.me/+DQ1j7epbIlNmNjFi).

В рамках #запожертвованиенаблаготворительность хочу рекомендовать митап, но увидев спикеров хочу искренне от себя добавить, что митап хороший.

Большой DS-митап о персонализации от СберМаркет Tech🔥

Встречаемся на Data Science Meetup 5 июля в 19:00 в московском офисе СберМаркета или на онлайн-трансляции.

В программе:

🟡 Как мы делали проект по персональному ML-ранжированию каталога и почему из этого ничего не получилось, а потом внезапно каааааак получилось // Антонина Горячева, и.о. директора по анализу данных в СберМаркете.

🟡 ML-персонализация для карьерной платформы: о продукте, что для него делали, какие проблемы были и как их решали // Петр Чуйков, DS Team Lead, HeadHunter.

🟡 Кросс-категорийные рекомендации в Авито: зачем они нужны, как добавляли и что из этого вышло // Михаил Каменщиков, Recommendations Unit Lead Авито.

🟡 Персональный тарифный план для новой базы: key learnings после запусков пилотов, как и почему реальность разошлась с ожиданиями и что с этим делаем // Дарья Шатько, Data Science Teamlead Мегафон BigData.

После каждого доклада дарим подарки за лучший вопрос 🎁

Регистрируйся по ссылке и до встречи на митапе!

Я терпел, но уже сутки прошли, а никто не написал.

Вышла Mistral 7B (The best 7B model to date, Apache 2.0)

https://mistral.ai/news/announcing-mistral-7b/

Привет,
Если у меня есть ребята из Санкт-Петербурга, приходите в понедельник 😉
Но не забудьте сегодня зарегистрироваться

https://events.yandex.ru/events/data-dojo-09-10-spb

Смерть EDA Kernel-ов на Kaggle => spotlight

Ладно, юмор и кликбейт.
Но интересный наворот поверх пандаса для недавно прибывших в ml и аналитику на python.
Библиотека для интерактивного исследования структурированного и НЕСТРУКТУРИРОВАННОГО датафрейма

> spotlight.show(df)

Вот вам вечернее залипалово:

Роботы, оптимизация, лабиринты, соревнования
The Fastest Maze-Solving Competition
(ru-перевод) Микромышиные бега — самая быстрая гонка по лабиринту

Делаем первый МЛ митап в Белграде

Буду рад вашему фидбеку, просмотрам и лайкам трансляции.

🔹 19:00 — Алексей Березникер, руководитель команды генерации рекламы в Яндексе: расскажет про нейросетевую генерацию ecom-объявлений
🔹 19:40 — Федор Лебедь, разработчик отдела NLP группы YandexGPT Alignment из Яндекс Поиска: расскажет про генеративные модели и методы обучения с подкреплением
🔹 20:40 — Максим Мачула, руководитель службы качества контента в Поиске по Товарам: расскажет, как мы группируем предложения магазинов в карточки товаров и при чём тут HNSW и CatBoost

онлайн тут

#events
Сегодня мы соберемся на митап
Подключайтесь онлайн

Трансляция начнётся в 18:30 вот здесь


- Автогенерация рекламных баннеров на Яндекс Маркете
- Нейросетевое ранжирование для рекомендательных систем
- Направленное шумоподавление в Алисе и как используются несколько микрофонов
- Подмешивания дополнительных элементов в поиске в борьбе за счастье пользователя

подробнее про программу тут
Но можно сразу залетать на трансляцию

see you)

#article
За такие статьи все еще можно читать хабр
Оч советую лайкнуть, почитать или добавить в закладки

Введение в современную квантизацию
https://habr.com/ru/companies/yandex/articles/800945/

Новый AI Index Report 2024 опубликован!

Сайт: https://aiindex.stanford.edu/report/
PDF: https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024.pdf

Вряд ли в трамваях ESM поддержка)

🔥 Друзья, встречайте новый телеграм-канал от нашей NLP команды — @stuffyNLP

Подпишитесь обязательно, но а тут я поделюсь с вами историей создания.

В Яндексе есть давняя традиция внутренних семинаров. Например на NLP-семинаре каждую неделю разбирают интересные статьи по, неожиданно, NLP. Мы решили, что эти знания не должны оставаться внутри компании. Поэтому убрали NDA из этих обзоров и теперь делимся ими в коротких постах.

Почему "Душный NLP"? Ребята не просто пересказывают статьи, а анализируют их с позиции своего опыта, хвалят и ругают.

Обещаем, душноты будет больше. Подписывайтесь и советуйте друзьям @stuffyNLP

стараюсь не сболтнуть что-то лишнее

Ускорить обучение LLM 70B на 25%? Легко! YaFSDP

Сегодня мы выĸладываем в опенсорс наш новый инструмент — библиотеку YaFSDP. Она значительно ускоряет обучение больших языковых моделей — как собственной разработки, так и сторонних, с открытым исходным кодом.

Библиотека даёт ускорение до 25% — результат зависит от архитектуры и параметров нейросети. С помощью YaFSDP также можно расходовать до 20% меньше ресурсов графических процессоров (GPU), которые требуются для обучения.

Несколько подходов нашего метода:

— выделить два буфера под все собираемые веса, чтобы не отдавать их на отĸуп аллоĸатору памяти torch. Каждый нечётный слой будет использовать первый буфер, ĸаждый чётный — второй. Это уменьшит нагрузку на память и сделает её использование более предсказуемым;
— не делать чеĸпоинт аĸтиваций для ĸаĸ можно большего числа слоёв. Это позволит убрать избыточные вычисления за счёт сэкономленной памяти;
— выделить два стрима: вычислений и ĸоммуниĸаций, а синхронизацию построить таким образом, чтобы forward не начинался до завершения all_gather того же слоя, а all_gather не начинался до освобождения соответствующего буффера на предыдущем слое;
— разово собирать RMSNorm/LayerNorm в начале итерации и тольĸо в ĸонце усреднить градиенты;
— вынести predivide в самый ĸонец backward, таĸ ĸаĸ при reduce_scatter в bf16 или fp32 рисĸа переполнения нет.

Более подробно про проблемы обучения на множестве GPU можно почитать на Хабре. Приходите в репозиторий библиотеки YaFSDP, ставьте лайк и приносите вопросы в Issues. А ещё — делитесь своими впечатлениями здесь в комментариях.

Душный NLP