Ускорить обучение LLM 70B на 25%? Легко! YaFSDP

Сегодня мы выĸладываем в опенсорс наш новый инструмент — библиотеку YaFSDP. Она значительно ускоряет обучение больших языковых моделей — как собственной разработки, так и сторонних, с открытым исходным кодом.

Библиотека даёт ускорение до 25% — результат зависит от архитектуры и параметров нейросети. С помощью YaFSDP также можно расходовать до 20% меньше ресурсов графических процессоров (GPU), которые требуются для обучения.

Несколько подходов нашего метода:

— выделить два буфера под все собираемые веса, чтобы не отдавать их на отĸуп аллоĸатору памяти torch. Каждый нечётный слой будет использовать первый буфер, ĸаждый чётный — второй. Это уменьшит нагрузку на память и сделает её использование более предсказуемым;
— не делать чеĸпоинт аĸтиваций для ĸаĸ можно большего числа слоёв. Это позволит убрать избыточные вычисления за счёт сэкономленной памяти;
— выделить два стрима: вычислений и ĸоммуниĸаций, а синхронизацию построить таким образом, чтобы forward не начинался до завершения all_gather того же слоя, а all_gather не начинался до освобождения соответствующего буффера на предыдущем слое;
— разово собирать RMSNorm/LayerNorm в начале итерации и тольĸо в ĸонце усреднить градиенты;
— вынести predivide в самый ĸонец backward, таĸ ĸаĸ при reduce_scatter в bf16 или fp32 рисĸа переполнения нет.

Более подробно про проблемы обучения на множестве GPU можно почитать на Хабре. Приходите в репозиторий библиотеки YaFSDP, ставьте лайк и приносите вопросы в Issues. А ещё — делитесь своими впечатлениями здесь в комментариях.

Душный NLP

Редко тут посты, потому в основном создаем новые каналы)

Yandex ML Underhood — канал, где рассказываем подноготную ML в Яндексе.
Про особенности запуска опенсорса YaFSDP, как вентиляторы в суперкомпьютерах превращались в шрапнель, как (имея крутой пайплайн TTS для русского) сделать Алису на казахском и многое другое.

Каждый пост у нас нетленка, так что не только подписывайтесь, но и читайте предыдущие посты.

Дорогой дневник, мне не подобрать слов...

Да, канал превратился в отчетную историю, что было сделано или будет вот-вот)
Я пришел в этот раз позвать вас на конференцию PML Conf - регайтесь
Уже в эту субботу, 14 сентября, Москва и онлайн трансляция

Внегласный лозунг этой конфы -> этого не напишут в научных статьях
Мы действительно постарались отобрать именно такие доклады

Друзья, стартуем нашу
Подключайтесь ;)

https://youtube.com/live/0goHevaSgLw

А, вот еще ссылка зала

https://www.youtube.com/live/ZbLX27_GS_8?si=fP40k8bQ7i0lWV3U

Лучше б эти люди размечали данные для LLM и заработали бы больше

ахаха) но с другим справляется получше https://huggingface.co/glif/how2draw

Когда-то этот канал создавался вокруг МЛ-соревнований.

И вот отличный повод вернуться к этой теме - новые дорожки Yandex ML Cup
2 дорожки:
- Music information retrieval - определение кавер-версии трека по акустическим признакам трека
- Self-Driving Cars - предсказание движения беспилотного автомобиля

Особенно хочу рекомендавать вторую дорожку: кажется замудренее, потому конкуренции мало, а на деле много точек для роста метрики

Всем удачи и до встречи в финале 😉

Исследование от инженеров Apple, почему LLM глупы в математику

https://arxiv.org/abs/2410.05229

LLM-ки уже бенчмаркаются в ML задачах, а ты даже не можешь недельку потренить задачки на литкоде, чтоб найти нормальную работу

https://openai.com/index/mle-bench/
https://arxiv.org/abs/2410.07095v1

Виш-лист на новый год
- 26 TOPS
- support TensorFlow and PyTorch

https://www.raspberrypi.com/news/raspberry-pi-ai-hat/

Вышел ежегодный https://www.stateof.ai/
200+ страниц, чтиво на выходные

а вот кто скрывался за red_panda

Скатались в Милан на ECCV'24 и увиденного хватило еще на целый хабр-пост
https://habr.com/ru/companies/yandex/articles/854982/

От личных впечатлений о негрони и ризотто месте конференции, до понравившихся статей.
С вас лайк статье, с нас еще больше интересных и полезных материалов

ИИ фишки в Paint-е, как оливье с гребешками

Про ИИ нововедения в самые главные Windows инструменты: Paint и Блокнот:

https://blogs.windows.com/windows-insider/2024/11/06/new-ai-experiences-for-paint-and-notepad-begin-rolling-out-to-windows-insiders/

Коллеги запускают онлайн-интенсив по компьютерному зрению от ШАДа и Яндекс
Поработаем с диффузионными моделями и узнаем про начинку YandexArt

Регистрация до 24 ноября
Отбор с 6 до 29 ноября

https://shad.yandex.ru/cvweek

Когда уволил почти всех разработчиков, а код сам не пишется...

https://www.forbes.ru/tekhnologii/525235-vk-otkroetsa-miru-kompania-podelitsa-svoimi-razrabotkami-v-formate-open-source

Привет! В команде редакции, с который мы сотрудничаем в рамках великолепных каналов и некоторых хабр статей открыта позиция Пишущего редактора с техническим бэкграундом

Будет возможность поучаствовать в работе над постами в Душный NLP, ML Underhood, Рекомендательная и CV Time.
А еще ребята делают крутые хабр посты: 1, 2, 3, 4, 5

Если вы или ваши друзья имеете опыт редакторской работы от 3 лет, знание сферы ИТ и, в частности, тематики ML, то обязательно откликайтесь