Наконец-то нейронные видеомемы!

UPD: там в комменты еще накидали, посмотрите!

Про обучение LLMок и яндексовый опенсорс

Недавно постил вот такую картинку. Если поразмышлять, то вообще-то говоря, стоимость сильно зависит от географии. Железки и электричество стоят везде по-разному. А экономить можно ещё и на софте и оптимизациях.
То, что сегодня яндекс опенсорснул свою библиотеку YaFSDP, интересное событие с точки зрения новой эры в обучении моделей.

Основное из их новости:

– яндекс пишет, что решение позволяет ускорить до 25% обучение LLM с открытым исходным кодом
– обещают, что с YaFSDP экономия памяти GPU может достигать 20%
– ну и показывают результаты теста библиотеки на сторонних нейросетях (на примере модели LLaMA 2 этап предварительного обучения на 1024 графических процессорах сократился бы с 66 до 53 дней)
– исходный код уже есть на GitHub, посмотреть подробности замеров можно в репозитории GitHub, а почитать про разработку библиотеки — на Хабре.

Коллеги посчитали, реально ли с помощью решения можно сэкономить от $0.5M за месяц обучения модели, и соорудили формулу.

Стоимость аренды GPU в час * количество часов * количество дней * количество GPU * (коэффициент на сколько оптимизируем ресурсы) = экономия

Ну и проверили экономию на примере Google Cloud и Fluidstack:

Считаем у Гугла, параметры выходят такие:

1) 1312 H100
2) Месяц обучения
3) Цена за GPU: $3.98/h
4) Экономия 20% ресурсов

Общая экономия в месяц: 3.92*30*1312*(0.2/1.2)*24 = $601 тыс

Теперь у FluidStack:

1) 1312 H100
2) Месяц обучения
3) Цена за GPU: $3.75/h
4) Экономия 20% ресурсов

Общая экономия в месяц: 3.75*30*1312*(0.2/1.2)*24 = $566 тыс

Это я к чему: YaFSDP надо детальнее изучать, но возможно она будет полезна тем, кто не может позволить себе ацкого железа и для тех, кто использует ГПУ в облаке. А оптимизация идёт за счёт софта.

Если интересуетесь этими нашими искусственными интеллектами, обязательно загляните в авторский канал моего знакомого.

Много тематической годноты от мемасов до интересных репозиториев. Думаю, вам вкатит.

Нам обещали летающие машины, но мы получили это

SD3

Когда сделали свою модель для генерации изображений настолько "безопасной", что полностью проебали физиологию.

Очень печально смотреть, как AI компании прогибаются под вопли ебучих соевых alignment-дегенератов.

Кто понял, тот понял!

З А Ч Е М ?
А
Ч
Е
М
?