🤖 Исследователи из Стэнфордского университета и института Epoch AI выяснили, что стоимость обучения передовых ML-моделей ежегодно возрастает в 2,4 раза. Основная часть затрат — это оборудование (графические процессоры, компоненты серверов), персонал и энергопотребление.

Если тенденция сохранится, то к 2027 году стоимость разработки флагманских моделей, таких, например, как GPT-4 или Gemini, превысит миллиард долларов.

Один из способов сделать создание ML-моделей быстрее и дешевле — метод оптимизации обучения FSDP (Fully Sharded Data Parallel). Сегодня Яндекс открыл для всех библиотеку YaFSDP — доработанную реализацию FSDP, которая позволяет на четверть ускорить обучение больших языковых моделей и при этом тратить на 20% меньше ресурсов графических процессоров (GPU).

Теперь YaFSDP могут использовать сторонние компании, разработчики и исследователи по всему миру. Особенно это пригодится тем, кому слишком дорого использовать мощные дата-центры. Например, стартапам и научным проектам.

⭐️ Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке

Подписывайтесь 👉 @techno_yandex

🤖🧠 Apple показала — Яндекс Браузер перевёл. Главное из сегодняшней презентации WWDC за четыре минуты.

Подписывайтесь 👉 @techno_yandex