Ладно-ладно, теперь серьезно. X.ai выложили веса и код Grok-1. Оказалось, что это опять-таки Mixture of Experts. Поражает только размер: 314 млрд параметров. Для сравнения, в Gemini Pro 100 млрд.

GitHub | HuggingFace

Разобрали modal.py этого чуда и готовы погрузить вас в архитектуру. Итак, Grok-1 Илона Маска – это:

– 314В параметров, 86В активных. Mixture of Experts, 8 экспертов, 2 активных (то есть по 2 на токен).
– Вместо позиционных эмбеддингов используются Rotary эмбеддинги размерностью 6144.
– Размер словаря токенизатора: 131 072 (в GPT-4, кстати, примерно столько же).
– 64 слоя в трансформере, каждый с декодером (мультихэд внимание + denseblock). Размерность ключей – 128.
– Длина контекста – 8192 токена (bf16).
– 8-битное квантование весов, то есть ~ 314Гб.

Лицензия – Apache 2.0. Вот такие дела.

erid: LjN8KbxG8

Построение DWH в Yandex Cloud: кейс крупной логистической компании

21 марта в 16.00 

 На вебинаре эксперты iiii Tech и Yandex Cloud совместно с клиентом Рулог поделятся кейсом, как в рамках локализации отчетности развернуть DWH (КХД) на Yandex Cloud. 

Расскажем о:
- современном стеке аналитических инструментов
- бесшовной миграции с международных облачных платформ 
- о проекте построения DWH (КХД) на основе дата-контрактов 

Вебинар будет полезен CDO, CTO, руководителям направлений по работе с данными, архитекторам данных, аналитиками и дата-инженерам. 

Спикеры:

Георгий Цыганков, 
руководитель направления BI

Андрей Суренский, 
архитектор по работе с партнёрами Yandex Cloud

Венера Никитина, бизнес-аналитик логистической компании Рулог

Зарегистрироваться можно по ссылке 

Nvidia представила свою новую крышесносно-мощную видеокарту Blackwell

Она в 5(!) раз быстрее предыдущей Hopper, которая кстати вышла всего год назад (ну ничего себе экспонента, да?). Уже известно, что чип будут использовать в OpenAI, Google, Microsoft и Tesla.

Для больших языковых обещают снижение затрат на инференс в 25 раз! А еще Хуанг предложил собирать чипы в кластеры по 100 тысяч ускорителей. Просто представьте, какая это мощь и насколько может изменить индустрию ИИ.

Не зря Альтман и остальные верят, что именно за чипами будущее. Новой эре быть!

Главное помнить, что мы сами их сотворили

Нашли супер полезный сайт с аннотированным кодом популярных моделей

Здесь есть код, например, Stable Diffusion, GPT, ResNet, оптимизатора Adam, Switch Tranformer и много чего другого. Но это не просто код. Фишка сайта вот в чем: каждая строка кода задокументирована и слева на экране отображается соответсвующая каждой строке теория или формулы. Отличный ресурс для изучения!

Слышали про квантизацию? Если еще нет, вот подробная статья

По сути квантизация – это способ представить данные в более компактном виде, что поможет сэкономить ресурсы и улучшить пользовательский опыт.

ML-разработчик Яндекса рассказал, как (и вообще зачем) квантизовать модели, с каким данными при этом предстоит работать, а еще представил несколько методов квантизации. Будет полезно не только спецам, но и всем, кто хочет уметь заставлять модели работать эффективнее. Ссылка на Хабр вот тут.

Нас ждет GPT-5?

Похоже на то. Об этом пишет Bisuness Insider. По словам их инсайдеров, модель будет «существенно лучшее» предшественников, и, скорее всего, выйдет летом.

❤️ - верю
🤔 - не верю

5 инструментов эффективного DS-инженера

Помните, мы уже рассказывали о том, что хороший ML-инженер – это не просто хороший математик, но и классный разработчик? Да, статистика и теория ML – это еще не все. Код, бизнес-логика, умение рефакторить и дебажить, умение грамотно проводить эксперименты – вот скилы, которые надо качать.

Давайте вспомним немного инструментов, которые упростят вам жизнь: DVC, CML, MLFlow, CI/CD, тесты, конфиг-файлы, docker, etc. Ой, мы сказали немного?...

Да, самому разбираться откровенно сложно и долго. Идеальный вариант познакомиться с этим — новая лекция наших друзей из DeepSchool. 21 марта в 18:00 они расскажут:

– как использовать makefile;
– как писать тесты для моделинга;
– чем хорош lightning и как его использовать;
– как повысить качество кода с помощью линтеров;
– про трекинг и визуализацию в CML.

И также представят программу курса CV Rocket, на котором учат полному циклу решения CV-задач.

В дополнение ребята еще и пришлют список полезных библиотек и сервисов для CV-инженеров. Короче, пропустить нельзя. Регистрация тут.

Классическое легаси

Memory wall problem: что это такое и почему это проблема

Memory wall problem – это когда мощность процессора превышает его пропускную способность. То есть процессор получает на вход данные, бодро их обрабатывает, а потом просто ждет еще некоторое время, прежде чем данные будут извлечены из памяти.

Таким образом, каким бы мощным не был процессор, если пропускная способность у него слабая, то он теряет эффективность.

А наверху – график, отражающий то, как за последние годы менялось количество параметров в знаковых моделях, и как при этом развивались процессоры. Короче, проблемы начались в 2019, и с тех пор лучше не стало.

Вывод: нет пропускной способности, нет восстания машин крутого инференса. Надеемся на Nvidia?

Соучредитель Google DeepMind Мустафа Сулейман присоединяется к Microsoft как CEO нового подразделения ИИ

Он будет курировать Copilot, Bing и другие пользовательские ML-продукты.

Напомним, этот тот самый руководитель, против которого Google вели дело об издевательстве над сотрудниками. Наверное, в Microsoft сотрудники стрессоустойчивее.

Это для учебы, мам работы, дорогая

Предсказывать результаты футбольных матчей? А может лучше научить сеть саму играть в футбол?

Видимо, именно так подумали ребята из DeepMind и придумали TacticAI. Модель предсказывает наилучшую стратегию ударов. Внутри - свертки и геометрическое DL, обучена на реальных играх.

Кроме того, исследователи закомитились с Ливерпулем и тюнили сеточку вместе с футболистами. В итоге 90% предсказаний TacticAI одобряется футбольными экспертами.

В общем, советуем прочитать полностью, особенно фанатам геометрии и футбола.

Блогпост | Папира