Слышали про квантизацию? Если еще нет, вот подробная статья

По сути квантизация – это способ представить данные в более компактном виде, что поможет сэкономить ресурсы и улучшить пользовательский опыт.

ML-разработчик Яндекса рассказал, как (и вообще зачем) квантизовать модели, с каким данными при этом предстоит работать, а еще представил несколько методов квантизации. Будет полезно не только спецам, но и всем, кто хочет уметь заставлять модели работать эффективнее. Ссылка на Хабр вот тут.

Нас ждет GPT-5?

Похоже на то. Об этом пишет Bisuness Insider. По словам их инсайдеров, модель будет «существенно лучшее» предшественников, и, скорее всего, выйдет летом.

❤️ - верю
🤔 - не верю

5 инструментов эффективного DS-инженера

Помните, мы уже рассказывали о том, что хороший ML-инженер – это не просто хороший математик, но и классный разработчик? Да, статистика и теория ML – это еще не все. Код, бизнес-логика, умение рефакторить и дебажить, умение грамотно проводить эксперименты – вот скилы, которые надо качать.

Давайте вспомним немного инструментов, которые упростят вам жизнь: DVC, CML, MLFlow, CI/CD, тесты, конфиг-файлы, docker, etc. Ой, мы сказали немного?...

Да, самому разбираться откровенно сложно и долго. Идеальный вариант познакомиться с этим — новая лекция наших друзей из DeepSchool. 21 марта в 18:00 они расскажут:

– как использовать makefile;
– как писать тесты для моделинга;
– чем хорош lightning и как его использовать;
– как повысить качество кода с помощью линтеров;
– про трекинг и визуализацию в CML.

И также представят программу курса CV Rocket, на котором учат полному циклу решения CV-задач.

В дополнение ребята еще и пришлют список полезных библиотек и сервисов для CV-инженеров. Короче, пропустить нельзя. Регистрация тут.

Классическое легаси

Memory wall problem: что это такое и почему это проблема

Memory wall problem – это когда мощность процессора превышает его пропускную способность. То есть процессор получает на вход данные, бодро их обрабатывает, а потом просто ждет еще некоторое время, прежде чем данные будут извлечены из памяти.

Таким образом, каким бы мощным не был процессор, если пропускная способность у него слабая, то он теряет эффективность.

А наверху – график, отражающий то, как за последние годы менялось количество параметров в знаковых моделях, и как при этом развивались процессоры. Короче, проблемы начались в 2019, и с тех пор лучше не стало.

Вывод: нет пропускной способности, нет восстания машин крутого инференса. Надеемся на Nvidia?

Соучредитель Google DeepMind Мустафа Сулейман присоединяется к Microsoft как CEO нового подразделения ИИ

Он будет курировать Copilot, Bing и другие пользовательские ML-продукты.

Напомним, этот тот самый руководитель, против которого Google вели дело об издевательстве над сотрудниками. Наверное, в Microsoft сотрудники стрессоустойчивее.

Это для учебы, мам работы, дорогая

Предсказывать результаты футбольных матчей? А может лучше научить сеть саму играть в футбол?

Видимо, именно так подумали ребята из DeepMind и придумали TacticAI. Модель предсказывает наилучшую стратегию ударов. Внутри - свертки и геометрическое DL, обучена на реальных играх.

Кроме того, исследователи закомитились с Ливерпулем и тюнили сеточку вместе с футболистами. В итоге 90% предсказаний TacticAI одобряется футбольными экспертами.

В общем, советуем прочитать полностью, особенно фанатам геометрии и футбола.

Блогпост | Папира

Gemini 1.5 Pro раскатили на всех пользователей

Правда, пока в превью. Тем не менее, модель интересно попробовать уже сейчас как минимум из-за контекстного окна в миллион токенов. Плюс, это бесплатно.

План такой, коллеги: загружаем туда Войну и Мир и просим описать дуб сжато.

Визуальное объяснение того, как работают нейросети

Некто Jared Wilber выкатил веб-страницу, на которой объясняет, как устроены нейросети. Получилось и не слишком сложно, но и не очень популярно, ведь без математической составялющей алгоритм все равно до конца не понять.

Особенно радует динамическая визуализация и приятная структура. Страницу интересно и полезно почитать, даже если вы уже неплохо разбираетесь в теме, или если наоборот, не разбираетесь совсем.

Короче, кайф. Советуем!

Ну с таким набором уже мидл 🥴

Stability AI лишилась генерального директора и нескольких создателей Stable Diffusion

Эмад Мостак (уже exCEO) заявил, что покидает свой пост и совет директоров, чтобы децентрализировать ИИ.

Настало время работать над тем, чтобы ИИ оставался открытым и децентрализованным

— заявил он.

Зацените, как люди любят визуализацию: нашли в Твиттере аналитика Ewa Tuteja, которая сама связала датавиз и пометила пост прикольным тегом #DressYourHouseInData

Материалы Nvidia про RAG – один из главных трендов ИИ в этом году:

– Совсем свежее введение в RAG со всеми необходимыми деталями о том, зачем это нужно, как это устроено и что может.

– Бесплатный курс Augment your LLM Using Retrieval Augmented Generation. Уже более глубокое объяснение устройства механизма.

– Building RAG Agents with LLMs. 8 часов лекций про векторные базы данных, микросервисы, LangChain и ИИ-агентов. Тоже бесплатно.

А если не понимаешь, про какой такой RAG все говорят, то начни с нашей статьи.

Москва. Страшно. Бесконечно соболезнуем всем, кого коснулся этот ужас.

Все средства с сегодняшней рекламы в нашем канале пошли на помощь.

Берегите близких 🕯️

Mistral выложили на HF новую модель Mistral 7B v0.2 Base Model

- контекстное окно в 32k токенов вместо 8k
- Rope Theta = 1e6 (параметр «новизны» в ответах модели)
- Убрали sliding window, так что новая модель лучше воспринимает глубокие связи в длинном тексте

Уже доступно в transformers

The Little Book of Deep Learning by François Fleuret

Франсуа Флере — профессор компьютерных наук в Женевском университете, Швейцария. Недавно он выпустил интересную мини-книжку с последовательными заметками по глубокому обучению.

Здесь кратко и содержательно рассматриваются многие важные темы: Backpropagation, дропауты, нормализации, функции активации, слои внимания и тд. Откройте оглавление – и увидите сами.

При этом эта малютка подойдет даже новичкам: в начале автор раскрывает базовые понятия, и даже рассказывает про GPU и тензоры. А в третьей граве найдете заметки по основным задачам глубокого обучения: Text-image, детекция, генерация текстов и изображений, RL.

И все это изложено всего на 150 страницах с картинками. Вот бесплатная версия, адаптированная под чтение на телефоне. Советуем!