«Если вы хотите разбогатеть, то помните, что путь к этому – это капитал, а не зарплата»

Теперь уяснили, Сэм, теперь уяснили…

Возможно Llama 3.2 была не самым интересным вчерашним мультимодальным релизом: вышла Molmo, которая круче показывает себя на бенчмарках

Это семейство опенсорсных моделей от лаборатории Ai2. Есть варианты на 7В MoE (1B активных), 7В (таких две) и 72В. Самая крупная на бенчмарках обгоняет Llama 3.2 90B, и достает до полноразмерной GPT-4o, Gemini 1.5 Pro и Claude Sonnet 3.5.

В основе крупной модели Qwen2-72B + OpenAI CLIP в качестве vision-основы. А еще исследователи обещают скоро выкатить датасеты и код (включая vision encoder).

Все модели доступны под лицензией Apache 2.0 на HF (и в ЕС тоже!). Статью можно прочитать здесь, а вот тут доступно демо.

Не переживаем, работа будет, ИИ не выходит на плато

Как минимум такой план у Марка Цукерберга. «Предел масштабирования систем ИИ не наступит в ближайшее время», и Llama 4 будет обучаться на более чем 100.000 GPU, а Llama 5 — на еще более мощном кластере.

Тем временем Интернет продолжают засыпать мемы. Добрались уже даже до…

Нашли готовый Colab ноутбук для файнтюнинга свежей Llama 3.2

Там уже все оптимизировано и Llama 3.2 (1B) QLoRA фитится всего на 4GB GPU, а 3В влезает в 7GB. Обещают скоро добавить vision (мы обновим пост, когда завезут).

Экспериментируйте: https://colab.research.google.com/drive/1T5-zKWM_5OD21QHwXHiV9ixTRR7k3iB9?usp=sharing

Google выпустили дополнение к статье 2020 года о системе для дизайна чипов

А еще дали ей имя – AlphaChip. Видимо, в продолжении серии AlphaGo, AlphaZero и AlphaFold: как и эти ребята, AlphaChip основан на RL.

Оригинальную статью четырехлетней давности можно прочитать тут. Новая статья в Nature – продолжение и рассказ в большей степени о том, как AlphaChip все эти годы использовался Google для дизайна TPU и других чипов. И не только Google, кстати. Оказывается, модель также использовала компания MediaTek. Ну и самое приятное: Google выложили веса.

За подробностями – в блогпост

Вот он, поворотный момент для человечества

Там Anthropic предложили новую технику для RAG. Разбираемся:

Как работает обычный RAG:
1. Документы в корпусе разбиваются на чанки
2. Из каждого такого чанка мы достаем эмбеддинг и кладем его в векторную БД
3. Когда поступает запрос (промпт), мы ищем в этой БД семантически близкие к нему чанки и добавляем их в промпт, чтобы модель могла использовать эту информацию для ответа

В чем тут проблема?
Дело в том, что таким образом мы можем упустить важный контекст и детали запроса. Например, пользователь запрашивает "Error code TS-999". Поиск найдет информацию про коды ошибок в целом, но может упустить точное совпадение «TS-999». К тому же, при возвращении конкретного чанка из базы может случится так, что он будет вырван из какого-то важного контекста, и это может помешать модели.

Что предлагают Anthropic?
Во-первых, они предлагают извлекать не только обычные эмбеддинги, но и делать TF-IDF энкодинг чанков с помощью BM25. TF-IDF утроен так, чтобы как раз отбрасывать наиболее "общие" вещи в тексте, и фокусироваться на редких и самых важных словах. Это поможет не упускать детали при поиске, как в примере с ошибкой TS-999.

Во-вторых, чтобы избавиться от проблемы отсутствия контекста, они предлагают этот контекст добавлять искусственно (то есть делать из такого: "Прибыль росла на 3%." ... такое: "Этот чанк относится к отчету компании ACME за Q2 2023; прибыль росла на 3%.").

Для этого перед извлечением эмбеддингов и TF-IDF энкодингом каждый чанк аннотируется с помощью отдельного запроса к модели (в случае Anthropic это делается с помощью Клода). Да, дорого. Но с помощью фишки Prompt Caching, которую недавно завезли в API, можно хорошо скостить цену.

В итоге все это дает достаточно ощутимый прирост к метрикам качества поиска. Например, фактических ошибок становится меньше на 35%, а это ничего себе!

Нашли клевые слайды с выступления сеньора-ресерчера из Google DeepMind

Он недавно вступал с гостевой лекцией в университете McGill на курсе по LLM и выложил свою презентацию. В ней поднимаются все самые «волнующие» темы: синтетические данные (с точки зрения математики, очень интересно), масштабируемость, ризонинг, RL.

В общем, просмотреть точно стоит: в конце концов, это просто красиво.