Как научить мультимодальные LLM логично рассуждать? Встречайте GRPO-CARE и SEED-Bench-R1!
Мультимодальные большие языковые модели (MLLM) умеют обрабатывать текст, изображения, видео, но вот с логичностью рассуждений у них проблемы. Обычно их дообучают при помощи RL, фокусируясь на правильном ответе, но цепочки рассуждений при этом страдают.
Авторы свежей статьи предложили новый фреймворк GRPO-CARE, который улучшает логическую связность рассуждений MLLM без явного процессного надзора. Они также представили новый бенчмарк SEED-Bench-R1 для оценки таких моделей, учитывающий баланс между восприятием и логикой.
В экспериментах GRPO-CARE существенно превзошёл стандартные методы RL, улучшив как точность ответов, так и связность рассуждений, особенно в задачах с переносом знаний на новые домены.
Похоже, что теперь мультимодальные модели будут не только давать правильные ответы, но и логично обосновывать их!
Статья
Мультимодальные большие языковые модели (MLLM) умеют обрабатывать текст, изображения, видео, но вот с логичностью рассуждений у них проблемы. Обычно их дообучают при помощи RL, фокусируясь на правильном ответе, но цепочки рассуждений при этом страдают.
Авторы свежей статьи предложили новый фреймворк GRPO-CARE, который улучшает логическую связность рассуждений MLLM без явного процессного надзора. Они также представили новый бенчмарк SEED-Bench-R1 для оценки таких моделей, учитывающий баланс между восприятием и логикой.
В экспериментах GRPO-CARE существенно превзошёл стандартные методы RL, улучшив как точность ответов, так и связность рассуждений, особенно в задачах с переносом знаний на новые домены.
Похоже, что теперь мультимодальные модели будут не только давать правильные ответы, но и логично обосновывать их!
Статья
Анимация любых 3D-моделей без ограничений скелетов? Легко с AnimaX!
Вы хотели бы оживить свою 3D-модель, но мешают несовместимые скелеты или сложность методов? Новая работа "AnimaX" предлагает элегантное решение.
AnimaX — система, позволяющая анимировать любые 3D-меши с произвольным скелетом, объединяя диффузионные модели видео и поз. Вместо ограничений фиксированной структурой или долгой оптимизации, AnimaX эффективно переносит методы видео-диффузии в 3D-анимацию.
Авторы представляют движение в виде мультивидовых 2D-карт поз и обучают совместную диффузионную модель, позволяющую генерировать движения на основе текстовых описаний и шаблонов. Это делает процесс анимации быстрым и универсальным.
Ранее методы, такие как MotionDiffuse или Generate3D, были ограничены конкретными скелетами или требовали больших вычислительных ресурсов. AnimaX преодолевает эти барьеры и открывает новые горизонты в 3D-анимации.
Теперь оживить вашу 3D-модель проще простого!
Статья
Вы хотели бы оживить свою 3D-модель, но мешают несовместимые скелеты или сложность методов? Новая работа "AnimaX" предлагает элегантное решение.
AnimaX — система, позволяющая анимировать любые 3D-меши с произвольным скелетом, объединяя диффузионные модели видео и поз. Вместо ограничений фиксированной структурой или долгой оптимизации, AnimaX эффективно переносит методы видео-диффузии в 3D-анимацию.
Авторы представляют движение в виде мультивидовых 2D-карт поз и обучают совместную диффузионную модель, позволяющую генерировать движения на основе текстовых описаний и шаблонов. Это делает процесс анимации быстрым и универсальным.
Ранее методы, такие как MotionDiffuse или Generate3D, были ограничены конкретными скелетами или требовали больших вычислительных ресурсов. AnimaX преодолевает эти барьеры и открывает новые горизонты в 3D-анимации.
Теперь оживить вашу 3D-модель проще простого!
Статья
**ScaleCap: генерация высококачественных детализированных подписей к изображениям**
В эпоху больших визуально-языковых моделей качество пар "изображение-текст" критически важно для обучения. Детальные описания улучшают понимание нюансов изображений.
Получение таких описаний традиционными способами для миллионов изображений непомерно дорого.
Авторы представляют ScaleCap — масштабируемый метод создания детализированных подписей с использованием открытых LVLM. Даже небольшие модели способны генерировать подробные описания при правильном подходе.
ScaleCap использует двухэтапный процесс: эвристические вопросы направляют модель на выявление деталей, а контрастная оценка фильтрует ошибки.
Результат — точные описания для обучения LVLM без серьезных затрат. Тесты подтвердили превосходные результаты моделей, обученных на таких данных.
Это упрощает обучение больших моделей с использованием доступных ресурсов.
Статья
В эпоху больших визуально-языковых моделей качество пар "изображение-текст" критически важно для обучения. Детальные описания улучшают понимание нюансов изображений.
Получение таких описаний традиционными способами для миллионов изображений непомерно дорого.
Авторы представляют ScaleCap — масштабируемый метод создания детализированных подписей с использованием открытых LVLM. Даже небольшие модели способны генерировать подробные описания при правильном подходе.
ScaleCap использует двухэтапный процесс: эвристические вопросы направляют модель на выявление деталей, а контрастная оценка фильтрует ошибки.
Результат — точные описания для обучения LVLM без серьезных затрат. Тесты подтвердили превосходные результаты моделей, обученных на таких данных.
Это упрощает обучение больших моделей с использованием доступных ресурсов.
Статья
Лучшие фичи в нейросети прячутся внутри, а не на выходе
Авторы из UT Austin и Fudan University обнаружили странную вещь: если обучить огромный vision encoder только на контрастивном лоссе (как CLIP), то внутри него на разных слоях живут отличные фичи для совершенно разных задач — OCR, VQA, детекции, оценки глубины, трекинга. Проблема одна: они спрятаны в промежуточных слоях, а не на выходе сети.
Решение — alignment tuning: дообучить модель так, чтобы нужные фичи "всплыли" на последний слой. В итоге получилось семейство Perception Encoder (PE): одна и та же предобученная модель, но с разными головами — PElang для мультимодальных LLM и PEspatial для пространственных задач.
Результат: PE бьёт SigLIP2 на image/video zero-shot, конкурирует с AIMv2 и DINOv2 на их родных задачах, и ставит новый SOTA на COCO detection с более простым декодером. Всё это — из одного простого contrastive pretraining без captioning loss и self-supervised spatial лоссов.
Источник
Авторы из UT Austin и Fudan University обнаружили странную вещь: если обучить огромный vision encoder только на контрастивном лоссе (как CLIP), то внутри него на разных слоях живут отличные фичи для совершенно разных задач — OCR, VQA, детекции, оценки глубины, трекинга. Проблема одна: они спрятаны в промежуточных слоях, а не на выходе сети.
Решение — alignment tuning: дообучить модель так, чтобы нужные фичи "всплыли" на последний слой. В итоге получилось семейство Perception Encoder (PE): одна и та же предобученная модель, но с разными головами — PElang для мультимодальных LLM и PEspatial для пространственных задач.
Результат: PE бьёт SigLIP2 на image/video zero-shot, конкурирует с AIMv2 и DINOv2 на их родных задачах, и ставит новый SOTA на COCO detection с более простым декодером. Всё это — из одного простого contrastive pretraining без captioning loss и self-supervised spatial лоссов.
Источник
TTRL: модель сама себе учитель во время инференса (by Tsinghua / Shanghai AI Lab)
Что если модель могла бы улучшаться прямо во время теста — без единого лейбла?
TTRL делает именно это. Идея проста: на тестовых данных модель генерирует N ответов, берёт majority voting как псевдо-лейбл, и запускает RL прямо на этом сигнале. Никакой разметки, никакого учителя — только самосогласованность.
Результат: Qwen2.5-Math-7B на AIME 2024 вырос с 12.9 до 40.2 — это +211%. В среднем по бенчмаркам (AIME, AMC, MATH-500, GPQA) — +76%.
Самое интересное: модель умудряется превзойти свой же majority voting потолок (maj@n), от которого строился reward. То есть сигнал был слабее финального результата.
Метод работает на моделях разных семейств (Qwen, LLaMA, Mistral, DeepSeek) и разных размеров. Связано с Test-Time Training (TTT) и идеями self-play из RL.
Источник
Что если модель могла бы улучшаться прямо во время теста — без единого лейбла?
TTRL делает именно это. Идея проста: на тестовых данных модель генерирует N ответов, берёт majority voting как псевдо-лейбл, и запускает RL прямо на этом сигнале. Никакой разметки, никакого учителя — только самосогласованность.
Результат: Qwen2.5-Math-7B на AIME 2024 вырос с 12.9 до 40.2 — это +211%. В среднем по бенчмаркам (AIME, AMC, MATH-500, GPQA) — +76%.
Самое интересное: модель умудряется превзойти свой же majority voting потолок (maj@n), от которого строился reward. То есть сигнал был слабее финального результата.
Метод работает на моделях разных семейств (Qwen, LLaMA, Mistral, DeepSeek) и разных размеров. Связано с Test-Time Training (TTT) и идеями self-play из RL.
Источник
DeepSeek учит модели правильно себя оценивать — и это масштабируется (by DeepSeek)
Reward modeling — ахиллесова пята RL для LLM. Обычные скалярные reward models выдают одно число и не умеют масштабироваться на инференсе: сколько раз ни сэмплируй, получишь то же самое.
DeepSeek предлагает SPCT (Self-Principled Critique Tuning): обучаем модель сначала генерировать принципы оценки, потом критику, и только потом — награду. Это generative reward model, которую можно сэмплировать много раз и голосовать за финальный ответ.
Фишка: разные сэмплы дают разные принципы и разные критики — настоящее разнообразие! Сверху добавляют meta RM, которая агрегирует результаты умнее простого голосования.
Итог: DeepSeek-GRM-27B при масштабировании инференса обходит модели размером до 671B. То есть inference-time scaling бьёт увеличение размера модели при обучении.
Источник
Reward modeling — ахиллесова пята RL для LLM. Обычные скалярные reward models выдают одно число и не умеют масштабироваться на инференсе: сколько раз ни сэмплируй, получишь то же самое.
DeepSeek предлагает SPCT (Self-Principled Critique Tuning): обучаем модель сначала генерировать принципы оценки, потом критику, и только потом — награду. Это generative reward model, которую можно сэмплировать много раз и голосовать за финальный ответ.
Фишка: разные сэмплы дают разные принципы и разные критики — настоящее разнообразие! Сверху добавляют meta RM, которая агрегирует результаты умнее простого голосования.
Итог: DeepSeek-GRM-27B при масштабировании инференса обходит модели размером до 671B. То есть inference-time scaling бьёт увеличение размера модели при обучении.
Источник
Reasoning-модели думают зря? (by UC Berkeley, Allen Institute for AI)
Оказывается, длинные цепочки рассуждений в стиле DeepSeek-R1 и o1 — не обязательны для хорошего результата. Авторы придумали трюк под названием NoThinking: просто подставляют в блок размышлений фразу "Okay, I think I have finished thinking." — и модель сразу выдаёт ответ, пропуская весь процесс думания.
Результат: NoThinking использует в 2–5 раз меньше токенов и при этом либо не уступает обычному Thinking, либо превосходит его — особенно при параллельном семплировании (best-of-N). На OlympiadBench удалось получить в 9 раз меньшую задержку при лучшей точности.
Вывод: модели, натренированные думать вслух, уже умеют решать задачи без явного рассуждения. Мы просто платили за "поток сознания", который был не нужен.
Источник
Оказывается, длинные цепочки рассуждений в стиле DeepSeek-R1 и o1 — не обязательны для хорошего результата. Авторы придумали трюк под названием NoThinking: просто подставляют в блок размышлений фразу "Okay, I think I have finished thinking." — и модель сразу выдаёт ответ, пропуская весь процесс думания.
Результат: NoThinking использует в 2–5 раз меньше токенов и при этом либо не уступает обычному Thinking, либо превосходит его — особенно при параллельном семплировании (best-of-N). На OlympiadBench удалось получить в 9 раз меньшую задержку при лучшей точности.
Вывод: модели, натренированные думать вслух, уже умеют решать задачи без явного рассуждения. Мы просто платили за "поток сознания", который был не нужен.
Источник
Google Gemini теперь умеет создавать музыку
В приложении Gemini появилась генерация музыки на базе модели Lyria 3 от Google DeepMind. Достаточно описать идею текстом или загрузить фото — и через несколько секунд получишь 30-секундный трек с вокалом, обложкой и нужным настроением.
Что важно: не нужно придумывать текст песни самому — слова генерируются автоматически. Можно задать жанр, темп, стиль вокала. Модель делает треки заметно реалистичнее предыдущих версий Lyria.
Все треки помечаются невидимым водяным знаком SynthID, а сам Gemini теперь умеет проверять аудиофайлы на предмет AI-генерации.
Доступно для пользователей 18+ на 8 языках, включая русский... нет, пока без него — английский, немецкий, испанский, французский, хинди, японский, корейский и португальский. Подписчики платных планов получат повышенные лимиты.
Источник
В приложении Gemini появилась генерация музыки на базе модели Lyria 3 от Google DeepMind. Достаточно описать идею текстом или загрузить фото — и через несколько секунд получишь 30-секундный трек с вокалом, обложкой и нужным настроением.
Что важно: не нужно придумывать текст песни самому — слова генерируются автоматически. Можно задать жанр, темп, стиль вокала. Модель делает треки заметно реалистичнее предыдущих версий Lyria.
Все треки помечаются невидимым водяным знаком SynthID, а сам Gemini теперь умеет проверять аудиофайлы на предмет AI-генерации.
Доступно для пользователей 18+ на 8 языках, включая русский... нет, пока без него — английский, немецкий, испанский, французский, хинди, японский, корейский и португальский. Подписчики платных планов получат повышенные лимиты.
Источник
Google
A new way to express yourself: Gemini can now create music
Lyria 3 is now available in the Gemini app. Create custom, high-quality 30-second tracks from text and images.
Лучшие фичи ViT прячутся в середине сети, а не на выходе
Авторы обнаружили странную вещь: если обучить большую vision-модель только на контрастивном лоссе (как CLIP), внутри неё спонтанно появляются фичи для OCR, VQA, детекции, depth estimation и трекинга — но в разных слоях! На выходе сети их нет.
Решение: alignment tuning — дообучение, которое "вытаскивает" нужные фичи на выход сети. В итоге получились три чекпоинта:
PE Core — лучший энкодер для классификации и ретривла (бьёт SigLIP2 и InternVideo2)
PE Lang — для мультимодальных LLM задач (бьёт AIMv2)
PE Spatial — для детекции, depth, трекинга (новый SOTA на COCO detection)
Главный вывод: не нужно городить зоопарк из contrastive + captioning + self-supervised лоссов. Один хорошо настроенный CLIP-like пайплайн + alignment tuning закрывает всё.
Код, веса и датасет из 1M видео открыты.
Источник
Авторы обнаружили странную вещь: если обучить большую vision-модель только на контрастивном лоссе (как CLIP), внутри неё спонтанно появляются фичи для OCR, VQA, детекции, depth estimation и трекинга — но в разных слоях! На выходе сети их нет.
Решение: alignment tuning — дообучение, которое "вытаскивает" нужные фичи на выход сети. В итоге получились три чекпоинта:
PE Core — лучший энкодер для классификации и ретривла (бьёт SigLIP2 и InternVideo2)
PE Lang — для мультимодальных LLM задач (бьёт AIMv2)
PE Spatial — для детекции, depth, трекинга (новый SOTA на COCO detection)
Главный вывод: не нужно городить зоопарк из contrastive + captioning + self-supervised лоссов. Один хорошо настроенный CLIP-like пайплайн + alignment tuning закрывает всё.
Код, веса и датасет из 1M видео открыты.
Источник
TTRL: модель учится на тестовых данных без единого лейбла (by Tsinghua / Shanghai AI Lab)
Что если модель может улучшаться прямо во время инференса, не имея правильных ответов? TTRL делает именно это: берёт тестовые данные, генерирует N ответов, выбирает мажоритарный голос как псевдо-лейбл и запускает RL прямо на этом сигнале.
Никаких размеченных данных. Никакого человека в петле. Просто: сгенерируй много ответов → возьми большинство как "правду" → обнови веса.
Результат на Qwen2.5-Math-7B: AIME 2024 вырос с 12.9 до 40.2 — это +211%. Средний прирост по 4 бенчмаркам — +76%.
Ключевой инсайт: мажоритарный голос оказался достаточно надёжным сигналом для стабильного RL, а модель умудряется превзойти свой же потолок maj@n. Работает на моделях разных семейств: Qwen, LLaMA, Mistral, DeepSeek.
Связано с Test-Time Training (TTT) и DeepSeek-R1, но принципиально новое — RL без лейблов в продакшне.
Источник
Что если модель может улучшаться прямо во время инференса, не имея правильных ответов? TTRL делает именно это: берёт тестовые данные, генерирует N ответов, выбирает мажоритарный голос как псевдо-лейбл и запускает RL прямо на этом сигнале.
Никаких размеченных данных. Никакого человека в петле. Просто: сгенерируй много ответов → возьми большинство как "правду" → обнови веса.
Результат на Qwen2.5-Math-7B: AIME 2024 вырос с 12.9 до 40.2 — это +211%. Средний прирост по 4 бенчмаркам — +76%.
Ключевой инсайт: мажоритарный голос оказался достаточно надёжным сигналом для стабильного RL, а модель умудряется превзойти свой же потолок maj@n. Работает на моделях разных семейств: Qwen, LLaMA, Mistral, DeepSeek.
Связано с Test-Time Training (TTT) и DeepSeek-R1, но принципиально новое — RL без лейблов в продакшне.
Источник
DeepSeek научил reward model думать перед тем, как выставить оценку (by DeepSeek)
Reward modeling — больное место RLHF. Скалярные reward model'и дают одно число и всё, никакого разнообразия при сэмплинге. Авторы из Tsinghua и DeepSeek предложили другой путь: пусть reward model сначала генерирует принципы оценки, потом критику, и только потом — reward.
Метод называется SPCT (Self-Principled Critique Tuning). Обучают через rule-based online RL: модель учится адаптивно придумывать принципы под конкретный запрос, а не использовать фиксированные критерии.
Фишка в inference-time scaling: сэмплируем несколько наборов принципов + критик параллельно, голосуем за финальный reward. Чем больше сэмплов — тем точнее оценка. Дополнительно обучили meta RM, который агрегирует результаты лучше простого голосования.
Итог: DeepSeek-GRM-27B при k=32 сэмплах обходит GPT-4o и Nemotron-4-340B-Reward. Inference scaling бьёт scaling по размеру модели.
Источник
Reward modeling — больное место RLHF. Скалярные reward model'и дают одно число и всё, никакого разнообразия при сэмплинге. Авторы из Tsinghua и DeepSeek предложили другой путь: пусть reward model сначала генерирует принципы оценки, потом критику, и только потом — reward.
Метод называется SPCT (Self-Principled Critique Tuning). Обучают через rule-based online RL: модель учится адаптивно придумывать принципы под конкретный запрос, а не использовать фиксированные критерии.
Фишка в inference-time scaling: сэмплируем несколько наборов принципов + критик параллельно, голосуем за финальный reward. Чем больше сэмплов — тем точнее оценка. Дополнительно обучили meta RM, который агрегирует результаты лучше простого голосования.
Итог: DeepSeek-GRM-27B при k=32 сэмплах обходит GPT-4o и Nemotron-4-340B-Reward. Inference scaling бьёт scaling по размеру модели.
Источник
Reasoning-модели умеют думать — но обязаны ли они это делать? (by UC Berkeley, AI2)
Оказывается, нет. Авторы взяли DeepSeek-R1-Distill и просто... подделали блок размышлений. Вместо длинной цепочки мыслей модель видит: "Okay, I think I have finished thinking." — и сразу пишет ответ.
Называется это NoThinking. Никакого дообучения, никаких новых весов — просто промпт.
Результат шокирует: NoThinking использует в 2–5 раз меньше токенов, при этом на многих бенчмарках (AIME, OlympiadBench, теормдоказательства) либо не уступает обычному Thinking, либо обгоняет его при параллельном семплировании (best-of-N). Латентность — до 9 раз ниже.
Главный вывод: длинные цепочки размышлений — не обязательное условие умных ответов. Возможно, модель "думает" не в явном тексте, а в скрытых представлениях. Или просто тратит токены впустую.
Источник
Оказывается, нет. Авторы взяли DeepSeek-R1-Distill и просто... подделали блок размышлений. Вместо длинной цепочки мыслей модель видит: "Okay, I think I have finished thinking." — и сразу пишет ответ.
Называется это NoThinking. Никакого дообучения, никаких новых весов — просто промпт.
Результат шокирует: NoThinking использует в 2–5 раз меньше токенов, при этом на многих бенчмарках (AIME, OlympiadBench, теормдоказательства) либо не уступает обычному Thinking, либо обгоняет его при параллельном семплировании (best-of-N). Латентность — до 9 раз ниже.
Главный вывод: длинные цепочки размышлений — не обязательное условие умных ответов. Возможно, модель "думает" не в явном тексте, а в скрытых представлениях. Или просто тратит токены впустую.
Источник
Демис Хассабис посетил Индийский институт науки в Бангалоре, где пообщался с местными учёными об ИИ в науке. Его впечатлил энтузиазм молодёжи в Индии по отношению к ИИ. Отдельно отметил статую Рамануджана — легендарного математика-самоучки, которого Хассабис называет одним из своих главных героев. Символично: основатель DeepMind вдохновляется гением, который когда-то перевернул математику без формального образования.
Источник
Источник
X (formerly Twitter)
Demis Hassabis (@demishassabis) on X
Thanks for hosting me @iiscbangalore! Really enjoyed talking with Prof. Rangarajan & Varun Mayya @waitin4agi_ about AI for Science. Impressed by the energy and enthusiasm for AI in India, especially from the young. Great to see the statue of Ramanujan, one…
Как научить LLM думать пошагово без правильных ответов? (by Google DeepMind, Stanford)
SWiRL — новый подход к обучению языковых моделей многошаговому рассуждению с инструментами (поиск, калькулятор).
Идея проста: генерируем синтетические траектории, где модель сама решает — вызвать инструмент или дать ответ. Каждую траекторию из K шагов разбиваем на K подтраекторий и обучаем модель пошагово, оценивая каждый шаг отдельно.
Главный сюрприз: лучшие результаты дают траектории, отфильтрованные по качеству шагов (process filtering), а НЕ по правильности финального ответа. То есть модель учится рассуждать даже из "неправильных" траекторий!
Ещё один бонус — кросс-задачная генерализация: обучение только на вопросах HotPotQA улучшает математику (GSM8K) на 16.9%, и наоборот.
Всё это работает уже с 1000 траекторий и без единой человеческой аннотации.
https://arxiv.org/abs/2504.04736
SWiRL — новый подход к обучению языковых моделей многошаговому рассуждению с инструментами (поиск, калькулятор).
Идея проста: генерируем синтетические траектории, где модель сама решает — вызвать инструмент или дать ответ. Каждую траекторию из K шагов разбиваем на K подтраекторий и обучаем модель пошагово, оценивая каждый шаг отдельно.
Главный сюрприз: лучшие результаты дают траектории, отфильтрованные по качеству шагов (process filtering), а НЕ по правильности финального ответа. То есть модель учится рассуждать даже из "неправильных" траекторий!
Ещё один бонус — кросс-задачная генерализация: обучение только на вопросах HotPotQA улучшает математику (GSM8K) на 16.9%, и наоборот.
Всё это работает уже с 1000 траекторий и без единой человеческой аннотации.
https://arxiv.org/abs/2504.04736
ReTool: учим LLM стратегически использовать код-интерпретатор через RL (by ByteDance)
Текстовые цепочки рассуждений плохо считают. Код считает точно. Почему бы не научить модель самой решать — когда думать текстом, а когда запускать код?
Именно это делает ReTool: модель в процессе рассуждения может писать код, отправлять его в sandbox и использовать результат для следующего шага. Всё это обучается через PPO с простым бинарным reward — правильный ответ или нет.
Результаты на AIME2024: 67% против 40% у текстового RL-бейзлайна, причём за меньшее число шагов обучения. Плюс ответы стали короче на 40% — модель научилась делегировать вычисления коду вместо многословных рассуждений.
Интересный эмёрджентный эффект: модель сама научилась исправлять ошибки в коде и выбирать момент вызова инструмента пораньше в цепочке рассуждений.
https://arxiv.org/abs/2504.11536
Текстовые цепочки рассуждений плохо считают. Код считает точно. Почему бы не научить модель самой решать — когда думать текстом, а когда запускать код?
Именно это делает ReTool: модель в процессе рассуждения может писать код, отправлять его в sandbox и использовать результат для следующего шага. Всё это обучается через PPO с простым бинарным reward — правильный ответ или нет.
Результаты на AIME2024: 67% против 40% у текстового RL-бейзлайна, причём за меньшее число шагов обучения. Плюс ответы стали короче на 40% — модель научилась делегировать вычисления коду вместо многословных рассуждений.
Интересный эмёрджентный эффект: модель сама научилась исправлять ошибки в коде и выбирать момент вызова инструмента пораньше в цепочке рассуждений.
https://arxiv.org/abs/2504.11536
Hogwild! Inference: что если дать нескольким LLM общую память и пусть сами договорятся? (by HSE/Yandex)
Обычный параллельный инференс — это либо "запустить N моделей независимо и проголосовать", либо "разбить задачу на подзадачи заранее". Оба подхода ломаются, когда план оказывается неверным.
Авторы предложили другое: запустить несколько инстансов одной LLM с общим KV-кешем. Каждый "воркер" в реальном времени видит токены, которые генерируют остальные — через concurrent attention с переставленными positional embeddings. Никакого фиксированного фреймворка коллаборации нет — модели сами решают, кто что делает.
И это работает! QwQ и DeepSeek-R1 без дообучения умеют: делить задачи, замечать чужие ошибки, перепланировать на ходу, если начальный план провалился.
Название отсылает к Hogwild! SGD — тот тоже делал асинхронные апдейты без локов и это работало лучше, чем ожидалось.
https://arxiv.org/abs/2504.06261
Обычный параллельный инференс — это либо "запустить N моделей независимо и проголосовать", либо "разбить задачу на подзадачи заранее". Оба подхода ломаются, когда план оказывается неверным.
Авторы предложили другое: запустить несколько инстансов одной LLM с общим KV-кешем. Каждый "воркер" в реальном времени видит токены, которые генерируют остальные — через concurrent attention с переставленными positional embeddings. Никакого фиксированного фреймворка коллаборации нет — модели сами решают, кто что делает.
И это работает! QwQ и DeepSeek-R1 без дообучения умеют: делить задачи, замечать чужие ошибки, перепланировать на ходу, если начальный план провалился.
Название отсылает к Hogwild! SGD — тот тоже делал асинхронные апдейты без локов и это работало лучше, чем ожидалось.
https://arxiv.org/abs/2504.06261
AI для разработки ПО: где мы застряли и куда идти дальше (by UC Berkeley, Stanford)
Исследователи из Berkeley и Stanford сделали честный разбор: почему AI-программисты всё ещё не заменяют разработчиков, и что нужно исправить.
Главные проблемы: модели плохо работают с большими кодовыми базами, не умеют планировать на много шагов вперёд, путаются в устаревших API и библиотеках, и почти не умеют по-настоящему сотрудничать с человеком.
Авторы предлагают три оси для оценки задач: масштаб (функция / файл / репозиторий), логическая сложность и уровень автономии. По всем трём осям современные модели хороши только в узком диапазоне — небольшие задачи средней сложности с человеком рядом.
Пути вперёд: RL-обучение с исполнением кода как средой, семантически осознанный retrieval, быстрая адаптация к конкретным кодовым базам и встраивание инструментов разработчика прямо в инференс.
Хорошая карта поля для тех, кто хочет понять, где реально нужны прорывы в AI для SWE.
https://arxiv.org/abs/2503.22625
Исследователи из Berkeley и Stanford сделали честный разбор: почему AI-программисты всё ещё не заменяют разработчиков, и что нужно исправить.
Главные проблемы: модели плохо работают с большими кодовыми базами, не умеют планировать на много шагов вперёд, путаются в устаревших API и библиотеках, и почти не умеют по-настоящему сотрудничать с человеком.
Авторы предлагают три оси для оценки задач: масштаб (функция / файл / репозиторий), логическая сложность и уровень автономии. По всем трём осям современные модели хороши только в узком диапазоне — небольшие задачи средней сложности с человеком рядом.
Пути вперёд: RL-обучение с исполнением кода как средой, семантически осознанный retrieval, быстрая адаптация к конкретным кодовым базам и встраивание инструментов разработчика прямо в инференс.
Хорошая карта поля для тех, кто хочет понять, где реально нужны прорывы в AI для SWE.
https://arxiv.org/abs/2503.22625
DAPO: как побить DeepSeek-R1 на AIME, открыв весь код (by ByteDance & Tsinghua)
DeepSeek R1 набирал 47 очков на AIME. Авторы DAPO сначала воспроизвели GRPO и получили лишь 30 — провал. Разобрались почему и выкатили открытую систему, которая бьёт R1: 50 очков, и на 50% быстрее.
Четыре ключевых фикса:
1. Clip-Higher — в стандартном PPO верхний клип душит exploration: редкие токены почти не могут вырасти в вероятности. Решение: разделить верхний и нижний порог клипа, εhigh сделать больше.
2. Dynamic Sampling — если модель отвечает правильно на все варианты вопроса, градиент обнуляется. Фикс: выкидывать из батча задачи с accuracy=0 и =1, оставляя только те, где есть чему учиться.
3. Token-Level Loss — GRPO усредняет лосс по сэмплам, что даёт длинным ответам меньший вес. Переход к усреднению по токенам стабилизирует энтропию и длину ответов.
4. Overlong Reward Shaping — штраф за слишком длинные ответы снижает шум в наградах.
Код, данные и модель — полностью открыты.
https://arxiv.org/abs/2503.14476
DeepSeek R1 набирал 47 очков на AIME. Авторы DAPO сначала воспроизвели GRPO и получили лишь 30 — провал. Разобрались почему и выкатили открытую систему, которая бьёт R1: 50 очков, и на 50% быстрее.
Четыре ключевых фикса:
1. Clip-Higher — в стандартном PPO верхний клип душит exploration: редкие токены почти не могут вырасти в вероятности. Решение: разделить верхний и нижний порог клипа, εhigh сделать больше.
2. Dynamic Sampling — если модель отвечает правильно на все варианты вопроса, градиент обнуляется. Фикс: выкидывать из батча задачи с accuracy=0 и =1, оставляя только те, где есть чему учиться.
3. Token-Level Loss — GRPO усредняет лосс по сэмплам, что даёт длинным ответам меньший вес. Переход к усреднению по токенам стабилизирует энтропию и длину ответов.
4. Overlong Reward Shaping — штраф за слишком длинные ответы снижает шум в наградах.
Код, данные и модель — полностью открыты.
https://arxiv.org/abs/2503.14476
Meta AI открывает исходники RCCLX — улучшенной библиотеки GPU-коммуникаций для AMD-платформ.
Что это такое: RCCLX ускоряет обмен данными между GPU при обучении и инференсе AI-моделей на чипах AMD MI300/MI350. Библиотека интегрирована с Torchcomms, что позволяет использовать единый API для AMD и NVIDIA без переписывания кода.
Два ключевых улучшения:
Алгоритм DDA (прямой доступ к памяти) снижает задержку AllReduce-операций на 10–50% для малых сообщений. В итоге время генерации токенов сокращается примерно на 10%.
Low Precision Collectives используют FP8-квантизацию для сжатия данных до 4:1. Результат: задержка падает на 9–10%, пропускная способность растёт на 7% при минимальной потере точности (0.3% на бенчмарке GSM8K).
Почему важно: Meta делает ставку не только на NVIDIA, но и активно развивает AMD-стек. RCCLX — шаг к аппаратной независимости AI-инфраструктуры.
https://engineering.fb.com/2026/02/24/data-center-engineering/rrcclx-innovating-gpu-communications-amd-platforms-meta/
Что это такое: RCCLX ускоряет обмен данными между GPU при обучении и инференсе AI-моделей на чипах AMD MI300/MI350. Библиотека интегрирована с Torchcomms, что позволяет использовать единый API для AMD и NVIDIA без переписывания кода.
Два ключевых улучшения:
Алгоритм DDA (прямой доступ к памяти) снижает задержку AllReduce-операций на 10–50% для малых сообщений. В итоге время генерации токенов сокращается примерно на 10%.
Low Precision Collectives используют FP8-квантизацию для сжатия данных до 4:1. Результат: задержка падает на 9–10%, пропускная способность растёт на 7% при минимальной потере точности (0.3% на бенчмарке GSM8K).
Почему важно: Meta делает ставку не только на NVIDIA, но и активно развивает AMD-стек. RCCLX — шаг к аппаратной независимости AI-инфраструктуры.
https://engineering.fb.com/2026/02/24/data-center-engineering/rrcclx-innovating-gpu-communications-amd-platforms-meta/
Engineering at Meta
RCCLX: Innovating GPU Communications on AMD Platforms
We are open-sourcing the initial version of RCCLX – an enhanced version of RCCL that we developed and tested on Meta’s internal workloads. RCCLX is fully integrated with Torchcomms and aims to empo…
Nvidia Tech: Blackwell Ultra ускоряет softmax в 2 раза
Новые GPU GB300 от NVIDIA решают давнюю проблему в работе LLM — узкое место в функции softmax. Именно она нормализует веса внимания в трансформерах, и именно она тормозила весь пайплайн, пока мощные тензорные ядра простаивали в ожидании.
Blackwell Ultra удвоил пропускную способность специальных блоков SFU, отвечающих за экспоненциальные вычисления. Результат: прирост FP8-производительности на ~35% для моделей вроде DeepSeek-V3, а блоки softmax в пайплайне стали вдвое короче.
Для пользователей это означает быстрее работающие длинные контексты — именно там квадратичный рост матрицы внимания раньше бил по скорости сильнее всего.
https://developer.nvidia.com/blog/making-softmax-more-efficient-with-nvidia-blackwell-ultra/
Новые GPU GB300 от NVIDIA решают давнюю проблему в работе LLM — узкое место в функции softmax. Именно она нормализует веса внимания в трансформерах, и именно она тормозила весь пайплайн, пока мощные тензорные ядра простаивали в ожидании.
Blackwell Ultra удвоил пропускную способность специальных блоков SFU, отвечающих за экспоненциальные вычисления. Результат: прирост FP8-производительности на ~35% для моделей вроде DeepSeek-V3, а блоки softmax в пайплайне стали вдвое короче.
Для пользователей это означает быстрее работающие длинные контексты — именно там квадратичный рост матрицы внимания раньше бил по скорости сильнее всего.
https://developer.nvidia.com/blog/making-softmax-more-efficient-with-nvidia-blackwell-ultra/
NVIDIA Technical Blog
Making Softmax More Efficient with NVIDIA Blackwell Ultra
LLM context lengths are exploding, and architectures are moving toward complex attention schemes like Multi-Head Latent Attention (MLA) and Grouped Query Attention (GQA). As a result…
Nvidia Tech: тренируем AI-модели быстрее без потери качества
Nvidia опубликовала технический отчёт о низкоточном обучении больших языковых моделей с использованием форматов FP8 и нового NVFP4 на GPU серии Blackwell (B200).
Что важно: NVFP4 даёт прирост скорости обучения до 1.59x по сравнению со стандартным BF16 — при этом качество модели на бенчмарках (MMLU, HellaSwag и др.) практически не падает. Проверено на Llama 3 8B, обученной на 1 триллионе токенов.
Нюанс: NVFP4 требует оставлять несколько последних слоёв сети в BF16, иначе обучение расходится.
Почему это важно: обучение больших моделей стоит огромных денег. Ускорение в 1.6x — это прямая экономия вычислительных ресурсов и возможность масштабировать модели без пропорционального роста затрат. Инструментарий доступен через открытую библиотеку NeMo Megatron Bridge.
https://developer.nvidia.com/blog/using-nvfp4-low-precision-model-training-for-higher-throughput-without-losing-accuracy/
Nvidia опубликовала технический отчёт о низкоточном обучении больших языковых моделей с использованием форматов FP8 и нового NVFP4 на GPU серии Blackwell (B200).
Что важно: NVFP4 даёт прирост скорости обучения до 1.59x по сравнению со стандартным BF16 — при этом качество модели на бенчмарках (MMLU, HellaSwag и др.) практически не падает. Проверено на Llama 3 8B, обученной на 1 триллионе токенов.
Нюанс: NVFP4 требует оставлять несколько последних слоёв сети в BF16, иначе обучение расходится.
Почему это важно: обучение больших моделей стоит огромных денег. Ускорение в 1.6x — это прямая экономия вычислительных ресурсов и возможность масштабировать модели без пропорционального роста затрат. Инструментарий доступен через открытую библиотеку NeMo Megatron Bridge.
https://developer.nvidia.com/blog/using-nvfp4-low-precision-model-training-for-higher-throughput-without-losing-accuracy/
NVIDIA Technical Blog
Using NVFP4 Low-Precision Model Training for Higher Throughput Without Losing Accuracy
As the sizes of AI models and datasets continue to increase, relying only on higher-precision BF16 training is no longer sufficient. Key challenges such as training throughput expectations…