Reasoning-модели думают зря? (by UC Berkeley, Allen Institute for AI)

Оказывается, длинные цепочки рассуждений в стиле DeepSeek-R1 и o1 — не обязательны для хорошего результата. Авторы придумали трюк под названием NoThinking: просто подставляют в блок размышлений фразу "Okay, I think I have finished thinking." — и модель сразу выдаёт ответ, пропуская весь процесс думания.

Результат: NoThinking использует в 2–5 раз меньше токенов и при этом либо не уступает обычному Thinking, либо превосходит его — особенно при параллельном семплировании (best-of-N). На OlympiadBench удалось получить в 9 раз меньшую задержку при лучшей точности.

Вывод: модели, натренированные думать вслух, уже умеют решать задачи без явного рассуждения. Мы просто платили за "поток сознания", который был не нужен.

Источник

Google Gemini теперь умеет создавать музыку

В приложении Gemini появилась генерация музыки на базе модели Lyria 3 от Google DeepMind. Достаточно описать идею текстом или загрузить фото — и через несколько секунд получишь 30-секундный трек с вокалом, обложкой и нужным настроением.

Что важно: не нужно придумывать текст песни самому — слова генерируются автоматически. Можно задать жанр, темп, стиль вокала. Модель делает треки заметно реалистичнее предыдущих версий Lyria.

Все треки помечаются невидимым водяным знаком SynthID, а сам Gemini теперь умеет проверять аудиофайлы на предмет AI-генерации.

Доступно для пользователей 18+ на 8 языках, включая русский... нет, пока без него — английский, немецкий, испанский, французский, хинди, японский, корейский и португальский. Подписчики платных планов получат повышенные лимиты.

Источник

Лучшие фичи ViT прячутся в середине сети, а не на выходе

Авторы обнаружили странную вещь: если обучить большую vision-модель только на контрастивном лоссе (как CLIP), внутри неё спонтанно появляются фичи для OCR, VQA, детекции, depth estimation и трекинга — но в разных слоях! На выходе сети их нет.

Решение: alignment tuning — дообучение, которое "вытаскивает" нужные фичи на выход сети. В итоге получились три чекпоинта:
PE Core — лучший энкодер для классификации и ретривла (бьёт SigLIP2 и InternVideo2)
PE Lang — для мультимодальных LLM задач (бьёт AIMv2)
PE Spatial — для детекции, depth, трекинга (новый SOTA на COCO detection)

Главный вывод: не нужно городить зоопарк из contrastive + captioning + self-supervised лоссов. Один хорошо настроенный CLIP-like пайплайн + alignment tuning закрывает всё.

Код, веса и датасет из 1M видео открыты.

Источник

TTRL: модель учится на тестовых данных без единого лейбла (by Tsinghua / Shanghai AI Lab)

Что если модель может улучшаться прямо во время инференса, не имея правильных ответов? TTRL делает именно это: берёт тестовые данные, генерирует N ответов, выбирает мажоритарный голос как псевдо-лейбл и запускает RL прямо на этом сигнале.

Никаких размеченных данных. Никакого человека в петле. Просто: сгенерируй много ответов → возьми большинство как "правду" → обнови веса.

Результат на Qwen2.5-Math-7B: AIME 2024 вырос с 12.9 до 40.2 — это +211%. Средний прирост по 4 бенчмаркам — +76%.

Ключевой инсайт: мажоритарный голос оказался достаточно надёжным сигналом для стабильного RL, а модель умудряется превзойти свой же потолок maj@n. Работает на моделях разных семейств: Qwen, LLaMA, Mistral, DeepSeek.

Связано с Test-Time Training (TTT) и DeepSeek-R1, но принципиально новое — RL без лейблов в продакшне.

Источник

DeepSeek научил reward model думать перед тем, как выставить оценку (by DeepSeek)

Reward modeling — больное место RLHF. Скалярные reward model'и дают одно число и всё, никакого разнообразия при сэмплинге. Авторы из Tsinghua и DeepSeek предложили другой путь: пусть reward model сначала генерирует принципы оценки, потом критику, и только потом — reward.

Метод называется SPCT (Self-Principled Critique Tuning). Обучают через rule-based online RL: модель учится адаптивно придумывать принципы под конкретный запрос, а не использовать фиксированные критерии.

Фишка в inference-time scaling: сэмплируем несколько наборов принципов + критик параллельно, голосуем за финальный reward. Чем больше сэмплов — тем точнее оценка. Дополнительно обучили meta RM, который агрегирует результаты лучше простого голосования.

Итог: DeepSeek-GRM-27B при k=32 сэмплах обходит GPT-4o и Nemotron-4-340B-Reward. Inference scaling бьёт scaling по размеру модели.

Источник

Reasoning-модели умеют думать — но обязаны ли они это делать? (by UC Berkeley, AI2)

Оказывается, нет. Авторы взяли DeepSeek-R1-Distill и просто... подделали блок размышлений. Вместо длинной цепочки мыслей модель видит: "Okay, I think I have finished thinking." — и сразу пишет ответ.

Называется это NoThinking. Никакого дообучения, никаких новых весов — просто промпт.

Результат шокирует: NoThinking использует в 2–5 раз меньше токенов, при этом на многих бенчмарках (AIME, OlympiadBench, теормдоказательства) либо не уступает обычному Thinking, либо обгоняет его при параллельном семплировании (best-of-N). Латентность — до 9 раз ниже.

Главный вывод: длинные цепочки размышлений — не обязательное условие умных ответов. Возможно, модель "думает" не в явном тексте, а в скрытых представлениях. Или просто тратит токены впустую.

Источник

Демис Хассабис посетил Индийский институт науки в Бангалоре, где пообщался с местными учёными об ИИ в науке. Его впечатлил энтузиазм молодёжи в Индии по отношению к ИИ. Отдельно отметил статую Рамануджана — легендарного математика-самоучки, которого Хассабис называет одним из своих главных героев. Символично: основатель DeepMind вдохновляется гением, который когда-то перевернул математику без формального образования.

Источник

Как научить LLM думать пошагово без правильных ответов? (by Google DeepMind, Stanford)

SWiRL — новый подход к обучению языковых моделей многошаговому рассуждению с инструментами (поиск, калькулятор).

Идея проста: генерируем синтетические траектории, где модель сама решает — вызвать инструмент или дать ответ. Каждую траекторию из K шагов разбиваем на K подтраекторий и обучаем модель пошагово, оценивая каждый шаг отдельно.

Главный сюрприз: лучшие результаты дают траектории, отфильтрованные по качеству шагов (process filtering), а НЕ по правильности финального ответа. То есть модель учится рассуждать даже из "неправильных" траекторий!

Ещё один бонус — кросс-задачная генерализация: обучение только на вопросах HotPotQA улучшает математику (GSM8K) на 16.9%, и наоборот.

Всё это работает уже с 1000 траекторий и без единой человеческой аннотации.

https://arxiv.org/abs/2504.04736

ReTool: учим LLM стратегически использовать код-интерпретатор через RL (by ByteDance)

Текстовые цепочки рассуждений плохо считают. Код считает точно. Почему бы не научить модель самой решать — когда думать текстом, а когда запускать код?

Именно это делает ReTool: модель в процессе рассуждения может писать код, отправлять его в sandbox и использовать результат для следующего шага. Всё это обучается через PPO с простым бинарным reward — правильный ответ или нет.

Результаты на AIME2024: 67% против 40% у текстового RL-бейзлайна, причём за меньшее число шагов обучения. Плюс ответы стали короче на 40% — модель научилась делегировать вычисления коду вместо многословных рассуждений.

Интересный эмёрджентный эффект: модель сама научилась исправлять ошибки в коде и выбирать момент вызова инструмента пораньше в цепочке рассуждений.

https://arxiv.org/abs/2504.11536

Hogwild! Inference: что если дать нескольким LLM общую память и пусть сами договорятся? (by HSE/Yandex)

Обычный параллельный инференс — это либо "запустить N моделей независимо и проголосовать", либо "разбить задачу на подзадачи заранее". Оба подхода ломаются, когда план оказывается неверным.

Авторы предложили другое: запустить несколько инстансов одной LLM с общим KV-кешем. Каждый "воркер" в реальном времени видит токены, которые генерируют остальные — через concurrent attention с переставленными positional embeddings. Никакого фиксированного фреймворка коллаборации нет — модели сами решают, кто что делает.

И это работает! QwQ и DeepSeek-R1 без дообучения умеют: делить задачи, замечать чужие ошибки, перепланировать на ходу, если начальный план провалился.

Название отсылает к Hogwild! SGD — тот тоже делал асинхронные апдейты без локов и это работало лучше, чем ожидалось.

https://arxiv.org/abs/2504.06261

AI для разработки ПО: где мы застряли и куда идти дальше (by UC Berkeley, Stanford)

Исследователи из Berkeley и Stanford сделали честный разбор: почему AI-программисты всё ещё не заменяют разработчиков, и что нужно исправить.

Главные проблемы: модели плохо работают с большими кодовыми базами, не умеют планировать на много шагов вперёд, путаются в устаревших API и библиотеках, и почти не умеют по-настоящему сотрудничать с человеком.

Авторы предлагают три оси для оценки задач: масштаб (функция / файл / репозиторий), логическая сложность и уровень автономии. По всем трём осям современные модели хороши только в узком диапазоне — небольшие задачи средней сложности с человеком рядом.

Пути вперёд: RL-обучение с исполнением кода как средой, семантически осознанный retrieval, быстрая адаптация к конкретным кодовым базам и встраивание инструментов разработчика прямо в инференс.

Хорошая карта поля для тех, кто хочет понять, где реально нужны прорывы в AI для SWE.

https://arxiv.org/abs/2503.22625

DAPO: как побить DeepSeek-R1 на AIME, открыв весь код (by ByteDance & Tsinghua)

DeepSeek R1 набирал 47 очков на AIME. Авторы DAPO сначала воспроизвели GRPO и получили лишь 30 — провал. Разобрались почему и выкатили открытую систему, которая бьёт R1: 50 очков, и на 50% быстрее.

Четыре ключевых фикса:

1. Clip-Higher — в стандартном PPO верхний клип душит exploration: редкие токены почти не могут вырасти в вероятности. Решение: разделить верхний и нижний порог клипа, εhigh сделать больше.

2. Dynamic Sampling — если модель отвечает правильно на все варианты вопроса, градиент обнуляется. Фикс: выкидывать из батча задачи с accuracy=0 и =1, оставляя только те, где есть чему учиться.

3. Token-Level Loss — GRPO усредняет лосс по сэмплам, что даёт длинным ответам меньший вес. Переход к усреднению по токенам стабилизирует энтропию и длину ответов.

4. Overlong Reward Shaping — штраф за слишком длинные ответы снижает шум в наградах.

Код, данные и модель — полностью открыты.

https://arxiv.org/abs/2503.14476

Meta AI открывает исходники RCCLX — улучшенной библиотеки GPU-коммуникаций для AMD-платформ.

Что это такое: RCCLX ускоряет обмен данными между GPU при обучении и инференсе AI-моделей на чипах AMD MI300/MI350. Библиотека интегрирована с Torchcomms, что позволяет использовать единый API для AMD и NVIDIA без переписывания кода.

Два ключевых улучшения:

Алгоритм DDA (прямой доступ к памяти) снижает задержку AllReduce-операций на 10–50% для малых сообщений. В итоге время генерации токенов сокращается примерно на 10%.

Low Precision Collectives используют FP8-квантизацию для сжатия данных до 4:1. Результат: задержка падает на 9–10%, пропускная способность растёт на 7% при минимальной потере точности (0.3% на бенчмарке GSM8K).

Почему важно: Meta делает ставку не только на NVIDIA, но и активно развивает AMD-стек. RCCLX — шаг к аппаратной независимости AI-инфраструктуры.

https://engineering.fb.com/2026/02/24/data-center-engineering/rrcclx-innovating-gpu-communications-amd-platforms-meta/

Nvidia Tech: Blackwell Ultra ускоряет softmax в 2 раза

Новые GPU GB300 от NVIDIA решают давнюю проблему в работе LLM — узкое место в функции softmax. Именно она нормализует веса внимания в трансформерах, и именно она тормозила весь пайплайн, пока мощные тензорные ядра простаивали в ожидании.

Blackwell Ultra удвоил пропускную способность специальных блоков SFU, отвечающих за экспоненциальные вычисления. Результат: прирост FP8-производительности на ~35% для моделей вроде DeepSeek-V3, а блоки softmax в пайплайне стали вдвое короче.

Для пользователей это означает быстрее работающие длинные контексты — именно там квадратичный рост матрицы внимания раньше бил по скорости сильнее всего.

https://developer.nvidia.com/blog/making-softmax-more-efficient-with-nvidia-blackwell-ultra/

Nvidia Tech: тренируем AI-модели быстрее без потери качества

Nvidia опубликовала технический отчёт о низкоточном обучении больших языковых моделей с использованием форматов FP8 и нового NVFP4 на GPU серии Blackwell (B200).

Что важно: NVFP4 даёт прирост скорости обучения до 1.59x по сравнению со стандартным BF16 — при этом качество модели на бенчмарках (MMLU, HellaSwag и др.) практически не падает. Проверено на Llama 3 8B, обученной на 1 триллионе токенов.

Нюанс: NVFP4 требует оставлять несколько последних слоёв сети в BF16, иначе обучение расходится.

Почему это важно: обучение больших моделей стоит огромных денег. Ускорение в 1.6x — это прямая экономия вычислительных ресурсов и возможность масштабировать модели без пропорционального роста затрат. Инструментарий доступен через открытую библиотеку NeMo Megatron Bridge.

https://developer.nvidia.com/blog/using-nvfp4-low-precision-model-training-for-higher-throughput-without-losing-accuracy/

Google DeepMind рассказали о своём проекте Genie — системе, которая превращает один текстовый промпт в целую интерактивную среду для навигации. Исследователи объяснили, как работают так называемые "мировые модели" и почему они важны для обучения будущих ИИ-агентов. По сути, это шаг к тому, чтобы ИИ мог учиться действовать в виртуальных мирах, созданных буквально из одной фразы. Звучит как научная фантастика, но это уже реальные исследования.

https://x.com/GoogleDeepMind/status/2026734366118879390

LLMs умеют решать олимпиады? Только если ответ — число

Исследователи из ETH Zurich взяли задачи USAMO 2025 — одной из самых престижных математических олимпиад США — и проверили на них 8 топовых reasoning-моделей. Фишка USAMO: нужно не просто дать ответ, а написать строгое доказательство.

Результат провальный. Лучшая модель — Gemini 2.5 Pro — набрала всего 24.4% от максимума. Все остальные (o1-pro, o3-mini, Claude 3.7, R1, Grok 3...) — ниже 5%. Почти 175 решений от этих моделей, и лишь один раз кто-то получил 7/7 — Grok 3 на задаче 1.

Главные провалы: логические ошибки, неоправданные допущения, неверная стратегия решения. И самое забавное: все модели уверенно заявляли, что решили задачу — даже когда это было полной чушью. Люди хотя бы чувствуют, когда не решили.

Вывод: на AIME LLM уже конкурируют с топами, но строгие доказательства — совсем другая история. Текущие подходы типа GRPO явно недостаточны для задач, требующих настоящей математической строгости.

https://arxiv.org/abs/2503.21934

DeepSeek-R1: модель научилась думать сама, без учителя (by DeepSeek)

Что если не показывать модели, как рассуждать, а просто награждать за правильный ответ? DeepSeek взяли базовую модель, запустили чистое RL без SFT, и получили DeepSeek-R1-Zero — модель, которая сама "придумала" цепочки рассуждений, самопроверку и откат к альтернативным подходам.

Результат: на AIME 2024 точность выросла с 15.6% до 77.9% — выше среднего участника олимпиады.

Самое интересное: в процессе обучения модель начала писать "Wait, wait. Wait. That's an aha moment" — то есть сама научилась останавливаться и переосмысливать ход решения. Никто её этому не учил.

Финальный DeepSeek-R1 доработан: добавили rejection sampling и SFT для читаемости, убрали смешение языков. Маленькие дистиллированные версии тоже выложили в открытый доступ.

https://arxiv.org/abs/2501.12948

ReSearch: научи LLM гуглить через RL, без единого лейбла

DeepSeek-R1 научил модели думать цепочками. А что если добавить в эту цепочку поисковые запросы? Авторы из Tongji и Zhejiang University сделали именно это.

Идея: в процессе рассуждения модель может вставить тег <search>запрос</search>, получить результат из поиска в <result>, и продолжить думать дальше. Никаких размеченных цепочек рассуждений — только GRPO и финальная награда за правильный ответ.

Фишки реализации:
— токены retrieval results маскируются при расчёте лосса (модель не должна "имитировать" чужой текст)
— промпт минималистичный, как в DeepSeek-R1
— обучали на одном датасете, тестировали на нескольких

Результат: +8.9–22.4% абсолютного прироста на multi-hop QA бенчмарках (HotpotQA, MuSiQue, 2WikiMultiHop) против RAG-базелайнов. Модель сама учится когда и как искать — без единого примера reasoning-with-search.

https://arxiv.org/abs/2503.19470

DeepSeek рассказал, как обучить топовую LLM на 2048 GPU (by DeepSeek)

DeepSeek опубликовал подробный разбор того, как они обучили V3, пока у конкурентов десятки тысяч GPU. Ключевые трюки:

MLA (Multi-head Latent Attention) — сжимает KV-кэш в компактный латентный вектор. Итог: V3 хранит 70 KB на токен против 516 KB у LLaMA-3.1 405B. Разница в 7x!

FP8 вместо BF16 — вдвое меньше памяти при обучении без заметной потери качества.

MoE (Mixture of Experts) — активируется только часть параметров, что резко снижает вычислительные затраты.

Multi-Token Prediction — модель предсказывает сразу несколько токенов, ускоряя инференс.

Сеть: вместо дорогого трёхуровневого Fat-Tree — двухуровневый Multi-Plane вариант. Дешевле, работает.

Главный месседж статьи: правильный co-design железа и архитектуры модели важнее брутфорса через количество GPU. Маленькая команда с умным подходом может конкурировать с корпорациями, у которых сотни тысяч ускорителей.

https://arxiv.org/abs/2505.09343

Microsoft Research представила CORPGEN — новый подход к обучению AI-агентов для реальных рабочих задач.

В основе — мультимодальное обучение с подкреплением и специальный агентский верификатор. Проще говоря: агент не просто выполняет инструкции, но и сам проверяет правильность своих действий в процессе работы.

Это важный шаг к агентам, которые умеют работать с реальными корпоративными задачами — не в тепличных условиях бенчмарков, а там, где нужно принимать решения, работать с документами, интерфейсами и данными одновременно.

Для пользователей это означает более надёжных AI-помощников, которые реже ошибаются и лучше понимают контекст сложных рабочих процессов. Microsoft явно метит в корпоративный рынок, где цена ошибки агента особенно высока.

https://www.microsoft.com/en-us/research/blog/corpgen-advances-ai-agents-for-real-work/