DeepSeek научил reward model думать перед тем, как выставить оценку (by DeepSeek)

Reward modeling — больное место RLHF. Скалярные reward model'и дают одно число и всё, никакого разнообразия при сэмплинге. Авторы из Tsinghua и DeepSeek предложили другой путь: пусть reward model сначала генерирует принципы оценки, потом критику, и только потом — reward.

Метод называется SPCT (Self-Principled Critique Tuning). Обучают через rule-based online RL: модель учится адаптивно придумывать принципы под конкретный запрос, а не использовать фиксированные критерии.

Фишка в inference-time scaling: сэмплируем несколько наборов принципов + критик параллельно, голосуем за финальный reward. Чем больше сэмплов — тем точнее оценка. Дополнительно обучили meta RM, который агрегирует результаты лучше простого голосования.

Итог: DeepSeek-GRM-27B при k=32 сэмплах обходит GPT-4o и Nemotron-4-340B-Reward. Inference scaling бьёт scaling по размеру модели.

Источник

Reasoning-модели умеют думать — но обязаны ли они это делать? (by UC Berkeley, AI2)

Оказывается, нет. Авторы взяли DeepSeek-R1-Distill и просто... подделали блок размышлений. Вместо длинной цепочки мыслей модель видит: "Okay, I think I have finished thinking." — и сразу пишет ответ.

Называется это NoThinking. Никакого дообучения, никаких новых весов — просто промпт.

Результат шокирует: NoThinking использует в 2–5 раз меньше токенов, при этом на многих бенчмарках (AIME, OlympiadBench, теормдоказательства) либо не уступает обычному Thinking, либо обгоняет его при параллельном семплировании (best-of-N). Латентность — до 9 раз ниже.

Главный вывод: длинные цепочки размышлений — не обязательное условие умных ответов. Возможно, модель "думает" не в явном тексте, а в скрытых представлениях. Или просто тратит токены впустую.

Источник

Демис Хассабис посетил Индийский институт науки в Бангалоре, где пообщался с местными учёными об ИИ в науке. Его впечатлил энтузиазм молодёжи в Индии по отношению к ИИ. Отдельно отметил статую Рамануджана — легендарного математика-самоучки, которого Хассабис называет одним из своих главных героев. Символично: основатель DeepMind вдохновляется гением, который когда-то перевернул математику без формального образования.

Источник

Как научить LLM думать пошагово без правильных ответов? (by Google DeepMind, Stanford)

SWiRL — новый подход к обучению языковых моделей многошаговому рассуждению с инструментами (поиск, калькулятор).

Идея проста: генерируем синтетические траектории, где модель сама решает — вызвать инструмент или дать ответ. Каждую траекторию из K шагов разбиваем на K подтраекторий и обучаем модель пошагово, оценивая каждый шаг отдельно.

Главный сюрприз: лучшие результаты дают траектории, отфильтрованные по качеству шагов (process filtering), а НЕ по правильности финального ответа. То есть модель учится рассуждать даже из "неправильных" траекторий!

Ещё один бонус — кросс-задачная генерализация: обучение только на вопросах HotPotQA улучшает математику (GSM8K) на 16.9%, и наоборот.

Всё это работает уже с 1000 траекторий и без единой человеческой аннотации.

https://arxiv.org/abs/2504.04736

ReTool: учим LLM стратегически использовать код-интерпретатор через RL (by ByteDance)

Текстовые цепочки рассуждений плохо считают. Код считает точно. Почему бы не научить модель самой решать — когда думать текстом, а когда запускать код?

Именно это делает ReTool: модель в процессе рассуждения может писать код, отправлять его в sandbox и использовать результат для следующего шага. Всё это обучается через PPO с простым бинарным reward — правильный ответ или нет.

Результаты на AIME2024: 67% против 40% у текстового RL-бейзлайна, причём за меньшее число шагов обучения. Плюс ответы стали короче на 40% — модель научилась делегировать вычисления коду вместо многословных рассуждений.

Интересный эмёрджентный эффект: модель сама научилась исправлять ошибки в коде и выбирать момент вызова инструмента пораньше в цепочке рассуждений.

https://arxiv.org/abs/2504.11536

Hogwild! Inference: что если дать нескольким LLM общую память и пусть сами договорятся? (by HSE/Yandex)

Обычный параллельный инференс — это либо "запустить N моделей независимо и проголосовать", либо "разбить задачу на подзадачи заранее". Оба подхода ломаются, когда план оказывается неверным.

Авторы предложили другое: запустить несколько инстансов одной LLM с общим KV-кешем. Каждый "воркер" в реальном времени видит токены, которые генерируют остальные — через concurrent attention с переставленными positional embeddings. Никакого фиксированного фреймворка коллаборации нет — модели сами решают, кто что делает.

И это работает! QwQ и DeepSeek-R1 без дообучения умеют: делить задачи, замечать чужие ошибки, перепланировать на ходу, если начальный план провалился.

Название отсылает к Hogwild! SGD — тот тоже делал асинхронные апдейты без локов и это работало лучше, чем ожидалось.

https://arxiv.org/abs/2504.06261

AI для разработки ПО: где мы застряли и куда идти дальше (by UC Berkeley, Stanford)

Исследователи из Berkeley и Stanford сделали честный разбор: почему AI-программисты всё ещё не заменяют разработчиков, и что нужно исправить.

Главные проблемы: модели плохо работают с большими кодовыми базами, не умеют планировать на много шагов вперёд, путаются в устаревших API и библиотеках, и почти не умеют по-настоящему сотрудничать с человеком.

Авторы предлагают три оси для оценки задач: масштаб (функция / файл / репозиторий), логическая сложность и уровень автономии. По всем трём осям современные модели хороши только в узком диапазоне — небольшие задачи средней сложности с человеком рядом.

Пути вперёд: RL-обучение с исполнением кода как средой, семантически осознанный retrieval, быстрая адаптация к конкретным кодовым базам и встраивание инструментов разработчика прямо в инференс.

Хорошая карта поля для тех, кто хочет понять, где реально нужны прорывы в AI для SWE.

https://arxiv.org/abs/2503.22625

DAPO: как побить DeepSeek-R1 на AIME, открыв весь код (by ByteDance & Tsinghua)

DeepSeek R1 набирал 47 очков на AIME. Авторы DAPO сначала воспроизвели GRPO и получили лишь 30 — провал. Разобрались почему и выкатили открытую систему, которая бьёт R1: 50 очков, и на 50% быстрее.

Четыре ключевых фикса:

1. Clip-Higher — в стандартном PPO верхний клип душит exploration: редкие токены почти не могут вырасти в вероятности. Решение: разделить верхний и нижний порог клипа, εhigh сделать больше.

2. Dynamic Sampling — если модель отвечает правильно на все варианты вопроса, градиент обнуляется. Фикс: выкидывать из батча задачи с accuracy=0 и =1, оставляя только те, где есть чему учиться.

3. Token-Level Loss — GRPO усредняет лосс по сэмплам, что даёт длинным ответам меньший вес. Переход к усреднению по токенам стабилизирует энтропию и длину ответов.

4. Overlong Reward Shaping — штраф за слишком длинные ответы снижает шум в наградах.

Код, данные и модель — полностью открыты.

https://arxiv.org/abs/2503.14476

Meta AI открывает исходники RCCLX — улучшенной библиотеки GPU-коммуникаций для AMD-платформ.

Что это такое: RCCLX ускоряет обмен данными между GPU при обучении и инференсе AI-моделей на чипах AMD MI300/MI350. Библиотека интегрирована с Torchcomms, что позволяет использовать единый API для AMD и NVIDIA без переписывания кода.

Два ключевых улучшения:

Алгоритм DDA (прямой доступ к памяти) снижает задержку AllReduce-операций на 10–50% для малых сообщений. В итоге время генерации токенов сокращается примерно на 10%.

Low Precision Collectives используют FP8-квантизацию для сжатия данных до 4:1. Результат: задержка падает на 9–10%, пропускная способность растёт на 7% при минимальной потере точности (0.3% на бенчмарке GSM8K).

Почему важно: Meta делает ставку не только на NVIDIA, но и активно развивает AMD-стек. RCCLX — шаг к аппаратной независимости AI-инфраструктуры.

https://engineering.fb.com/2026/02/24/data-center-engineering/rrcclx-innovating-gpu-communications-amd-platforms-meta/

Nvidia Tech: Blackwell Ultra ускоряет softmax в 2 раза

Новые GPU GB300 от NVIDIA решают давнюю проблему в работе LLM — узкое место в функции softmax. Именно она нормализует веса внимания в трансформерах, и именно она тормозила весь пайплайн, пока мощные тензорные ядра простаивали в ожидании.

Blackwell Ultra удвоил пропускную способность специальных блоков SFU, отвечающих за экспоненциальные вычисления. Результат: прирост FP8-производительности на ~35% для моделей вроде DeepSeek-V3, а блоки softmax в пайплайне стали вдвое короче.

Для пользователей это означает быстрее работающие длинные контексты — именно там квадратичный рост матрицы внимания раньше бил по скорости сильнее всего.

https://developer.nvidia.com/blog/making-softmax-more-efficient-with-nvidia-blackwell-ultra/

Nvidia Tech: тренируем AI-модели быстрее без потери качества

Nvidia опубликовала технический отчёт о низкоточном обучении больших языковых моделей с использованием форматов FP8 и нового NVFP4 на GPU серии Blackwell (B200).

Что важно: NVFP4 даёт прирост скорости обучения до 1.59x по сравнению со стандартным BF16 — при этом качество модели на бенчмарках (MMLU, HellaSwag и др.) практически не падает. Проверено на Llama 3 8B, обученной на 1 триллионе токенов.

Нюанс: NVFP4 требует оставлять несколько последних слоёв сети в BF16, иначе обучение расходится.

Почему это важно: обучение больших моделей стоит огромных денег. Ускорение в 1.6x — это прямая экономия вычислительных ресурсов и возможность масштабировать модели без пропорционального роста затрат. Инструментарий доступен через открытую библиотеку NeMo Megatron Bridge.

https://developer.nvidia.com/blog/using-nvfp4-low-precision-model-training-for-higher-throughput-without-losing-accuracy/

Google DeepMind рассказали о своём проекте Genie — системе, которая превращает один текстовый промпт в целую интерактивную среду для навигации. Исследователи объяснили, как работают так называемые "мировые модели" и почему они важны для обучения будущих ИИ-агентов. По сути, это шаг к тому, чтобы ИИ мог учиться действовать в виртуальных мирах, созданных буквально из одной фразы. Звучит как научная фантастика, но это уже реальные исследования.

https://x.com/GoogleDeepMind/status/2026734366118879390

LLMs умеют решать олимпиады? Только если ответ — число

Исследователи из ETH Zurich взяли задачи USAMO 2025 — одной из самых престижных математических олимпиад США — и проверили на них 8 топовых reasoning-моделей. Фишка USAMO: нужно не просто дать ответ, а написать строгое доказательство.

Результат провальный. Лучшая модель — Gemini 2.5 Pro — набрала всего 24.4% от максимума. Все остальные (o1-pro, o3-mini, Claude 3.7, R1, Grok 3...) — ниже 5%. Почти 175 решений от этих моделей, и лишь один раз кто-то получил 7/7 — Grok 3 на задаче 1.

Главные провалы: логические ошибки, неоправданные допущения, неверная стратегия решения. И самое забавное: все модели уверенно заявляли, что решили задачу — даже когда это было полной чушью. Люди хотя бы чувствуют, когда не решили.

Вывод: на AIME LLM уже конкурируют с топами, но строгие доказательства — совсем другая история. Текущие подходы типа GRPO явно недостаточны для задач, требующих настоящей математической строгости.

https://arxiv.org/abs/2503.21934

DeepSeek-R1: модель научилась думать сама, без учителя (by DeepSeek)

Что если не показывать модели, как рассуждать, а просто награждать за правильный ответ? DeepSeek взяли базовую модель, запустили чистое RL без SFT, и получили DeepSeek-R1-Zero — модель, которая сама "придумала" цепочки рассуждений, самопроверку и откат к альтернативным подходам.

Результат: на AIME 2024 точность выросла с 15.6% до 77.9% — выше среднего участника олимпиады.

Самое интересное: в процессе обучения модель начала писать "Wait, wait. Wait. That's an aha moment" — то есть сама научилась останавливаться и переосмысливать ход решения. Никто её этому не учил.

Финальный DeepSeek-R1 доработан: добавили rejection sampling и SFT для читаемости, убрали смешение языков. Маленькие дистиллированные версии тоже выложили в открытый доступ.

https://arxiv.org/abs/2501.12948

ReSearch: научи LLM гуглить через RL, без единого лейбла

DeepSeek-R1 научил модели думать цепочками. А что если добавить в эту цепочку поисковые запросы? Авторы из Tongji и Zhejiang University сделали именно это.

Идея: в процессе рассуждения модель может вставить тег <search>запрос</search>, получить результат из поиска в <result>, и продолжить думать дальше. Никаких размеченных цепочек рассуждений — только GRPO и финальная награда за правильный ответ.

Фишки реализации:
— токены retrieval results маскируются при расчёте лосса (модель не должна "имитировать" чужой текст)
— промпт минималистичный, как в DeepSeek-R1
— обучали на одном датасете, тестировали на нескольких

Результат: +8.9–22.4% абсолютного прироста на multi-hop QA бенчмарках (HotpotQA, MuSiQue, 2WikiMultiHop) против RAG-базелайнов. Модель сама учится когда и как искать — без единого примера reasoning-with-search.

https://arxiv.org/abs/2503.19470

DeepSeek рассказал, как обучить топовую LLM на 2048 GPU (by DeepSeek)

DeepSeek опубликовал подробный разбор того, как они обучили V3, пока у конкурентов десятки тысяч GPU. Ключевые трюки:

MLA (Multi-head Latent Attention) — сжимает KV-кэш в компактный латентный вектор. Итог: V3 хранит 70 KB на токен против 516 KB у LLaMA-3.1 405B. Разница в 7x!

FP8 вместо BF16 — вдвое меньше памяти при обучении без заметной потери качества.

MoE (Mixture of Experts) — активируется только часть параметров, что резко снижает вычислительные затраты.

Multi-Token Prediction — модель предсказывает сразу несколько токенов, ускоряя инференс.

Сеть: вместо дорогого трёхуровневого Fat-Tree — двухуровневый Multi-Plane вариант. Дешевле, работает.

Главный месседж статьи: правильный co-design железа и архитектуры модели важнее брутфорса через количество GPU. Маленькая команда с умным подходом может конкурировать с корпорациями, у которых сотни тысяч ускорителей.

https://arxiv.org/abs/2505.09343

Microsoft Research представила CORPGEN — новый подход к обучению AI-агентов для реальных рабочих задач.

В основе — мультимодальное обучение с подкреплением и специальный агентский верификатор. Проще говоря: агент не просто выполняет инструкции, но и сам проверяет правильность своих действий в процессе работы.

Это важный шаг к агентам, которые умеют работать с реальными корпоративными задачами — не в тепличных условиях бенчмарков, а там, где нужно принимать решения, работать с документами, интерфейсами и данными одновременно.

Для пользователей это означает более надёжных AI-помощников, которые реже ошибаются и лучше понимают контекст сложных рабочих процессов. Microsoft явно метит в корпоративный рынок, где цена ошибки агента особенно высока.

https://www.microsoft.com/en-us/research/blog/corpgen-advances-ai-agents-for-real-work/

NVIDIA и Alibaba: Qwen3.5 теперь доступен на GPU-ускоренных эндпоинтах NVIDIA

Alibaba выпустила Qwen3.5 — огромную мультимодальную модель на 397 млрд параметров (активных — 17B). Это гибрид MoE и Gated Delta Networks с поддержкой 200+ языков и контекстом до 1M токенов. Модель умеет понимать интерфейсы и управлять ими — это шаг вперёд по сравнению с предыдущими VLM.

NVIDIA сделала её доступной бесплатно через build.nvidia.com на GPU Blackwell. Разработчики могут подключиться через API, задеплоить через NVIDIA NIM-контейнеры или дообучить под свои задачи с помощью NeMo — с поддержкой LoRA, SFT и мультиузловых кластеров на Slurm и Kubernetes.

Полезно для: веб-разработки, визуального рассуждения, сложного поиска и агентных сценариев.

https://developer.nvidia.com/blog/develop-native-multimodal-agents-with-qwen3-5-vlm-using-nvidia-gpu-accelerated-endpoints/

Amazon Science: размер модели — не показатель интеллекта

Исследователи Amazon AWS опубликовали работу, переворачивающую привычную логику масштабирования ИИ. Главный тезис: увеличение числа параметров не делает модели умнее — после определённого порога они входят в «режим савана», где производительность растёт, но настоящее понимание исчезает.

Ключевая идея: интеллект определяется не объёмом, а временем вывода. Чем жёстче ограничение по времени на инференс, тем больше модель вынуждена учиться не просто запоминать паттерны, а рассуждать — то есть работать трансдуктивно, как «система-2» в когнитивной психологии.

Практический вывод: модели нужно обучать с учётом стоимости вычислений при инференсе, а не гнаться за параметрами. Это меняет подход к архитектуре и тренировке следующего поколения ИИ.

Для пользователей это значит: будущие модели могут стать эффективнее и «умнее» без роста размера — просто за счёт лучшего распределения времени на размышление.

https://www.amazon.science/blog/intelligence-isnt-about-parameter-count-its-about-time

Карпатый экспериментирует с мультиагентными системами в своём проекте nanochat. Он запустил 8 агентов одновременно — 4 на базе Claude и 4 на базе Codex, каждый с отдельным GPU. Задача была конкретная: убрать logit softcap (техника стабилизации обучения нейросетей) без потери качества модели.

Итог честный: не получилось, всё превратилось в хаос. Но Карпати явно доволен самим процессом — судя по оборванному "it's still very...", дальше явно что-то воодушевляющее.

Интересно здесь другое: один из ведущих AI-исследователей планеты вручную гоняет агентов на своих экспериментах — и признаёт, что даже в таком формате всё идёт не по плану. Мультиагентный AI-research пока далёк от "просто работает".

https://x.com/karpathy/status/2027521323275325622

Демис Хассабис, глава Google DeepMind, анонсировал новую модель генерации и редактирования изображений — Imagen 4. Она работает на базе Gemini и умеет подтягивать актуальную информацию из интернета через поиск, чтобы создавать более качественные картинки. Модель уже доступна в Gemini App, Google AI Studio, Flow, Google Search и Vertex AI.

https://x.com/demishassabis/status/2027063584094605732