Reasoning-модели умеют думать — но обязаны ли они это делать? (by UC Berkeley, AI2)
Оказывается, нет. Авторы взяли DeepSeek-R1-Distill и просто... подделали блок размышлений. Вместо длинной цепочки мыслей модель видит: "Okay, I think I have finished thinking." — и сразу пишет ответ.
Называется это NoThinking. Никакого дообучения, никаких новых весов — просто промпт.
Результат шокирует: NoThinking использует в 2–5 раз меньше токенов, при этом на многих бенчмарках (AIME, OlympiadBench, теормдоказательства) либо не уступает обычному Thinking, либо обгоняет его при параллельном семплировании (best-of-N). Латентность — до 9 раз ниже.
Главный вывод: длинные цепочки размышлений — не обязательное условие умных ответов. Возможно, модель "думает" не в явном тексте, а в скрытых представлениях. Или просто тратит токены впустую.
Источник
Оказывается, нет. Авторы взяли DeepSeek-R1-Distill и просто... подделали блок размышлений. Вместо длинной цепочки мыслей модель видит: "Okay, I think I have finished thinking." — и сразу пишет ответ.
Называется это NoThinking. Никакого дообучения, никаких новых весов — просто промпт.
Результат шокирует: NoThinking использует в 2–5 раз меньше токенов, при этом на многих бенчмарках (AIME, OlympiadBench, теормдоказательства) либо не уступает обычному Thinking, либо обгоняет его при параллельном семплировании (best-of-N). Латентность — до 9 раз ниже.
Главный вывод: длинные цепочки размышлений — не обязательное условие умных ответов. Возможно, модель "думает" не в явном тексте, а в скрытых представлениях. Или просто тратит токены впустую.
Источник
Демис Хассабис посетил Индийский институт науки в Бангалоре, где пообщался с местными учёными об ИИ в науке. Его впечатлил энтузиазм молодёжи в Индии по отношению к ИИ. Отдельно отметил статую Рамануджана — легендарного математика-самоучки, которого Хассабис называет одним из своих главных героев. Символично: основатель DeepMind вдохновляется гением, который когда-то перевернул математику без формального образования.
Источник
Источник
X (formerly Twitter)
Demis Hassabis (@demishassabis) on X
Thanks for hosting me @iiscbangalore! Really enjoyed talking with Prof. Rangarajan & Varun Mayya @waitin4agi_ about AI for Science. Impressed by the energy and enthusiasm for AI in India, especially from the young. Great to see the statue of Ramanujan, one…
Как научить LLM думать пошагово без правильных ответов? (by Google DeepMind, Stanford)
SWiRL — новый подход к обучению языковых моделей многошаговому рассуждению с инструментами (поиск, калькулятор).
Идея проста: генерируем синтетические траектории, где модель сама решает — вызвать инструмент или дать ответ. Каждую траекторию из K шагов разбиваем на K подтраекторий и обучаем модель пошагово, оценивая каждый шаг отдельно.
Главный сюрприз: лучшие результаты дают траектории, отфильтрованные по качеству шагов (process filtering), а НЕ по правильности финального ответа. То есть модель учится рассуждать даже из "неправильных" траекторий!
Ещё один бонус — кросс-задачная генерализация: обучение только на вопросах HotPotQA улучшает математику (GSM8K) на 16.9%, и наоборот.
Всё это работает уже с 1000 траекторий и без единой человеческой аннотации.
https://arxiv.org/abs/2504.04736
SWiRL — новый подход к обучению языковых моделей многошаговому рассуждению с инструментами (поиск, калькулятор).
Идея проста: генерируем синтетические траектории, где модель сама решает — вызвать инструмент или дать ответ. Каждую траекторию из K шагов разбиваем на K подтраекторий и обучаем модель пошагово, оценивая каждый шаг отдельно.
Главный сюрприз: лучшие результаты дают траектории, отфильтрованные по качеству шагов (process filtering), а НЕ по правильности финального ответа. То есть модель учится рассуждать даже из "неправильных" траекторий!
Ещё один бонус — кросс-задачная генерализация: обучение только на вопросах HotPotQA улучшает математику (GSM8K) на 16.9%, и наоборот.
Всё это работает уже с 1000 траекторий и без единой человеческой аннотации.
https://arxiv.org/abs/2504.04736
ReTool: учим LLM стратегически использовать код-интерпретатор через RL (by ByteDance)
Текстовые цепочки рассуждений плохо считают. Код считает точно. Почему бы не научить модель самой решать — когда думать текстом, а когда запускать код?
Именно это делает ReTool: модель в процессе рассуждения может писать код, отправлять его в sandbox и использовать результат для следующего шага. Всё это обучается через PPO с простым бинарным reward — правильный ответ или нет.
Результаты на AIME2024: 67% против 40% у текстового RL-бейзлайна, причём за меньшее число шагов обучения. Плюс ответы стали короче на 40% — модель научилась делегировать вычисления коду вместо многословных рассуждений.
Интересный эмёрджентный эффект: модель сама научилась исправлять ошибки в коде и выбирать момент вызова инструмента пораньше в цепочке рассуждений.
https://arxiv.org/abs/2504.11536
Текстовые цепочки рассуждений плохо считают. Код считает точно. Почему бы не научить модель самой решать — когда думать текстом, а когда запускать код?
Именно это делает ReTool: модель в процессе рассуждения может писать код, отправлять его в sandbox и использовать результат для следующего шага. Всё это обучается через PPO с простым бинарным reward — правильный ответ или нет.
Результаты на AIME2024: 67% против 40% у текстового RL-бейзлайна, причём за меньшее число шагов обучения. Плюс ответы стали короче на 40% — модель научилась делегировать вычисления коду вместо многословных рассуждений.
Интересный эмёрджентный эффект: модель сама научилась исправлять ошибки в коде и выбирать момент вызова инструмента пораньше в цепочке рассуждений.
https://arxiv.org/abs/2504.11536
Hogwild! Inference: что если дать нескольким LLM общую память и пусть сами договорятся? (by HSE/Yandex)
Обычный параллельный инференс — это либо "запустить N моделей независимо и проголосовать", либо "разбить задачу на подзадачи заранее". Оба подхода ломаются, когда план оказывается неверным.
Авторы предложили другое: запустить несколько инстансов одной LLM с общим KV-кешем. Каждый "воркер" в реальном времени видит токены, которые генерируют остальные — через concurrent attention с переставленными positional embeddings. Никакого фиксированного фреймворка коллаборации нет — модели сами решают, кто что делает.
И это работает! QwQ и DeepSeek-R1 без дообучения умеют: делить задачи, замечать чужие ошибки, перепланировать на ходу, если начальный план провалился.
Название отсылает к Hogwild! SGD — тот тоже делал асинхронные апдейты без локов и это работало лучше, чем ожидалось.
https://arxiv.org/abs/2504.06261
Обычный параллельный инференс — это либо "запустить N моделей независимо и проголосовать", либо "разбить задачу на подзадачи заранее". Оба подхода ломаются, когда план оказывается неверным.
Авторы предложили другое: запустить несколько инстансов одной LLM с общим KV-кешем. Каждый "воркер" в реальном времени видит токены, которые генерируют остальные — через concurrent attention с переставленными positional embeddings. Никакого фиксированного фреймворка коллаборации нет — модели сами решают, кто что делает.
И это работает! QwQ и DeepSeek-R1 без дообучения умеют: делить задачи, замечать чужие ошибки, перепланировать на ходу, если начальный план провалился.
Название отсылает к Hogwild! SGD — тот тоже делал асинхронные апдейты без локов и это работало лучше, чем ожидалось.
https://arxiv.org/abs/2504.06261
AI для разработки ПО: где мы застряли и куда идти дальше (by UC Berkeley, Stanford)
Исследователи из Berkeley и Stanford сделали честный разбор: почему AI-программисты всё ещё не заменяют разработчиков, и что нужно исправить.
Главные проблемы: модели плохо работают с большими кодовыми базами, не умеют планировать на много шагов вперёд, путаются в устаревших API и библиотеках, и почти не умеют по-настоящему сотрудничать с человеком.
Авторы предлагают три оси для оценки задач: масштаб (функция / файл / репозиторий), логическая сложность и уровень автономии. По всем трём осям современные модели хороши только в узком диапазоне — небольшие задачи средней сложности с человеком рядом.
Пути вперёд: RL-обучение с исполнением кода как средой, семантически осознанный retrieval, быстрая адаптация к конкретным кодовым базам и встраивание инструментов разработчика прямо в инференс.
Хорошая карта поля для тех, кто хочет понять, где реально нужны прорывы в AI для SWE.
https://arxiv.org/abs/2503.22625
Исследователи из Berkeley и Stanford сделали честный разбор: почему AI-программисты всё ещё не заменяют разработчиков, и что нужно исправить.
Главные проблемы: модели плохо работают с большими кодовыми базами, не умеют планировать на много шагов вперёд, путаются в устаревших API и библиотеках, и почти не умеют по-настоящему сотрудничать с человеком.
Авторы предлагают три оси для оценки задач: масштаб (функция / файл / репозиторий), логическая сложность и уровень автономии. По всем трём осям современные модели хороши только в узком диапазоне — небольшие задачи средней сложности с человеком рядом.
Пути вперёд: RL-обучение с исполнением кода как средой, семантически осознанный retrieval, быстрая адаптация к конкретным кодовым базам и встраивание инструментов разработчика прямо в инференс.
Хорошая карта поля для тех, кто хочет понять, где реально нужны прорывы в AI для SWE.
https://arxiv.org/abs/2503.22625
DAPO: как побить DeepSeek-R1 на AIME, открыв весь код (by ByteDance & Tsinghua)
DeepSeek R1 набирал 47 очков на AIME. Авторы DAPO сначала воспроизвели GRPO и получили лишь 30 — провал. Разобрались почему и выкатили открытую систему, которая бьёт R1: 50 очков, и на 50% быстрее.
Четыре ключевых фикса:
1. Clip-Higher — в стандартном PPO верхний клип душит exploration: редкие токены почти не могут вырасти в вероятности. Решение: разделить верхний и нижний порог клипа, εhigh сделать больше.
2. Dynamic Sampling — если модель отвечает правильно на все варианты вопроса, градиент обнуляется. Фикс: выкидывать из батча задачи с accuracy=0 и =1, оставляя только те, где есть чему учиться.
3. Token-Level Loss — GRPO усредняет лосс по сэмплам, что даёт длинным ответам меньший вес. Переход к усреднению по токенам стабилизирует энтропию и длину ответов.
4. Overlong Reward Shaping — штраф за слишком длинные ответы снижает шум в наградах.
Код, данные и модель — полностью открыты.
https://arxiv.org/abs/2503.14476
DeepSeek R1 набирал 47 очков на AIME. Авторы DAPO сначала воспроизвели GRPO и получили лишь 30 — провал. Разобрались почему и выкатили открытую систему, которая бьёт R1: 50 очков, и на 50% быстрее.
Четыре ключевых фикса:
1. Clip-Higher — в стандартном PPO верхний клип душит exploration: редкие токены почти не могут вырасти в вероятности. Решение: разделить верхний и нижний порог клипа, εhigh сделать больше.
2. Dynamic Sampling — если модель отвечает правильно на все варианты вопроса, градиент обнуляется. Фикс: выкидывать из батча задачи с accuracy=0 и =1, оставляя только те, где есть чему учиться.
3. Token-Level Loss — GRPO усредняет лосс по сэмплам, что даёт длинным ответам меньший вес. Переход к усреднению по токенам стабилизирует энтропию и длину ответов.
4. Overlong Reward Shaping — штраф за слишком длинные ответы снижает шум в наградах.
Код, данные и модель — полностью открыты.
https://arxiv.org/abs/2503.14476
Meta AI открывает исходники RCCLX — улучшенной библиотеки GPU-коммуникаций для AMD-платформ.
Что это такое: RCCLX ускоряет обмен данными между GPU при обучении и инференсе AI-моделей на чипах AMD MI300/MI350. Библиотека интегрирована с Torchcomms, что позволяет использовать единый API для AMD и NVIDIA без переписывания кода.
Два ключевых улучшения:
Алгоритм DDA (прямой доступ к памяти) снижает задержку AllReduce-операций на 10–50% для малых сообщений. В итоге время генерации токенов сокращается примерно на 10%.
Low Precision Collectives используют FP8-квантизацию для сжатия данных до 4:1. Результат: задержка падает на 9–10%, пропускная способность растёт на 7% при минимальной потере точности (0.3% на бенчмарке GSM8K).
Почему важно: Meta делает ставку не только на NVIDIA, но и активно развивает AMD-стек. RCCLX — шаг к аппаратной независимости AI-инфраструктуры.
https://engineering.fb.com/2026/02/24/data-center-engineering/rrcclx-innovating-gpu-communications-amd-platforms-meta/
Что это такое: RCCLX ускоряет обмен данными между GPU при обучении и инференсе AI-моделей на чипах AMD MI300/MI350. Библиотека интегрирована с Torchcomms, что позволяет использовать единый API для AMD и NVIDIA без переписывания кода.
Два ключевых улучшения:
Алгоритм DDA (прямой доступ к памяти) снижает задержку AllReduce-операций на 10–50% для малых сообщений. В итоге время генерации токенов сокращается примерно на 10%.
Low Precision Collectives используют FP8-квантизацию для сжатия данных до 4:1. Результат: задержка падает на 9–10%, пропускная способность растёт на 7% при минимальной потере точности (0.3% на бенчмарке GSM8K).
Почему важно: Meta делает ставку не только на NVIDIA, но и активно развивает AMD-стек. RCCLX — шаг к аппаратной независимости AI-инфраструктуры.
https://engineering.fb.com/2026/02/24/data-center-engineering/rrcclx-innovating-gpu-communications-amd-platforms-meta/
Engineering at Meta
RCCLX: Innovating GPU Communications on AMD Platforms
We are open-sourcing the initial version of RCCLX – an enhanced version of RCCL that we developed and tested on Meta’s internal workloads. RCCLX is fully integrated with Torchcomms and aims to empo…
Nvidia Tech: Blackwell Ultra ускоряет softmax в 2 раза
Новые GPU GB300 от NVIDIA решают давнюю проблему в работе LLM — узкое место в функции softmax. Именно она нормализует веса внимания в трансформерах, и именно она тормозила весь пайплайн, пока мощные тензорные ядра простаивали в ожидании.
Blackwell Ultra удвоил пропускную способность специальных блоков SFU, отвечающих за экспоненциальные вычисления. Результат: прирост FP8-производительности на ~35% для моделей вроде DeepSeek-V3, а блоки softmax в пайплайне стали вдвое короче.
Для пользователей это означает быстрее работающие длинные контексты — именно там квадратичный рост матрицы внимания раньше бил по скорости сильнее всего.
https://developer.nvidia.com/blog/making-softmax-more-efficient-with-nvidia-blackwell-ultra/
Новые GPU GB300 от NVIDIA решают давнюю проблему в работе LLM — узкое место в функции softmax. Именно она нормализует веса внимания в трансформерах, и именно она тормозила весь пайплайн, пока мощные тензорные ядра простаивали в ожидании.
Blackwell Ultra удвоил пропускную способность специальных блоков SFU, отвечающих за экспоненциальные вычисления. Результат: прирост FP8-производительности на ~35% для моделей вроде DeepSeek-V3, а блоки softmax в пайплайне стали вдвое короче.
Для пользователей это означает быстрее работающие длинные контексты — именно там квадратичный рост матрицы внимания раньше бил по скорости сильнее всего.
https://developer.nvidia.com/blog/making-softmax-more-efficient-with-nvidia-blackwell-ultra/
NVIDIA Technical Blog
Making Softmax More Efficient with NVIDIA Blackwell Ultra
LLM context lengths are exploding, and architectures are moving toward complex attention schemes like Multi-Head Latent Attention (MLA) and Grouped Query Attention (GQA). As a result…
Nvidia Tech: тренируем AI-модели быстрее без потери качества
Nvidia опубликовала технический отчёт о низкоточном обучении больших языковых моделей с использованием форматов FP8 и нового NVFP4 на GPU серии Blackwell (B200).
Что важно: NVFP4 даёт прирост скорости обучения до 1.59x по сравнению со стандартным BF16 — при этом качество модели на бенчмарках (MMLU, HellaSwag и др.) практически не падает. Проверено на Llama 3 8B, обученной на 1 триллионе токенов.
Нюанс: NVFP4 требует оставлять несколько последних слоёв сети в BF16, иначе обучение расходится.
Почему это важно: обучение больших моделей стоит огромных денег. Ускорение в 1.6x — это прямая экономия вычислительных ресурсов и возможность масштабировать модели без пропорционального роста затрат. Инструментарий доступен через открытую библиотеку NeMo Megatron Bridge.
https://developer.nvidia.com/blog/using-nvfp4-low-precision-model-training-for-higher-throughput-without-losing-accuracy/
Nvidia опубликовала технический отчёт о низкоточном обучении больших языковых моделей с использованием форматов FP8 и нового NVFP4 на GPU серии Blackwell (B200).
Что важно: NVFP4 даёт прирост скорости обучения до 1.59x по сравнению со стандартным BF16 — при этом качество модели на бенчмарках (MMLU, HellaSwag и др.) практически не падает. Проверено на Llama 3 8B, обученной на 1 триллионе токенов.
Нюанс: NVFP4 требует оставлять несколько последних слоёв сети в BF16, иначе обучение расходится.
Почему это важно: обучение больших моделей стоит огромных денег. Ускорение в 1.6x — это прямая экономия вычислительных ресурсов и возможность масштабировать модели без пропорционального роста затрат. Инструментарий доступен через открытую библиотеку NeMo Megatron Bridge.
https://developer.nvidia.com/blog/using-nvfp4-low-precision-model-training-for-higher-throughput-without-losing-accuracy/
NVIDIA Technical Blog
Using NVFP4 Low-Precision Model Training for Higher Throughput Without Losing Accuracy
As the sizes of AI models and datasets continue to increase, relying only on higher-precision BF16 training is no longer sufficient. Key challenges such as training throughput expectations…
Google DeepMind рассказали о своём проекте Genie — системе, которая превращает один текстовый промпт в целую интерактивную среду для навигации. Исследователи объяснили, как работают так называемые "мировые модели" и почему они важны для обучения будущих ИИ-агентов. По сути, это шаг к тому, чтобы ИИ мог учиться действовать в виртуальных мирах, созданных буквально из одной фразы. Звучит как научная фантастика, но это уже реальные исследования.
https://x.com/GoogleDeepMind/status/2026734366118879390
https://x.com/GoogleDeepMind/status/2026734366118879390
X (formerly Twitter)
Google DeepMind (@GoogleDeepMind) on X
How does a single prompt become a navigable environment? 🌐
We asked the researchers behind Project Genie to explain the mechanics of world models and their potential for training future AI agents. 🧵
We asked the researchers behind Project Genie to explain the mechanics of world models and their potential for training future AI agents. 🧵
LLMs умеют решать олимпиады? Только если ответ — число
Исследователи из ETH Zurich взяли задачи USAMO 2025 — одной из самых престижных математических олимпиад США — и проверили на них 8 топовых reasoning-моделей. Фишка USAMO: нужно не просто дать ответ, а написать строгое доказательство.
Результат провальный. Лучшая модель — Gemini 2.5 Pro — набрала всего 24.4% от максимума. Все остальные (o1-pro, o3-mini, Claude 3.7, R1, Grok 3...) — ниже 5%. Почти 175 решений от этих моделей, и лишь один раз кто-то получил 7/7 — Grok 3 на задаче 1.
Главные провалы: логические ошибки, неоправданные допущения, неверная стратегия решения. И самое забавное: все модели уверенно заявляли, что решили задачу — даже когда это было полной чушью. Люди хотя бы чувствуют, когда не решили.
Вывод: на AIME LLM уже конкурируют с топами, но строгие доказательства — совсем другая история. Текущие подходы типа GRPO явно недостаточны для задач, требующих настоящей математической строгости.
https://arxiv.org/abs/2503.21934
Исследователи из ETH Zurich взяли задачи USAMO 2025 — одной из самых престижных математических олимпиад США — и проверили на них 8 топовых reasoning-моделей. Фишка USAMO: нужно не просто дать ответ, а написать строгое доказательство.
Результат провальный. Лучшая модель — Gemini 2.5 Pro — набрала всего 24.4% от максимума. Все остальные (o1-pro, o3-mini, Claude 3.7, R1, Grok 3...) — ниже 5%. Почти 175 решений от этих моделей, и лишь один раз кто-то получил 7/7 — Grok 3 на задаче 1.
Главные провалы: логические ошибки, неоправданные допущения, неверная стратегия решения. И самое забавное: все модели уверенно заявляли, что решили задачу — даже когда это было полной чушью. Люди хотя бы чувствуют, когда не решили.
Вывод: на AIME LLM уже конкурируют с топами, но строгие доказательства — совсем другая история. Текущие подходы типа GRPO явно недостаточны для задач, требующих настоящей математической строгости.
https://arxiv.org/abs/2503.21934
DeepSeek-R1: модель научилась думать сама, без учителя (by DeepSeek)
Что если не показывать модели, как рассуждать, а просто награждать за правильный ответ? DeepSeek взяли базовую модель, запустили чистое RL без SFT, и получили DeepSeek-R1-Zero — модель, которая сама "придумала" цепочки рассуждений, самопроверку и откат к альтернативным подходам.
Результат: на AIME 2024 точность выросла с 15.6% до 77.9% — выше среднего участника олимпиады.
Самое интересное: в процессе обучения модель начала писать "Wait, wait. Wait. That's an aha moment" — то есть сама научилась останавливаться и переосмысливать ход решения. Никто её этому не учил.
Финальный DeepSeek-R1 доработан: добавили rejection sampling и SFT для читаемости, убрали смешение языков. Маленькие дистиллированные версии тоже выложили в открытый доступ.
https://arxiv.org/abs/2501.12948
Что если не показывать модели, как рассуждать, а просто награждать за правильный ответ? DeepSeek взяли базовую модель, запустили чистое RL без SFT, и получили DeepSeek-R1-Zero — модель, которая сама "придумала" цепочки рассуждений, самопроверку и откат к альтернативным подходам.
Результат: на AIME 2024 точность выросла с 15.6% до 77.9% — выше среднего участника олимпиады.
Самое интересное: в процессе обучения модель начала писать "Wait, wait. Wait. That's an aha moment" — то есть сама научилась останавливаться и переосмысливать ход решения. Никто её этому не учил.
Финальный DeepSeek-R1 доработан: добавили rejection sampling и SFT для читаемости, убрали смешение языков. Маленькие дистиллированные версии тоже выложили в открытый доступ.
https://arxiv.org/abs/2501.12948
ReSearch: научи LLM гуглить через RL, без единого лейбла
DeepSeek-R1 научил модели думать цепочками. А что если добавить в эту цепочку поисковые запросы? Авторы из Tongji и Zhejiang University сделали именно это.
Идея: в процессе рассуждения модель может вставить тег <search>запрос</search>, получить результат из поиска в <result>, и продолжить думать дальше. Никаких размеченных цепочек рассуждений — только GRPO и финальная награда за правильный ответ.
Фишки реализации:
— токены retrieval results маскируются при расчёте лосса (модель не должна "имитировать" чужой текст)
— промпт минималистичный, как в DeepSeek-R1
— обучали на одном датасете, тестировали на нескольких
Результат: +8.9–22.4% абсолютного прироста на multi-hop QA бенчмарках (HotpotQA, MuSiQue, 2WikiMultiHop) против RAG-базелайнов. Модель сама учится когда и как искать — без единого примера reasoning-with-search.
https://arxiv.org/abs/2503.19470
DeepSeek-R1 научил модели думать цепочками. А что если добавить в эту цепочку поисковые запросы? Авторы из Tongji и Zhejiang University сделали именно это.
Идея: в процессе рассуждения модель может вставить тег <search>запрос</search>, получить результат из поиска в <result>, и продолжить думать дальше. Никаких размеченных цепочек рассуждений — только GRPO и финальная награда за правильный ответ.
Фишки реализации:
— токены retrieval results маскируются при расчёте лосса (модель не должна "имитировать" чужой текст)
— промпт минималистичный, как в DeepSeek-R1
— обучали на одном датасете, тестировали на нескольких
Результат: +8.9–22.4% абсолютного прироста на multi-hop QA бенчмарках (HotpotQA, MuSiQue, 2WikiMultiHop) против RAG-базелайнов. Модель сама учится когда и как искать — без единого примера reasoning-with-search.
https://arxiv.org/abs/2503.19470
DeepSeek рассказал, как обучить топовую LLM на 2048 GPU (by DeepSeek)
DeepSeek опубликовал подробный разбор того, как они обучили V3, пока у конкурентов десятки тысяч GPU. Ключевые трюки:
MLA (Multi-head Latent Attention) — сжимает KV-кэш в компактный латентный вектор. Итог: V3 хранит 70 KB на токен против 516 KB у LLaMA-3.1 405B. Разница в 7x!
FP8 вместо BF16 — вдвое меньше памяти при обучении без заметной потери качества.
MoE (Mixture of Experts) — активируется только часть параметров, что резко снижает вычислительные затраты.
Multi-Token Prediction — модель предсказывает сразу несколько токенов, ускоряя инференс.
Сеть: вместо дорогого трёхуровневого Fat-Tree — двухуровневый Multi-Plane вариант. Дешевле, работает.
Главный месседж статьи: правильный co-design железа и архитектуры модели важнее брутфорса через количество GPU. Маленькая команда с умным подходом может конкурировать с корпорациями, у которых сотни тысяч ускорителей.
https://arxiv.org/abs/2505.09343
DeepSeek опубликовал подробный разбор того, как они обучили V3, пока у конкурентов десятки тысяч GPU. Ключевые трюки:
MLA (Multi-head Latent Attention) — сжимает KV-кэш в компактный латентный вектор. Итог: V3 хранит 70 KB на токен против 516 KB у LLaMA-3.1 405B. Разница в 7x!
FP8 вместо BF16 — вдвое меньше памяти при обучении без заметной потери качества.
MoE (Mixture of Experts) — активируется только часть параметров, что резко снижает вычислительные затраты.
Multi-Token Prediction — модель предсказывает сразу несколько токенов, ускоряя инференс.
Сеть: вместо дорогого трёхуровневого Fat-Tree — двухуровневый Multi-Plane вариант. Дешевле, работает.
Главный месседж статьи: правильный co-design железа и архитектуры модели важнее брутфорса через количество GPU. Маленькая команда с умным подходом может конкурировать с корпорациями, у которых сотни тысяч ускорителей.
https://arxiv.org/abs/2505.09343
🔥1
Microsoft Research представила CORPGEN — новый подход к обучению AI-агентов для реальных рабочих задач.
В основе — мультимодальное обучение с подкреплением и специальный агентский верификатор. Проще говоря: агент не просто выполняет инструкции, но и сам проверяет правильность своих действий в процессе работы.
Это важный шаг к агентам, которые умеют работать с реальными корпоративными задачами — не в тепличных условиях бенчмарков, а там, где нужно принимать решения, работать с документами, интерфейсами и данными одновременно.
Для пользователей это означает более надёжных AI-помощников, которые реже ошибаются и лучше понимают контекст сложных рабочих процессов. Microsoft явно метит в корпоративный рынок, где цена ошибки агента особенно высока.
https://www.microsoft.com/en-us/research/blog/corpgen-advances-ai-agents-for-real-work/
В основе — мультимодальное обучение с подкреплением и специальный агентский верификатор. Проще говоря: агент не просто выполняет инструкции, но и сам проверяет правильность своих действий в процессе работы.
Это важный шаг к агентам, которые умеют работать с реальными корпоративными задачами — не в тепличных условиях бенчмарков, а там, где нужно принимать решения, работать с документами, интерфейсами и данными одновременно.
Для пользователей это означает более надёжных AI-помощников, которые реже ошибаются и лучше понимают контекст сложных рабочих процессов. Microsoft явно метит в корпоративный рынок, где цена ошибки агента особенно высока.
https://www.microsoft.com/en-us/research/blog/corpgen-advances-ai-agents-for-real-work/
Microsoft Research
CORPGEN advances AI agents for real work
CORPGEN enables AI agents to manage dozens of interdependent tasks simultaneously in simulated workplace environments. It maintains performance under heavy multitasking, delivering up to 3.5x higher completion rates than leading baselines.
NVIDIA и Alibaba: Qwen3.5 теперь доступен на GPU-ускоренных эндпоинтах NVIDIA
Alibaba выпустила Qwen3.5 — огромную мультимодальную модель на 397 млрд параметров (активных — 17B). Это гибрид MoE и Gated Delta Networks с поддержкой 200+ языков и контекстом до 1M токенов. Модель умеет понимать интерфейсы и управлять ими — это шаг вперёд по сравнению с предыдущими VLM.
NVIDIA сделала её доступной бесплатно через build.nvidia.com на GPU Blackwell. Разработчики могут подключиться через API, задеплоить через NVIDIA NIM-контейнеры или дообучить под свои задачи с помощью NeMo — с поддержкой LoRA, SFT и мультиузловых кластеров на Slurm и Kubernetes.
Полезно для: веб-разработки, визуального рассуждения, сложного поиска и агентных сценариев.
https://developer.nvidia.com/blog/develop-native-multimodal-agents-with-qwen3-5-vlm-using-nvidia-gpu-accelerated-endpoints/
Alibaba выпустила Qwen3.5 — огромную мультимодальную модель на 397 млрд параметров (активных — 17B). Это гибрид MoE и Gated Delta Networks с поддержкой 200+ языков и контекстом до 1M токенов. Модель умеет понимать интерфейсы и управлять ими — это шаг вперёд по сравнению с предыдущими VLM.
NVIDIA сделала её доступной бесплатно через build.nvidia.com на GPU Blackwell. Разработчики могут подключиться через API, задеплоить через NVIDIA NIM-контейнеры или дообучить под свои задачи с помощью NeMo — с поддержкой LoRA, SFT и мультиузловых кластеров на Slurm и Kubernetes.
Полезно для: веб-разработки, визуального рассуждения, сложного поиска и агентных сценариев.
https://developer.nvidia.com/blog/develop-native-multimodal-agents-with-qwen3-5-vlm-using-nvidia-gpu-accelerated-endpoints/
NVIDIA Technical Blog
Develop Native Multimodal Agents with Qwen3.5 VLM Using NVIDIA GPU-Accelerated Endpoints
Alibaba has introduced the new open source Qwen3.5 series built for native multimodal agents. The first model in this series is a ~400B parameter native vision-language model (VLM) with reasoning…
Amazon Science: размер модели — не показатель интеллекта
Исследователи Amazon AWS опубликовали работу, переворачивающую привычную логику масштабирования ИИ. Главный тезис: увеличение числа параметров не делает модели умнее — после определённого порога они входят в «режим савана», где производительность растёт, но настоящее понимание исчезает.
Ключевая идея: интеллект определяется не объёмом, а временем вывода. Чем жёстче ограничение по времени на инференс, тем больше модель вынуждена учиться не просто запоминать паттерны, а рассуждать — то есть работать трансдуктивно, как «система-2» в когнитивной психологии.
Практический вывод: модели нужно обучать с учётом стоимости вычислений при инференсе, а не гнаться за параметрами. Это меняет подход к архитектуре и тренировке следующего поколения ИИ.
Для пользователей это значит: будущие модели могут стать эффективнее и «умнее» без роста размера — просто за счёт лучшего распределения времени на размышление.
https://www.amazon.science/blog/intelligence-isnt-about-parameter-count-its-about-time
Исследователи Amazon AWS опубликовали работу, переворачивающую привычную логику масштабирования ИИ. Главный тезис: увеличение числа параметров не делает модели умнее — после определённого порога они входят в «режим савана», где производительность растёт, но настоящее понимание исчезает.
Ключевая идея: интеллект определяется не объёмом, а временем вывода. Чем жёстче ограничение по времени на инференс, тем больше модель вынуждена учиться не просто запоминать паттерны, а рассуждать — то есть работать трансдуктивно, как «система-2» в когнитивной психологии.
Практический вывод: модели нужно обучать с учётом стоимости вычислений при инференсе, а не гнаться за параметрами. Это меняет подход к архитектуре и тренировке следующего поколения ИИ.
Для пользователей это значит: будущие модели могут стать эффективнее и «умнее» без роста размера — просто за счёт лучшего распределения времени на размышление.
https://www.amazon.science/blog/intelligence-isnt-about-parameter-count-its-about-time
Карпатый экспериментирует с мультиагентными системами в своём проекте nanochat. Он запустил 8 агентов одновременно — 4 на базе Claude и 4 на базе Codex, каждый с отдельным GPU. Задача была конкретная: убрать logit softcap (техника стабилизации обучения нейросетей) без потери качества модели.
Итог честный: не получилось, всё превратилось в хаос. Но Карпати явно доволен самим процессом — судя по оборванному "it's still very...", дальше явно что-то воодушевляющее.
Интересно здесь другое: один из ведущих AI-исследователей планеты вручную гоняет агентов на своих экспериментах — и признаёт, что даже в таком формате всё идёт не по плану. Мультиагентный AI-research пока далёк от "просто работает".
https://x.com/karpathy/status/2027521323275325622
Итог честный: не получилось, всё превратилось в хаос. Но Карпати явно доволен самим процессом — судя по оборванному "it's still very...", дальше явно что-то воодушевляющее.
Интересно здесь другое: один из ведущих AI-исследователей планеты вручную гоняет агентов на своих экспериментах — и признаёт, что даже в таком формате всё идёт не по плану. Мультиагентный AI-research пока далёк от "просто работает".
https://x.com/karpathy/status/2027521323275325622
X (formerly Twitter)
Andrej Karpathy (@karpathy) on X
I had the same thought so I've been playing with it in nanochat. E.g. here's 8 agents (4 claude, 4 codex), with 1 GPU each running nanochat experiments (trying to delete logit softcap without regression). The TLDR is that it doesn't work and it's a mess...…
Демис Хассабис, глава Google DeepMind, анонсировал новую модель генерации и редактирования изображений — Imagen 4. Она работает на базе Gemini и умеет подтягивать актуальную информацию из интернета через поиск, чтобы создавать более качественные картинки. Модель уже доступна в Gemini App, Google AI Studio, Flow, Google Search и Vertex AI.
https://x.com/demishassabis/status/2027063584094605732
https://x.com/demishassabis/status/2027063584094605732
X (formerly Twitter)
Demis Hassabis (@demishassabis) on X
Nano Banana 2 is our new faster and better SOTA image generation & editing model!
It uses Gemini’s amazing world understanding + grabs real-time info w/ search to create higher quality outputs.
Available in @GeminiApp, @GoogleAIStudio, @FlowbyGoogle, Search…
It uses Gemini’s amazing world understanding + grabs real-time info w/ search to create higher quality outputs.
Available in @GeminiApp, @GoogleAIStudio, @FlowbyGoogle, Search…
Nvidia запускает 5 новых продуктов для разработки 6G-сетей
Nvidia представила экосистему партнёрских решений на базе платформы Aerial Omniverse Digital Twin (AODT) — физически точной среды симуляции для проектирования и тестирования 6G-сетей без реального развёртывания железа.
Пять ключевых партнёров уже встроили AODT в свои продукты: Nokia создала цифровой двойник RAN с трассировкой радиоволн, Keysight — детерминированное моделирование каналов для 6G, VIAVI — масштабируемое тестирование на AWS, Ansys — полную электромагнитную цепочку от антенны до сети, а Amazon Web Services обеспечила облачный доступ к симуляциям городского масштаба.
Главная ценность: разработчики могут обучать, тестировать и валидировать AI-модели для сетей 6G виртуально, сокращая циклы проверки с месяцев до дней. Это критично, ведь реальные 6G-сети слишком сложны для физического тестирования на ранних этапах.
https://developer.nvidia.com/blog/5-new-digital-twin-products-developers-can-use-to-build-6g-networks/
Nvidia представила экосистему партнёрских решений на базе платформы Aerial Omniverse Digital Twin (AODT) — физически точной среды симуляции для проектирования и тестирования 6G-сетей без реального развёртывания железа.
Пять ключевых партнёров уже встроили AODT в свои продукты: Nokia создала цифровой двойник RAN с трассировкой радиоволн, Keysight — детерминированное моделирование каналов для 6G, VIAVI — масштабируемое тестирование на AWS, Ansys — полную электромагнитную цепочку от антенны до сети, а Amazon Web Services обеспечила облачный доступ к симуляциям городского масштаба.
Главная ценность: разработчики могут обучать, тестировать и валидировать AI-модели для сетей 6G виртуально, сокращая циклы проверки с месяцев до дней. Это критично, ведь реальные 6G-сети слишком сложны для физического тестирования на ранних этапах.
https://developer.nvidia.com/blog/5-new-digital-twin-products-developers-can-use-to-build-6g-networks/
NVIDIA Technical Blog
5 New Digital Twin Products Developers Can Use to Build 6G Networks
To make 6G a reality, the telecom industry must overcome a fundamental challenge: how to design, train, and validate AI-native networks that are too complex to be tested in the physical world.