LLM научили исследовать пространство решений через внутренние представления
Проблема test-time scaling проста: генерируешь 100 кандидатов, а они все про одно и то же — слова разные, логика одинаковая. Обычный сэмплинг даёт лексическое разнообразие, но не смысловое.
Авторы из ShanghaiTech предлагают ESamp: лёгкий модуль Latent Distiller учится предсказывать скрытые состояния глубоких слоёв трансформера по ранним слоям. Идея из RND (reinforcement learning): то, что модель уже "видела", предсказывается хорошо — значит это скучно. Высокая ошибка предсказания = неизведанная семантическая территория.
Эту ошибку используют как награду за новизну в KL-регуляризованной оптимизации, перевзвешивая распределение токенов. Батч кандидатов неявно координируется — каждая следующая последовательность уходит в другую сторону смыслового пространства.
Оверхед меньше 5% по throughput, зато Pass@k растёт заметно, особенно у reasoning-моделей.
https://arxiv.org/abs/2604.24927
Проблема test-time scaling проста: генерируешь 100 кандидатов, а они все про одно и то же — слова разные, логика одинаковая. Обычный сэмплинг даёт лексическое разнообразие, но не смысловое.
Авторы из ShanghaiTech предлагают ESamp: лёгкий модуль Latent Distiller учится предсказывать скрытые состояния глубоких слоёв трансформера по ранним слоям. Идея из RND (reinforcement learning): то, что модель уже "видела", предсказывается хорошо — значит это скучно. Высокая ошибка предсказания = неизведанная семантическая территория.
Эту ошибку используют как награду за новизну в KL-регуляризованной оптимизации, перевзвешивая распределение токенов. Батч кандидатов неявно координируется — каждая следующая последовательность уходит в другую сторону смыслового пространства.
Оверхед меньше 5% по throughput, зато Pass@k растёт заметно, особенно у reasoning-моделей.
https://arxiv.org/abs/2604.24927
ClawGym: как научить ИИ-агента работать с реальными файлами и программами
Современные агенты вроде OpenClaw умеют управлять файлами, запускать скрипты и работать с веб-сервисами прямо на компьютере пользователя. Но слабые LLM там постоянно ломаются: теряют контекст, неправильно выбирают инструменты, не восстанавливаются после ошибок.
Авторы предлагают ClawGym — фреймворк для обучения и оценки таких агентов. Ключевая идея: синтез данных двумя путями одновременно. Сверху вниз — задачи генерируются из персон пользователей (бухгалтер, разработчик, менеджер). Снизу вверх — из конкретных навыков (операции с файлами, вызовы инструментов). Итог: 13.5K задач с реалистичными рабочими пространствами и автоматической верификацией (код + LLM-рубрики).
На этих данных дообучили модели через SFT + RL. Результат: Qwen3-8B вырос на 39-43%, Qwen3-30B — на 26-55% на бенчмарках.
https://arxiv.org/abs/2604.26904
Современные агенты вроде OpenClaw умеют управлять файлами, запускать скрипты и работать с веб-сервисами прямо на компьютере пользователя. Но слабые LLM там постоянно ломаются: теряют контекст, неправильно выбирают инструменты, не восстанавливаются после ошибок.
Авторы предлагают ClawGym — фреймворк для обучения и оценки таких агентов. Ключевая идея: синтез данных двумя путями одновременно. Сверху вниз — задачи генерируются из персон пользователей (бухгалтер, разработчик, менеджер). Снизу вверх — из конкретных навыков (операции с файлами, вызовы инструментов). Итог: 13.5K задач с реалистичными рабочими пространствами и автоматической верификацией (код + LLM-рубрики).
На этих данных дообучили модели через SFT + RL. Результат: Qwen3-8B вырос на 39-43%, Qwen3-30B — на 26-55% на бенчмарках.
https://arxiv.org/abs/2604.26904
👍1
Google DeepMind представила концепцию AI co-clinician — ИИ-помощника для врачей.
Идея в том, чтобы ИИ работал не вместо доктора, а рядом с ним: помогал анализировать симптомы, подсказывал возможные диагнозы и снижал риск врачебных ошибок. Особый акцент — на надёжности: система должна быть предсказуемой и безопасной в реальных клинических условиях.
Для пациентов это может означать более точную и быструю диагностику. Для врачей — снижение нагрузки и дополнительную «страховку» при сложных случаях.
Пока это исследовательский этап, но Google DeepMind явно метит в один из самых чувствительных секторов — медицину, где цена ошибки максимальна.
https://deepmind.google/blog/ai-co-clinician/
Идея в том, чтобы ИИ работал не вместо доктора, а рядом с ним: помогал анализировать симптомы, подсказывал возможные диагнозы и снижал риск врачебных ошибок. Особый акцент — на надёжности: система должна быть предсказуемой и безопасной в реальных клинических условиях.
Для пациентов это может означать более точную и быструю диагностику. Для врачей — снижение нагрузки и дополнительную «страховку» при сложных случаях.
Пока это исследовательский этап, но Google DeepMind явно метит в один из самых чувствительных секторов — медицину, где цена ошибки максимальна.
https://deepmind.google/blog/ai-co-clinician/
Google DeepMind
AI co-clinician: researching the path toward AI-augmented care
Google DeepMind is researching the path toward an AI co-clinician that could work under physician authority to assist doctors and patients, enabling new models for AI-augmented care.
PyTorch / LightSeek Foundation выпустили Shepherd Model Gateway (SMG) — Rust-шлюз для LLM-инференса, который решает реальную проблему: GIL в Python тормозит GPU на больших нагрузках.
Суть: всё CPU-задачи (токенизация, парсинг, мультимодальная обработка, MCP-инструменты) вынесены из движков вроде vLLM и SGLang в отдельный Rust-слой. GPU получает уже готовые токены по gRPC и не ждёт Python.
Что внутри: двухуровневый кеш токенайзера, стриминговый парсинг reasoning-блоков для 15 семейств моделей, нативная поддержка пяти API (OpenAI, Anthropic, Gemini и др.), WASM-плагины для кастомной логики. Поддержка мультимодальных моделей реализована на Rust с нуля — авторы называют это первым подобным решением в индустрии.
Почему важно: дорогие GPU простаивают из-за CPU-узких мест. SMG разделяет слои так, чтобы каждый масштабировался независимо. PR уже приняты в vLLM и TensorRT-LLM.
https://pytorch.org/blog/lightseek-smg/
Суть: всё CPU-задачи (токенизация, парсинг, мультимодальная обработка, MCP-инструменты) вынесены из движков вроде vLLM и SGLang в отдельный Rust-слой. GPU получает уже готовые токены по gRPC и не ждёт Python.
Что внутри: двухуровневый кеш токенайзера, стриминговый парсинг reasoning-блоков для 15 семейств моделей, нативная поддержка пяти API (OpenAI, Anthropic, Gemini и др.), WASM-плагины для кастомной логики. Поддержка мультимодальных моделей реализована на Rust с нуля — авторы называют это первым подобным решением в индустрии.
Почему важно: дорогие GPU простаивают из-за CPU-узких мест. SMG разделяет слои так, чтобы каждый масштабировался независимо. PR уже приняты в vLLM и TensorRT-LLM.
https://pytorch.org/blog/lightseek-smg/
RoundPipe: файн-тюнинг 235B модели на дешёвых GPU за разумные деньги
Обучать большие LLM дорого — датацентровые GPU стоят в разы больше потребительских. RTX 4090 по вычислениям почти не уступает A100, но стоит на 80% дешевле. Проблема: 24 ГБ VRAM и медленный PCIe вместо NVLink.
Существующие подходы (ZeRO-Infinity, Mobius) упираются в pipeline bubbles — GPU простаивают до 30% времени из-за "weight binding": каждый слой привязан к конкретному GPU.
Ключевая идея RoundPipe: раз веса всё равно живут в CPU-памяти и подгружаются по требованию — зачем привязывать слой к конкретному GPU? Авторы делают GPU stateless-пулом исполнителей и диспетчеризуют стадии round-robin динамически. Плюс асимметричное разбиение слоёв (3 слоя в forward = 1 слой в backward по времени), приоритетный планировщик передач и event-based протокол консистентности без барьеров.
Результат: до 2.16× ускорение на 8×RTX 4090, поддержка последовательностей в 7.3× длиннее. Единственная система, способная LoRA-файн-тюнить 235B MoE на 24 ГБ GPU.
Обучать большие LLM дорого — датацентровые GPU стоят в разы больше потребительских. RTX 4090 по вычислениям почти не уступает A100, но стоит на 80% дешевле. Проблема: 24 ГБ VRAM и медленный PCIe вместо NVLink.
Существующие подходы (ZeRO-Infinity, Mobius) упираются в pipeline bubbles — GPU простаивают до 30% времени из-за "weight binding": каждый слой привязан к конкретному GPU.
Ключевая идея RoundPipe: раз веса всё равно живут в CPU-памяти и подгружаются по требованию — зачем привязывать слой к конкретному GPU? Авторы делают GPU stateless-пулом исполнителей и диспетчеризуют стадии round-robin динамически. Плюс асимметричное разбиение слоёв (3 слоя в forward = 1 слой в backward по времени), приоритетный планировщик передач и event-based протокол консистентности без барьеров.
Результат: до 2.16× ускорение на 8×RTX 4090, поддержка последовательностей в 7.3× длиннее. Единственная система, способная LoRA-файн-тюнить 235B MoE на 24 ГБ GPU.
LLM наконец научился считать токены — на каждом шаге!
Проблема: современные LLM плохо контролируют длину своих ответов. Существующие методы работают грубо — штрафуют за длину на уровне всей последовательности или дают инструкции в промпте. Никто не смотрит на длину токен за токеном.
Авторы из UC Santa Barbara предложили Length Value Model (LenVM) — отдельную голову поверх LLM, которая на каждом шаге декодирования предсказывает, сколько токенов ещё осталось сгенерировать. Идея из RL: назначаем -1 награду за каждый токен, считаем дисконтированный возврат — и получаем ограниченный, монотонный прокси для "горизонта генерации".
Главный плюс: обучение полностью автоматическое (не нужна разметка), сигнал плотный (цель на каждый токен), и хорошо масштабируется.
Применения: контроль длины при декодировании, предсказание длины с первого токена, value baseline для PPO. Работает на math, code и instruction-following задачах.
https://arxiv.org/abs/2604.27039
Проблема: современные LLM плохо контролируют длину своих ответов. Существующие методы работают грубо — штрафуют за длину на уровне всей последовательности или дают инструкции в промпте. Никто не смотрит на длину токен за токеном.
Авторы из UC Santa Barbara предложили Length Value Model (LenVM) — отдельную голову поверх LLM, которая на каждом шаге декодирования предсказывает, сколько токенов ещё осталось сгенерировать. Идея из RL: назначаем -1 награду за каждый токен, считаем дисконтированный возврат — и получаем ограниченный, монотонный прокси для "горизонта генерации".
Главный плюс: обучение полностью автоматическое (не нужна разметка), сигнал плотный (цель на каждый токен), и хорошо масштабируется.
Применения: контроль длины при декодировании, предсказание длины с первого токена, value baseline для PPO. Работает на math, code и instruction-following задачах.
https://arxiv.org/abs/2604.27039
Видеогенерация научилась физике — трение, упругость, деформация теперь под контролем
Современные видеодиффузионные модели умеют делать красивую картинку, но физику нарушают постоянно: объекты зависают в воздухе, не отскакивают при ударе, не деформируются. PhyCo предлагает решение в два шага.
Шаг 1: файнтюнинг через ControlNet с картами физических свойств (трение, упругость, деформация, сила). Данные — 100K симуляционных видео из Kubric+PyBullet с аннотациями физических параметров.
Шаг 2: VLM-guided reward optimization — замороженная vision-language модель отвечает на вопросы про физику в сгенерированном видео ("насколько сильно деформировался объект?"), и её логиты используются как дифференцируемая награда для дообучения.
Итог: непрерывный контроль над физическими свойствами без симуляторов на инференсе. Модель обобщается на реальные сцены и новые материалы.
https://arxiv.org/abs/2604.28169
Современные видеодиффузионные модели умеют делать красивую картинку, но физику нарушают постоянно: объекты зависают в воздухе, не отскакивают при ударе, не деформируются. PhyCo предлагает решение в два шага.
Шаг 1: файнтюнинг через ControlNet с картами физических свойств (трение, упругость, деформация, сила). Данные — 100K симуляционных видео из Kubric+PyBullet с аннотациями физических параметров.
Шаг 2: VLM-guided reward optimization — замороженная vision-language модель отвечает на вопросы про физику в сгенерированном видео ("насколько сильно деформировался объект?"), и её логиты используются как дифференцируемая награда для дообучения.
Итог: непрерывный контроль над физическими свойствами без симуляторов на инференсе. Модель обобщается на реальные сцены и новые материалы.
https://arxiv.org/abs/2604.28169
Один фреймворк вместо десятка моделей для видео-генерации
Обычно для каждой задачи с видео (матирование, inverse rendering, inpainting, генерация normal maps) обучают отдельную сеть. UniVidX предлагает объединить всё в одну модель через три трюка:
1. Stochastic Condition Masking — случайно делит модальности на «условия» и «цели», заставляя модель учиться генерировать в любом направлении (текст→X, X→X, текст+X→X).
2. Decoupled Gated LoRA — каждой модальности свой LoRA-адаптер, который включается только когда эта модальность является целью генерации. Никакой интерференции параметров.
3. Cross-Modal Self-Attention — ключи и значения shared между модальностями, запросы — свои у каждой. Так достигается согласованность между, например, RGB и normal map.
Результат: два инстанса фреймворка покрывают 15 задач, обучаясь на менее чем 1000 видео. VDM-приоры делают тяжёлую работу.
https://arxiv.org/abs/2605.00658
Обычно для каждой задачи с видео (матирование, inverse rendering, inpainting, генерация normal maps) обучают отдельную сеть. UniVidX предлагает объединить всё в одну модель через три трюка:
1. Stochastic Condition Masking — случайно делит модальности на «условия» и «цели», заставляя модель учиться генерировать в любом направлении (текст→X, X→X, текст+X→X).
2. Decoupled Gated LoRA — каждой модальности свой LoRA-адаптер, который включается только когда эта модальность является целью генерации. Никакой интерференции параметров.
3. Cross-Modal Self-Attention — ключи и значения shared между модальностями, запросы — свои у каждой. Так достигается согласованность между, например, RGB и normal map.
Результат: два инстанса фреймворка покрывают 15 задач, обучаясь на менее чем 1000 видео. VDM-приоры делают тяжёлую работу.
https://arxiv.org/abs/2605.00658
Многоагентный поиск по вебу: как собрать тысячи фактов в одну таблицу
Представьте задачу: найди все концерты Taylor Swift с 2010 по 2025 с датой, городом и площадкой. Это не один сложный вопрос — это сотни строк, каждую надо проверить. Обычный LLM-агент захлёбывается: контекст переполняется, ошибки множатся.
Web2BigTable решает это двухуровневой мультиагентной системой. Верхний оркестратор разбивает запрос на подзадачи, нижние воркеры параллельно их решают. Ключевая фишка — общая "рабочая доска": воркеры видят прогресс друг друга, не дублируют поиск и разрешают конфликты между источниками.
Система самообучается через цикл run-verify-reflect: накапливает навыки декомпозиции и выполнения в внешней памяти, не трогая веса LLM. На WideSearch бенчмарке результат в 7.5 раз лучше второго места по Success Rate.
https://arxiv.org/abs/2604.27221
Представьте задачу: найди все концерты Taylor Swift с 2010 по 2025 с датой, городом и площадкой. Это не один сложный вопрос — это сотни строк, каждую надо проверить. Обычный LLM-агент захлёбывается: контекст переполняется, ошибки множатся.
Web2BigTable решает это двухуровневой мультиагентной системой. Верхний оркестратор разбивает запрос на подзадачи, нижние воркеры параллельно их решают. Ключевая фишка — общая "рабочая доска": воркеры видят прогресс друг друга, не дублируют поиск и разрешают конфликты между источниками.
Система самообучается через цикл run-verify-reflect: накапливает навыки декомпозиции и выполнения в внешней памяти, не трогая веса LLM. На WideSearch бенчмарке результат в 7.5 раз лучше второго места по Success Rate.
https://arxiv.org/abs/2604.27221
🔥1
MolmoAct2: полностью открытый робот-мозг, который думает быстро (by Ai2)
Проблема современных VLA-моделей (vision-language-action): закрытый код, медленный reasoning из-за сотен токенов перед каждым действием, и привязка к дорогим платформам.
MolmoAct2 от Ai2 атакует все три проблемы сразу.
Ключевые идеи:
1. Molmo2-ER — специализированный VLM-бэкбон для пространственного мышления (3.3M примеров: метрические расстояния, ego-exo видео, 3D-геометрия). Обходит GPT-5 и Gemini Robotics ER-1.5 на 13 бенчмарках.
2. Action expert с flow matching поверх KV-кэша VLM — непрерывные траектории без потери контекста.
3. MolmoAct2-Think: reasoning только по изменившимся регионам сцены между шагами. Статичные части пропускаются — latency падает, качество растёт.
Всё полностью открыто: веса, код, датасеты (720 часов bimanual телеопераций — крупнейший открытый датасет такого рода).
https://arxiv.org/abs/2605.02881
Проблема современных VLA-моделей (vision-language-action): закрытый код, медленный reasoning из-за сотен токенов перед каждым действием, и привязка к дорогим платформам.
MolmoAct2 от Ai2 атакует все три проблемы сразу.
Ключевые идеи:
1. Molmo2-ER — специализированный VLM-бэкбон для пространственного мышления (3.3M примеров: метрические расстояния, ego-exo видео, 3D-геометрия). Обходит GPT-5 и Gemini Robotics ER-1.5 на 13 бенчмарках.
2. Action expert с flow matching поверх KV-кэша VLM — непрерывные траектории без потери контекста.
3. MolmoAct2-Think: reasoning только по изменившимся регионам сцены между шагами. Статичные части пропускаются — latency падает, качество растёт.
Всё полностью открыто: веса, код, датасеты (720 часов bimanual телеопераций — крупнейший открытый датасет такого рода).
https://arxiv.org/abs/2605.02881
OpenAI рассказала, как устроена их голосовая AI-инфраструктура изнутри.
Компания полностью переписала свой WebRTC-стек, чтобы обеспечить минимальную задержку и работу в реальном времени по всему миру. Главная задача была сложной: голосовой AI должен не просто отвечать быстро, но и правильно понимать паузы в разговоре — когда человек закончил говорить, а когда просто сделал вдох.
Для этого OpenAI реализовала умное управление очерёдностью реплик (turn-taking), чтобы диалог звучал естественно, а не как разговор с автоответчиком.
Всё это работает на глобальной инфраструктуре с низкими задержками — критично для голоса, где даже 200 мс ощущаются как неловкая пауза.
Это основа для Realtime API и голосового режима ChatGPT. Чем стабильнее и быстрее инфраструктура — тем лучше опыт для всех, кто строит голосовые продукты на базе OpenAI.
https://openai.com/index/delivering-low-latency-voice-ai-at-scale
Компания полностью переписала свой WebRTC-стек, чтобы обеспечить минимальную задержку и работу в реальном времени по всему миру. Главная задача была сложной: голосовой AI должен не просто отвечать быстро, но и правильно понимать паузы в разговоре — когда человек закончил говорить, а когда просто сделал вдох.
Для этого OpenAI реализовала умное управление очерёдностью реплик (turn-taking), чтобы диалог звучал естественно, а не как разговор с автоответчиком.
Всё это работает на глобальной инфраструктуре с низкими задержками — критично для голоса, где даже 200 мс ощущаются как неловкая пауза.
Это основа для Realtime API и голосового режима ChatGPT. Чем стабильнее и быстрее инфраструктура — тем лучше опыт для всех, кто строит голосовые продукты на базе OpenAI.
https://openai.com/index/delivering-low-latency-voice-ai-at-scale
OpenAI
How OpenAI delivers low-latency voice AI at scale
How OpenAI rebuilt its WebRTC stack to power real-time Voice AI with low latency, global scale, and seamless conversational turn-taking.
Nvidia Tech представила cuOpt Agent Skills — набор инструментов для оптимизации цепочек поставок с помощью агентного ИИ.
Суть: теперь LLM-агент может принимать задачи на обычном языке — например, "составь 12-недельный план производства с минимальными затратами" — и автоматически переводить их в математические модели, которые решает GPU-ускоренный движок cuOpt.
Раньше такие задачи занимали у OR-команд недели. Теперь — секунды. Агент сам разбивает цель на подзадачи, формулирует модель и отдаёт её на расчёт GPU, а затем возвращает человекочитаемый план с метриками: затраты, загрузка мощностей, остатки запасов.
В основе — модель MiniMax M2.5, LangChain Deep Agents и NVIDIA cuOpt. Всё контейнеризировано, запускается через Docker Compose. Код и примеры уже на GitHub.
Актуально для логистики, ретейла и производства — там, где цена неоптимального решения измеряется миллионами.
https://developer.nvidia.com/blog/optimize-supply-chain-decision-systems-using-nvidia-cuopt-agent-skills/
Суть: теперь LLM-агент может принимать задачи на обычном языке — например, "составь 12-недельный план производства с минимальными затратами" — и автоматически переводить их в математические модели, которые решает GPU-ускоренный движок cuOpt.
Раньше такие задачи занимали у OR-команд недели. Теперь — секунды. Агент сам разбивает цель на подзадачи, формулирует модель и отдаёт её на расчёт GPU, а затем возвращает человекочитаемый план с метриками: затраты, загрузка мощностей, остатки запасов.
В основе — модель MiniMax M2.5, LangChain Deep Agents и NVIDIA cuOpt. Всё контейнеризировано, запускается через Docker Compose. Код и примеры уже на GitHub.
Актуально для логистики, ретейла и производства — там, где цена неоптимального решения измеряется миллионами.
https://developer.nvidia.com/blog/optimize-supply-chain-decision-systems-using-nvidia-cuopt-agent-skills/
NVIDIA Technical Blog
Optimize Supply Chain Decision Systems Using NVIDIA cuOpt Agent Skills
Modern supply chains operate under the constant pressures of fluctuating demand, volatile costs, constrained capacity, and interdependent decision-making. Traditionally…
Apple ML выпустила исследование PORTool — новый алгоритм обучения AI-агентов, которые умеют использовать внешние инструменты.
Проблема была такая: когда агент решает сложную задачу и вызывает несколько инструментов по цепочке, непонятно, какой именно шаг привёл к успеху или провалу. Стандартные методы оценивают только итоговый результат, игнорируя промежуточные решения.
PORTool строит дерево вариантов: агент пробует разные ветки решений с общим началом, а алгоритм оценивает важность каждого шага — привели ли его потомки к правильному ответу и успешно ли сработали вызовы инструментов.
Результат: агенты точнее отвечают на вопросы и при этом делают меньше лишних обращений к инструментам. Это важно для практики — меньше вызовов означает меньше задержек и затрат.
Работа опубликована в мае 2026 года и потенциально влияет на то, как будут строиться агентные системы в продуктах Apple.
https://machinelearning.apple.com/research/portool-policy-optimization
Проблема была такая: когда агент решает сложную задачу и вызывает несколько инструментов по цепочке, непонятно, какой именно шаг привёл к успеху или провалу. Стандартные методы оценивают только итоговый результат, игнорируя промежуточные решения.
PORTool строит дерево вариантов: агент пробует разные ветки решений с общим началом, а алгоритм оценивает важность каждого шага — привели ли его потомки к правильному ответу и успешно ли сработали вызовы инструментов.
Результат: агенты точнее отвечают на вопросы и при этом делают меньше лишних обращений к инструментам. Это важно для практики — меньше вызовов означает меньше задержек и затрат.
Работа опубликована в мае 2026 года и потенциально влияет на то, как будут строиться агентные системы в продуктах Apple.
https://machinelearning.apple.com/research/portool-policy-optimization
Apple Machine Learning Research
PORTool: Importance-Aware Policy Optimization with Rewarded Tree for Multi-Tool-Integrated Reasoning
Multi-tool-integrated reasoning enables LLM-empowered tool-use agents to solve complex tasks by interleaving natural-language reasoning with…
Как научить LLM учиться из новых документов без разметки и обратной связи?
Большинство LLM хорошо справляются с задачами, покрытыми при предобучении. Но что если нужно прочитать незнакомую техническую документацию и применить знания из неё? Авторы называют это "context learning" и признают: современные модели здесь слабы.
Решение — Ctx2Skill. Идея: автоматически извлекать из контекста "навыки" (skills) — текстовые правила и процедуры, которые потом подключаются к любой LLM при инференсе.
Как это работает: два агента играют друг против друга. Challenger генерирует задачи по контексту, Reasoner их решает, Judge оценивает. Провалы → обновление навыков Reasoner. Лёгкие задачи → Challenger усложняет вопросы. Оба агента эволюционируют без изменения весов.
Проблема: со временем Challenger начинает генерировать патологические задачи, а Reasoner переспециализируется. Решение — Cross-Time Replay: выбирается набор навыков, лучше всего балансирующий между историческими задачами.
Большинство LLM хорошо справляются с задачами, покрытыми при предобучении. Но что если нужно прочитать незнакомую техническую документацию и применить знания из неё? Авторы называют это "context learning" и признают: современные модели здесь слабы.
Решение — Ctx2Skill. Идея: автоматически извлекать из контекста "навыки" (skills) — текстовые правила и процедуры, которые потом подключаются к любой LLM при инференсе.
Как это работает: два агента играют друг против друга. Challenger генерирует задачи по контексту, Reasoner их решает, Judge оценивает. Провалы → обновление навыков Reasoner. Лёгкие задачи → Challenger усложняет вопросы. Оба агента эволюционируют без изменения весов.
Проблема: со временем Challenger начинает генерировать патологические задачи, а Reasoner переспециализируется. Решение — Cross-Time Replay: выбирается набор навыков, лучше всего балансирующий между историческими задачами.
SFT портит модель перед RL — и это можно починить
Стандартный пайплайн обучения мультимодальных моделей: сначала SFT, потом RL. Но оказывается, SFT может навредить: модель дрейфует от своего исходного распределения, учит поверхностные паттерны, а не реальный reasoning. Особенно больно это бьёт по мультимодальным моделям — ошибки в визуальном восприятии потом усиливаются в RL.
Авторы из HKUSTGZ предлагают вставить между SFT и RL новый этап — PRISM. Суть: adversarial on-policy distillation, где модель играет в minimax-игру против MoE-дискриминатора с двумя экспертами — один проверяет visual grounding, другой — логику рассуждений. Дискриминатор учится отличать генерации модели от эталонного пула, а модель учится их неотличимо имитировать.
Итог: PRISM+GRPO бьёт обычный SFT→GRPO на +4.4 и +6.0 пунктов на Qwen3-VL-4B/8B соответственно.
https://arxiv.org/abs/2604.28123
Стандартный пайплайн обучения мультимодальных моделей: сначала SFT, потом RL. Но оказывается, SFT может навредить: модель дрейфует от своего исходного распределения, учит поверхностные паттерны, а не реальный reasoning. Особенно больно это бьёт по мультимодальным моделям — ошибки в визуальном восприятии потом усиливаются в RL.
Авторы из HKUSTGZ предлагают вставить между SFT и RL новый этап — PRISM. Суть: adversarial on-policy distillation, где модель играет в minimax-игру против MoE-дискриминатора с двумя экспертами — один проверяет visual grounding, другой — логику рассуждений. Дискриминатор учится отличать генерации модели от эталонного пула, а модель учится их неотличимо имитировать.
Итог: PRISM+GRPO бьёт обычный SFT→GRPO на +4.4 и +6.0 пунктов на Qwen3-VL-4B/8B соответственно.
https://arxiv.org/abs/2604.28123
Визуальная память умирает при длинных ответах — и вот как это починить
В мультимодальных LLM есть неочевидная проблема: чем длиннее генерация, тем слабее модель "видит" картинку. Визуальные токены стоят в начале контекста и статичны, а текстовая история растёт — механизм внимания просто перераспределяет вероятности, и визуальный сигнал затухает как O(1/t). Авторы доказывают это математически и называют "Low-Attention Equilibrium".
Наивное решение — переинжектировать визуальные токены в процессе генерации — ломает логику рассуждений, вмешиваясь в авторегрессивный поток.
Авторы предлагают Persistent Visual Memory (PVM): лёгкий параллельный модуль рядом с FFN в трансформер-блоке. Он читает оригинальные визуальные эмбеддинги через gated cross-attention независимо от длины контекста, не трогая основной поток рассуждений.
Результат на базе Qwen3-VL: +4.8% на 8B и +4.4% на 4B по 8 бенчмаркам. LogitLens-анализ подтверждает, что модель быстрее сходится к правильному ответу внутри слоёв.
В мультимодальных LLM есть неочевидная проблема: чем длиннее генерация, тем слабее модель "видит" картинку. Визуальные токены стоят в начале контекста и статичны, а текстовая история растёт — механизм внимания просто перераспределяет вероятности, и визуальный сигнал затухает как O(1/t). Авторы доказывают это математически и называют "Low-Attention Equilibrium".
Наивное решение — переинжектировать визуальные токены в процессе генерации — ломает логику рассуждений, вмешиваясь в авторегрессивный поток.
Авторы предлагают Persistent Visual Memory (PVM): лёгкий параллельный модуль рядом с FFN в трансформер-блоке. Он читает оригинальные визуальные эмбеддинги через gated cross-attention независимо от длины контекста, не трогая основной поток рассуждений.
Результат на базе Qwen3-VL: +4.8% на 8B и +4.4% на 4B по 8 бенчмаркам. LogitLens-анализ подтверждает, что модель быстрее сходится к правильному ответу внутри слоёв.
Nvidia Tech рассказала, как строить ИИ-агентов прямо в автомобиле — от облака до бортового компьютера.
Суть: традиционные голосовые помощники в машинах работают по принципу «команда → действие → сброс». Nvidia предлагает заменить это агентными системами на базе LLM и VLM, которые умеют рассуждать, помнить контекст и действовать проактивно.
Что это даёт водителю: умные рутины с учётом календаря, объяснение поведения ADAS в реальном времени, диагностика на естественном языке, персонализация под пассажиров.
Железо: платформа DRIVE AGX (Orin и новый Thor на архитектуре Blackwell) позволяет гонять модели до 13B параметров прямо на борту с задержкой менее 500 мс. Можно ставить как отдельный AI-блок к существующей мультимедиа-системе — без переработки всей электроники.
Масштаб рынка впечатляет: по прогнозу ABI Research, к 2035 году агентный ИИ появится в 70 млн автомобилей — против 5 млн сегодня.
https://developer.nvidia.com/blog/how-to-build-in-vehicle-ai-agents-with-nvidia-from-cloud-to-car/
Суть: традиционные голосовые помощники в машинах работают по принципу «команда → действие → сброс». Nvidia предлагает заменить это агентными системами на базе LLM и VLM, которые умеют рассуждать, помнить контекст и действовать проактивно.
Что это даёт водителю: умные рутины с учётом календаря, объяснение поведения ADAS в реальном времени, диагностика на естественном языке, персонализация под пассажиров.
Железо: платформа DRIVE AGX (Orin и новый Thor на архитектуре Blackwell) позволяет гонять модели до 13B параметров прямо на борту с задержкой менее 500 мс. Можно ставить как отдельный AI-блок к существующей мультимедиа-системе — без переработки всей электроники.
Масштаб рынка впечатляет: по прогнозу ABI Research, к 2035 году агентный ИИ появится в 70 млн автомобилей — против 5 млн сегодня.
https://developer.nvidia.com/blog/how-to-build-in-vehicle-ai-agents-with-nvidia-from-cloud-to-car/
NVIDIA Technical Blog
How to Build In-Vehicle AI Agents with NVIDIA: From Cloud to Car
The automotive cockpit is undergoing a fundamental shift from rule-based interfaces to agentic, multimodal AI systems capable of reasoning, planning, and acting. In most vehicles on the road today…
Nvidia Tech: зачем агентному ИИ нужно новое железо
Nvidia объяснила, почему традиционная инфраструктура не справляется с агентными AI-системами — и представила платформу Vera Rubin как ответ на этот вызов.
Суть проблемы: агенты вроде Claude Code не просто отвечают на вопросы. Они вызывают инструменты, запускают под-агентов, управляют памятью и сами решают, когда задача выполнена. Один сеанс из 283 запросов за 33 минуты может потреблять до 156 000 токенов — это в 15 раз больше, чем обычный чат.
Такие нагрузки ломают экономику стандартных серверов: затраты на обработку входных токенов при каждом шаге вывода становятся неподъёмными.
Платформа Vera Rubin (NVL72) создана специально под эти задачи — с поддержкой контекста до 400K токенов, кешированием промптов и специализированными чипами. Цель — сделать агентный вывод одновременно быстрым и экономически выгодным.
Для пользователей это значит: более сложные AI-агенты станут дешевле и доступнее.
https://developer.nvidia.com/blog/building-for-the-rising-complexity-of-agentic-systems-with-extreme-co-design/
Nvidia объяснила, почему традиционная инфраструктура не справляется с агентными AI-системами — и представила платформу Vera Rubin как ответ на этот вызов.
Суть проблемы: агенты вроде Claude Code не просто отвечают на вопросы. Они вызывают инструменты, запускают под-агентов, управляют памятью и сами решают, когда задача выполнена. Один сеанс из 283 запросов за 33 минуты может потреблять до 156 000 токенов — это в 15 раз больше, чем обычный чат.
Такие нагрузки ломают экономику стандартных серверов: затраты на обработку входных токенов при каждом шаге вывода становятся неподъёмными.
Платформа Vera Rubin (NVL72) создана специально под эти задачи — с поддержкой контекста до 400K токенов, кешированием промптов и специализированными чипами. Цель — сделать агентный вывод одновременно быстрым и экономически выгодным.
Для пользователей это значит: более сложные AI-агенты станут дешевле и доступнее.
https://developer.nvidia.com/blog/building-for-the-rising-complexity-of-agentic-systems-with-extreme-co-design/
NVIDIA Technical Blog
Building for the Rising Complexity of Agentic Systems with Extreme Co-Design
Generative AI’s explosive first chapter was defined by humans sending requests and models responding. The agentic chapter is different. Agents don’t follow a pre-determined sequence of actions.
IBM Research: квантовые компьютеры смоделировали белок из 12 635 атомов
Команда из Cleveland Clinic, RIKEN и IBM совершила прорыв в квантовой химии: впервые смоделирован белково-лигандный комплекс масштабом более 12 000 атомов. Для этого использовали два квантовых процессора IBM Heron (до 94 кубитов) и суперкомпьютеры Fugaku и Miyabi-G.
Результат поразительный: за 4 месяца система выросла с 303 до 12 635 атомов — в 40 раз. Точность улучшилась в 210 раз по сравнению с предыдущими квантово-классическими подходами.
Пока метод не превосходит лучшие классические алгоритмы, но уже доказывает: квантовые компьютеры реально полезны для науки сегодня. Главное применение — фармацевтика: точное предсказание поведения молекул ускорит разработку новых лекарств.
https://research.ibm.com/blog/cleveland-clinic-riken-chemistry?utm_medium=rss&utm_source=rss
Команда из Cleveland Clinic, RIKEN и IBM совершила прорыв в квантовой химии: впервые смоделирован белково-лигандный комплекс масштабом более 12 000 атомов. Для этого использовали два квантовых процессора IBM Heron (до 94 кубитов) и суперкомпьютеры Fugaku и Miyabi-G.
Результат поразительный: за 4 месяца система выросла с 303 до 12 635 атомов — в 40 раз. Точность улучшилась в 210 раз по сравнению с предыдущими квантово-классическими подходами.
Пока метод не превосходит лучшие классические алгоритмы, но уже доказывает: квантовые компьютеры реально полезны для науки сегодня. Главное применение — фармацевтика: точное предсказание поведения молекул ускорит разработку новых лекарств.
https://research.ibm.com/blog/cleveland-clinic-riken-chemistry?utm_medium=rss&utm_source=rss
Умный дистиллятор видео: не все кадры одинаково полезны
Когда дистиллируешь большую видеомодель в быструю, обычно оптимизируешь всё подряд с одинаковым весом — каждый роллаут, каждый пиксель. Авторы из FrameX-AI говорят: это расточительство.
Идея Stream-R1: у DMD-дистилляции есть два источника "неравенства". Первый — Inter-Reliability: часть роллаутов уже близка к качественному режиму учителя, а часть нет. Градиент с плохих роллаутов просто шумит. Второй — Intra-Perplexity: внутри одного роллаута одни регионы уже "насытились" наградой, а другие ещё нет.
Решение: один предобученный reward-model делает всё. Он выдаёт скаляр для взвешивания роллаутов по надёжности, и через backprop — карту салиентности по пикселям/кадрам, куда давить сильнее. Три оси качества (визуал, движение, text alignment) балансируются адаптивно.
Результат: улучшение по всем трём метрикам без изменений архитектуры и без доп. затрат на инференс.
https://arxiv.org/abs/2605.03849
Когда дистиллируешь большую видеомодель в быструю, обычно оптимизируешь всё подряд с одинаковым весом — каждый роллаут, каждый пиксель. Авторы из FrameX-AI говорят: это расточительство.
Идея Stream-R1: у DMD-дистилляции есть два источника "неравенства". Первый — Inter-Reliability: часть роллаутов уже близка к качественному режиму учителя, а часть нет. Градиент с плохих роллаутов просто шумит. Второй — Intra-Perplexity: внутри одного роллаута одни регионы уже "насытились" наградой, а другие ещё нет.
Решение: один предобученный reward-model делает всё. Он выдаёт скаляр для взвешивания роллаутов по надёжности, и через backprop — карту салиентности по пикселям/кадрам, куда давить сильнее. Три оси качества (визуал, движение, text alignment) балансируются адаптивно.
Результат: улучшение по всем трём метрикам без изменений архитектуры и без доп. затрат на инференс.
https://arxiv.org/abs/2605.03849