PyTorch / LightSeek Foundation выпустили Shepherd Model Gateway (SMG) — Rust-шлюз для LLM-инференса, который решает реальную проблему: GIL в Python тормозит GPU на больших нагрузках.
Суть: всё CPU-задачи (токенизация, парсинг, мультимодальная обработка, MCP-инструменты) вынесены из движков вроде vLLM и SGLang в отдельный Rust-слой. GPU получает уже готовые токены по gRPC и не ждёт Python.
Что внутри: двухуровневый кеш токенайзера, стриминговый парсинг reasoning-блоков для 15 семейств моделей, нативная поддержка пяти API (OpenAI, Anthropic, Gemini и др.), WASM-плагины для кастомной логики. Поддержка мультимодальных моделей реализована на Rust с нуля — авторы называют это первым подобным решением в индустрии.
Почему важно: дорогие GPU простаивают из-за CPU-узких мест. SMG разделяет слои так, чтобы каждый масштабировался независимо. PR уже приняты в vLLM и TensorRT-LLM.
https://pytorch.org/blog/lightseek-smg/
Суть: всё CPU-задачи (токенизация, парсинг, мультимодальная обработка, MCP-инструменты) вынесены из движков вроде vLLM и SGLang в отдельный Rust-слой. GPU получает уже готовые токены по gRPC и не ждёт Python.
Что внутри: двухуровневый кеш токенайзера, стриминговый парсинг reasoning-блоков для 15 семейств моделей, нативная поддержка пяти API (OpenAI, Anthropic, Gemini и др.), WASM-плагины для кастомной логики. Поддержка мультимодальных моделей реализована на Rust с нуля — авторы называют это первым подобным решением в индустрии.
Почему важно: дорогие GPU простаивают из-за CPU-узких мест. SMG разделяет слои так, чтобы каждый масштабировался независимо. PR уже приняты в vLLM и TensorRT-LLM.
https://pytorch.org/blog/lightseek-smg/
RoundPipe: файн-тюнинг 235B модели на дешёвых GPU за разумные деньги
Обучать большие LLM дорого — датацентровые GPU стоят в разы больше потребительских. RTX 4090 по вычислениям почти не уступает A100, но стоит на 80% дешевле. Проблема: 24 ГБ VRAM и медленный PCIe вместо NVLink.
Существующие подходы (ZeRO-Infinity, Mobius) упираются в pipeline bubbles — GPU простаивают до 30% времени из-за "weight binding": каждый слой привязан к конкретному GPU.
Ключевая идея RoundPipe: раз веса всё равно живут в CPU-памяти и подгружаются по требованию — зачем привязывать слой к конкретному GPU? Авторы делают GPU stateless-пулом исполнителей и диспетчеризуют стадии round-robin динамически. Плюс асимметричное разбиение слоёв (3 слоя в forward = 1 слой в backward по времени), приоритетный планировщик передач и event-based протокол консистентности без барьеров.
Результат: до 2.16× ускорение на 8×RTX 4090, поддержка последовательностей в 7.3× длиннее. Единственная система, способная LoRA-файн-тюнить 235B MoE на 24 ГБ GPU.
Обучать большие LLM дорого — датацентровые GPU стоят в разы больше потребительских. RTX 4090 по вычислениям почти не уступает A100, но стоит на 80% дешевле. Проблема: 24 ГБ VRAM и медленный PCIe вместо NVLink.
Существующие подходы (ZeRO-Infinity, Mobius) упираются в pipeline bubbles — GPU простаивают до 30% времени из-за "weight binding": каждый слой привязан к конкретному GPU.
Ключевая идея RoundPipe: раз веса всё равно живут в CPU-памяти и подгружаются по требованию — зачем привязывать слой к конкретному GPU? Авторы делают GPU stateless-пулом исполнителей и диспетчеризуют стадии round-robin динамически. Плюс асимметричное разбиение слоёв (3 слоя в forward = 1 слой в backward по времени), приоритетный планировщик передач и event-based протокол консистентности без барьеров.
Результат: до 2.16× ускорение на 8×RTX 4090, поддержка последовательностей в 7.3× длиннее. Единственная система, способная LoRA-файн-тюнить 235B MoE на 24 ГБ GPU.
LLM наконец научился считать токены — на каждом шаге!
Проблема: современные LLM плохо контролируют длину своих ответов. Существующие методы работают грубо — штрафуют за длину на уровне всей последовательности или дают инструкции в промпте. Никто не смотрит на длину токен за токеном.
Авторы из UC Santa Barbara предложили Length Value Model (LenVM) — отдельную голову поверх LLM, которая на каждом шаге декодирования предсказывает, сколько токенов ещё осталось сгенерировать. Идея из RL: назначаем -1 награду за каждый токен, считаем дисконтированный возврат — и получаем ограниченный, монотонный прокси для "горизонта генерации".
Главный плюс: обучение полностью автоматическое (не нужна разметка), сигнал плотный (цель на каждый токен), и хорошо масштабируется.
Применения: контроль длины при декодировании, предсказание длины с первого токена, value baseline для PPO. Работает на math, code и instruction-following задачах.
https://arxiv.org/abs/2604.27039
Проблема: современные LLM плохо контролируют длину своих ответов. Существующие методы работают грубо — штрафуют за длину на уровне всей последовательности или дают инструкции в промпте. Никто не смотрит на длину токен за токеном.
Авторы из UC Santa Barbara предложили Length Value Model (LenVM) — отдельную голову поверх LLM, которая на каждом шаге декодирования предсказывает, сколько токенов ещё осталось сгенерировать. Идея из RL: назначаем -1 награду за каждый токен, считаем дисконтированный возврат — и получаем ограниченный, монотонный прокси для "горизонта генерации".
Главный плюс: обучение полностью автоматическое (не нужна разметка), сигнал плотный (цель на каждый токен), и хорошо масштабируется.
Применения: контроль длины при декодировании, предсказание длины с первого токена, value baseline для PPO. Работает на math, code и instruction-following задачах.
https://arxiv.org/abs/2604.27039
Видеогенерация научилась физике — трение, упругость, деформация теперь под контролем
Современные видеодиффузионные модели умеют делать красивую картинку, но физику нарушают постоянно: объекты зависают в воздухе, не отскакивают при ударе, не деформируются. PhyCo предлагает решение в два шага.
Шаг 1: файнтюнинг через ControlNet с картами физических свойств (трение, упругость, деформация, сила). Данные — 100K симуляционных видео из Kubric+PyBullet с аннотациями физических параметров.
Шаг 2: VLM-guided reward optimization — замороженная vision-language модель отвечает на вопросы про физику в сгенерированном видео ("насколько сильно деформировался объект?"), и её логиты используются как дифференцируемая награда для дообучения.
Итог: непрерывный контроль над физическими свойствами без симуляторов на инференсе. Модель обобщается на реальные сцены и новые материалы.
https://arxiv.org/abs/2604.28169
Современные видеодиффузионные модели умеют делать красивую картинку, но физику нарушают постоянно: объекты зависают в воздухе, не отскакивают при ударе, не деформируются. PhyCo предлагает решение в два шага.
Шаг 1: файнтюнинг через ControlNet с картами физических свойств (трение, упругость, деформация, сила). Данные — 100K симуляционных видео из Kubric+PyBullet с аннотациями физических параметров.
Шаг 2: VLM-guided reward optimization — замороженная vision-language модель отвечает на вопросы про физику в сгенерированном видео ("насколько сильно деформировался объект?"), и её логиты используются как дифференцируемая награда для дообучения.
Итог: непрерывный контроль над физическими свойствами без симуляторов на инференсе. Модель обобщается на реальные сцены и новые материалы.
https://arxiv.org/abs/2604.28169
Один фреймворк вместо десятка моделей для видео-генерации
Обычно для каждой задачи с видео (матирование, inverse rendering, inpainting, генерация normal maps) обучают отдельную сеть. UniVidX предлагает объединить всё в одну модель через три трюка:
1. Stochastic Condition Masking — случайно делит модальности на «условия» и «цели», заставляя модель учиться генерировать в любом направлении (текст→X, X→X, текст+X→X).
2. Decoupled Gated LoRA — каждой модальности свой LoRA-адаптер, который включается только когда эта модальность является целью генерации. Никакой интерференции параметров.
3. Cross-Modal Self-Attention — ключи и значения shared между модальностями, запросы — свои у каждой. Так достигается согласованность между, например, RGB и normal map.
Результат: два инстанса фреймворка покрывают 15 задач, обучаясь на менее чем 1000 видео. VDM-приоры делают тяжёлую работу.
https://arxiv.org/abs/2605.00658
Обычно для каждой задачи с видео (матирование, inverse rendering, inpainting, генерация normal maps) обучают отдельную сеть. UniVidX предлагает объединить всё в одну модель через три трюка:
1. Stochastic Condition Masking — случайно делит модальности на «условия» и «цели», заставляя модель учиться генерировать в любом направлении (текст→X, X→X, текст+X→X).
2. Decoupled Gated LoRA — каждой модальности свой LoRA-адаптер, который включается только когда эта модальность является целью генерации. Никакой интерференции параметров.
3. Cross-Modal Self-Attention — ключи и значения shared между модальностями, запросы — свои у каждой. Так достигается согласованность между, например, RGB и normal map.
Результат: два инстанса фреймворка покрывают 15 задач, обучаясь на менее чем 1000 видео. VDM-приоры делают тяжёлую работу.
https://arxiv.org/abs/2605.00658
Многоагентный поиск по вебу: как собрать тысячи фактов в одну таблицу
Представьте задачу: найди все концерты Taylor Swift с 2010 по 2025 с датой, городом и площадкой. Это не один сложный вопрос — это сотни строк, каждую надо проверить. Обычный LLM-агент захлёбывается: контекст переполняется, ошибки множатся.
Web2BigTable решает это двухуровневой мультиагентной системой. Верхний оркестратор разбивает запрос на подзадачи, нижние воркеры параллельно их решают. Ключевая фишка — общая "рабочая доска": воркеры видят прогресс друг друга, не дублируют поиск и разрешают конфликты между источниками.
Система самообучается через цикл run-verify-reflect: накапливает навыки декомпозиции и выполнения в внешней памяти, не трогая веса LLM. На WideSearch бенчмарке результат в 7.5 раз лучше второго места по Success Rate.
https://arxiv.org/abs/2604.27221
Представьте задачу: найди все концерты Taylor Swift с 2010 по 2025 с датой, городом и площадкой. Это не один сложный вопрос — это сотни строк, каждую надо проверить. Обычный LLM-агент захлёбывается: контекст переполняется, ошибки множатся.
Web2BigTable решает это двухуровневой мультиагентной системой. Верхний оркестратор разбивает запрос на подзадачи, нижние воркеры параллельно их решают. Ключевая фишка — общая "рабочая доска": воркеры видят прогресс друг друга, не дублируют поиск и разрешают конфликты между источниками.
Система самообучается через цикл run-verify-reflect: накапливает навыки декомпозиции и выполнения в внешней памяти, не трогая веса LLM. На WideSearch бенчмарке результат в 7.5 раз лучше второго места по Success Rate.
https://arxiv.org/abs/2604.27221
🔥1
MolmoAct2: полностью открытый робот-мозг, который думает быстро (by Ai2)
Проблема современных VLA-моделей (vision-language-action): закрытый код, медленный reasoning из-за сотен токенов перед каждым действием, и привязка к дорогим платформам.
MolmoAct2 от Ai2 атакует все три проблемы сразу.
Ключевые идеи:
1. Molmo2-ER — специализированный VLM-бэкбон для пространственного мышления (3.3M примеров: метрические расстояния, ego-exo видео, 3D-геометрия). Обходит GPT-5 и Gemini Robotics ER-1.5 на 13 бенчмарках.
2. Action expert с flow matching поверх KV-кэша VLM — непрерывные траектории без потери контекста.
3. MolmoAct2-Think: reasoning только по изменившимся регионам сцены между шагами. Статичные части пропускаются — latency падает, качество растёт.
Всё полностью открыто: веса, код, датасеты (720 часов bimanual телеопераций — крупнейший открытый датасет такого рода).
https://arxiv.org/abs/2605.02881
Проблема современных VLA-моделей (vision-language-action): закрытый код, медленный reasoning из-за сотен токенов перед каждым действием, и привязка к дорогим платформам.
MolmoAct2 от Ai2 атакует все три проблемы сразу.
Ключевые идеи:
1. Molmo2-ER — специализированный VLM-бэкбон для пространственного мышления (3.3M примеров: метрические расстояния, ego-exo видео, 3D-геометрия). Обходит GPT-5 и Gemini Robotics ER-1.5 на 13 бенчмарках.
2. Action expert с flow matching поверх KV-кэша VLM — непрерывные траектории без потери контекста.
3. MolmoAct2-Think: reasoning только по изменившимся регионам сцены между шагами. Статичные части пропускаются — latency падает, качество растёт.
Всё полностью открыто: веса, код, датасеты (720 часов bimanual телеопераций — крупнейший открытый датасет такого рода).
https://arxiv.org/abs/2605.02881
OpenAI рассказала, как устроена их голосовая AI-инфраструктура изнутри.
Компания полностью переписала свой WebRTC-стек, чтобы обеспечить минимальную задержку и работу в реальном времени по всему миру. Главная задача была сложной: голосовой AI должен не просто отвечать быстро, но и правильно понимать паузы в разговоре — когда человек закончил говорить, а когда просто сделал вдох.
Для этого OpenAI реализовала умное управление очерёдностью реплик (turn-taking), чтобы диалог звучал естественно, а не как разговор с автоответчиком.
Всё это работает на глобальной инфраструктуре с низкими задержками — критично для голоса, где даже 200 мс ощущаются как неловкая пауза.
Это основа для Realtime API и голосового режима ChatGPT. Чем стабильнее и быстрее инфраструктура — тем лучше опыт для всех, кто строит голосовые продукты на базе OpenAI.
https://openai.com/index/delivering-low-latency-voice-ai-at-scale
Компания полностью переписала свой WebRTC-стек, чтобы обеспечить минимальную задержку и работу в реальном времени по всему миру. Главная задача была сложной: голосовой AI должен не просто отвечать быстро, но и правильно понимать паузы в разговоре — когда человек закончил говорить, а когда просто сделал вдох.
Для этого OpenAI реализовала умное управление очерёдностью реплик (turn-taking), чтобы диалог звучал естественно, а не как разговор с автоответчиком.
Всё это работает на глобальной инфраструктуре с низкими задержками — критично для голоса, где даже 200 мс ощущаются как неловкая пауза.
Это основа для Realtime API и голосового режима ChatGPT. Чем стабильнее и быстрее инфраструктура — тем лучше опыт для всех, кто строит голосовые продукты на базе OpenAI.
https://openai.com/index/delivering-low-latency-voice-ai-at-scale
OpenAI
How OpenAI delivers low-latency voice AI at scale
How OpenAI rebuilt its WebRTC stack to power real-time Voice AI with low latency, global scale, and seamless conversational turn-taking.
Nvidia Tech представила cuOpt Agent Skills — набор инструментов для оптимизации цепочек поставок с помощью агентного ИИ.
Суть: теперь LLM-агент может принимать задачи на обычном языке — например, "составь 12-недельный план производства с минимальными затратами" — и автоматически переводить их в математические модели, которые решает GPU-ускоренный движок cuOpt.
Раньше такие задачи занимали у OR-команд недели. Теперь — секунды. Агент сам разбивает цель на подзадачи, формулирует модель и отдаёт её на расчёт GPU, а затем возвращает человекочитаемый план с метриками: затраты, загрузка мощностей, остатки запасов.
В основе — модель MiniMax M2.5, LangChain Deep Agents и NVIDIA cuOpt. Всё контейнеризировано, запускается через Docker Compose. Код и примеры уже на GitHub.
Актуально для логистики, ретейла и производства — там, где цена неоптимального решения измеряется миллионами.
https://developer.nvidia.com/blog/optimize-supply-chain-decision-systems-using-nvidia-cuopt-agent-skills/
Суть: теперь LLM-агент может принимать задачи на обычном языке — например, "составь 12-недельный план производства с минимальными затратами" — и автоматически переводить их в математические модели, которые решает GPU-ускоренный движок cuOpt.
Раньше такие задачи занимали у OR-команд недели. Теперь — секунды. Агент сам разбивает цель на подзадачи, формулирует модель и отдаёт её на расчёт GPU, а затем возвращает человекочитаемый план с метриками: затраты, загрузка мощностей, остатки запасов.
В основе — модель MiniMax M2.5, LangChain Deep Agents и NVIDIA cuOpt. Всё контейнеризировано, запускается через Docker Compose. Код и примеры уже на GitHub.
Актуально для логистики, ретейла и производства — там, где цена неоптимального решения измеряется миллионами.
https://developer.nvidia.com/blog/optimize-supply-chain-decision-systems-using-nvidia-cuopt-agent-skills/
NVIDIA Technical Blog
Optimize Supply Chain Decision Systems Using NVIDIA cuOpt Agent Skills
Modern supply chains operate under the constant pressures of fluctuating demand, volatile costs, constrained capacity, and interdependent decision-making. Traditionally…
Apple ML выпустила исследование PORTool — новый алгоритм обучения AI-агентов, которые умеют использовать внешние инструменты.
Проблема была такая: когда агент решает сложную задачу и вызывает несколько инструментов по цепочке, непонятно, какой именно шаг привёл к успеху или провалу. Стандартные методы оценивают только итоговый результат, игнорируя промежуточные решения.
PORTool строит дерево вариантов: агент пробует разные ветки решений с общим началом, а алгоритм оценивает важность каждого шага — привели ли его потомки к правильному ответу и успешно ли сработали вызовы инструментов.
Результат: агенты точнее отвечают на вопросы и при этом делают меньше лишних обращений к инструментам. Это важно для практики — меньше вызовов означает меньше задержек и затрат.
Работа опубликована в мае 2026 года и потенциально влияет на то, как будут строиться агентные системы в продуктах Apple.
https://machinelearning.apple.com/research/portool-policy-optimization
Проблема была такая: когда агент решает сложную задачу и вызывает несколько инструментов по цепочке, непонятно, какой именно шаг привёл к успеху или провалу. Стандартные методы оценивают только итоговый результат, игнорируя промежуточные решения.
PORTool строит дерево вариантов: агент пробует разные ветки решений с общим началом, а алгоритм оценивает важность каждого шага — привели ли его потомки к правильному ответу и успешно ли сработали вызовы инструментов.
Результат: агенты точнее отвечают на вопросы и при этом делают меньше лишних обращений к инструментам. Это важно для практики — меньше вызовов означает меньше задержек и затрат.
Работа опубликована в мае 2026 года и потенциально влияет на то, как будут строиться агентные системы в продуктах Apple.
https://machinelearning.apple.com/research/portool-policy-optimization
Apple Machine Learning Research
PORTool: Importance-Aware Policy Optimization with Rewarded Tree for Multi-Tool-Integrated Reasoning
Multi-tool-integrated reasoning enables LLM-empowered tool-use agents to solve complex tasks by interleaving natural-language reasoning with…
Как научить LLM учиться из новых документов без разметки и обратной связи?
Большинство LLM хорошо справляются с задачами, покрытыми при предобучении. Но что если нужно прочитать незнакомую техническую документацию и применить знания из неё? Авторы называют это "context learning" и признают: современные модели здесь слабы.
Решение — Ctx2Skill. Идея: автоматически извлекать из контекста "навыки" (skills) — текстовые правила и процедуры, которые потом подключаются к любой LLM при инференсе.
Как это работает: два агента играют друг против друга. Challenger генерирует задачи по контексту, Reasoner их решает, Judge оценивает. Провалы → обновление навыков Reasoner. Лёгкие задачи → Challenger усложняет вопросы. Оба агента эволюционируют без изменения весов.
Проблема: со временем Challenger начинает генерировать патологические задачи, а Reasoner переспециализируется. Решение — Cross-Time Replay: выбирается набор навыков, лучше всего балансирующий между историческими задачами.
Большинство LLM хорошо справляются с задачами, покрытыми при предобучении. Но что если нужно прочитать незнакомую техническую документацию и применить знания из неё? Авторы называют это "context learning" и признают: современные модели здесь слабы.
Решение — Ctx2Skill. Идея: автоматически извлекать из контекста "навыки" (skills) — текстовые правила и процедуры, которые потом подключаются к любой LLM при инференсе.
Как это работает: два агента играют друг против друга. Challenger генерирует задачи по контексту, Reasoner их решает, Judge оценивает. Провалы → обновление навыков Reasoner. Лёгкие задачи → Challenger усложняет вопросы. Оба агента эволюционируют без изменения весов.
Проблема: со временем Challenger начинает генерировать патологические задачи, а Reasoner переспециализируется. Решение — Cross-Time Replay: выбирается набор навыков, лучше всего балансирующий между историческими задачами.
SFT портит модель перед RL — и это можно починить
Стандартный пайплайн обучения мультимодальных моделей: сначала SFT, потом RL. Но оказывается, SFT может навредить: модель дрейфует от своего исходного распределения, учит поверхностные паттерны, а не реальный reasoning. Особенно больно это бьёт по мультимодальным моделям — ошибки в визуальном восприятии потом усиливаются в RL.
Авторы из HKUSTGZ предлагают вставить между SFT и RL новый этап — PRISM. Суть: adversarial on-policy distillation, где модель играет в minimax-игру против MoE-дискриминатора с двумя экспертами — один проверяет visual grounding, другой — логику рассуждений. Дискриминатор учится отличать генерации модели от эталонного пула, а модель учится их неотличимо имитировать.
Итог: PRISM+GRPO бьёт обычный SFT→GRPO на +4.4 и +6.0 пунктов на Qwen3-VL-4B/8B соответственно.
https://arxiv.org/abs/2604.28123
Стандартный пайплайн обучения мультимодальных моделей: сначала SFT, потом RL. Но оказывается, SFT может навредить: модель дрейфует от своего исходного распределения, учит поверхностные паттерны, а не реальный reasoning. Особенно больно это бьёт по мультимодальным моделям — ошибки в визуальном восприятии потом усиливаются в RL.
Авторы из HKUSTGZ предлагают вставить между SFT и RL новый этап — PRISM. Суть: adversarial on-policy distillation, где модель играет в minimax-игру против MoE-дискриминатора с двумя экспертами — один проверяет visual grounding, другой — логику рассуждений. Дискриминатор учится отличать генерации модели от эталонного пула, а модель учится их неотличимо имитировать.
Итог: PRISM+GRPO бьёт обычный SFT→GRPO на +4.4 и +6.0 пунктов на Qwen3-VL-4B/8B соответственно.
https://arxiv.org/abs/2604.28123
Визуальная память умирает при длинных ответах — и вот как это починить
В мультимодальных LLM есть неочевидная проблема: чем длиннее генерация, тем слабее модель "видит" картинку. Визуальные токены стоят в начале контекста и статичны, а текстовая история растёт — механизм внимания просто перераспределяет вероятности, и визуальный сигнал затухает как O(1/t). Авторы доказывают это математически и называют "Low-Attention Equilibrium".
Наивное решение — переинжектировать визуальные токены в процессе генерации — ломает логику рассуждений, вмешиваясь в авторегрессивный поток.
Авторы предлагают Persistent Visual Memory (PVM): лёгкий параллельный модуль рядом с FFN в трансформер-блоке. Он читает оригинальные визуальные эмбеддинги через gated cross-attention независимо от длины контекста, не трогая основной поток рассуждений.
Результат на базе Qwen3-VL: +4.8% на 8B и +4.4% на 4B по 8 бенчмаркам. LogitLens-анализ подтверждает, что модель быстрее сходится к правильному ответу внутри слоёв.
В мультимодальных LLM есть неочевидная проблема: чем длиннее генерация, тем слабее модель "видит" картинку. Визуальные токены стоят в начале контекста и статичны, а текстовая история растёт — механизм внимания просто перераспределяет вероятности, и визуальный сигнал затухает как O(1/t). Авторы доказывают это математически и называют "Low-Attention Equilibrium".
Наивное решение — переинжектировать визуальные токены в процессе генерации — ломает логику рассуждений, вмешиваясь в авторегрессивный поток.
Авторы предлагают Persistent Visual Memory (PVM): лёгкий параллельный модуль рядом с FFN в трансформер-блоке. Он читает оригинальные визуальные эмбеддинги через gated cross-attention независимо от длины контекста, не трогая основной поток рассуждений.
Результат на базе Qwen3-VL: +4.8% на 8B и +4.4% на 4B по 8 бенчмаркам. LogitLens-анализ подтверждает, что модель быстрее сходится к правильному ответу внутри слоёв.
Nvidia Tech рассказала, как строить ИИ-агентов прямо в автомобиле — от облака до бортового компьютера.
Суть: традиционные голосовые помощники в машинах работают по принципу «команда → действие → сброс». Nvidia предлагает заменить это агентными системами на базе LLM и VLM, которые умеют рассуждать, помнить контекст и действовать проактивно.
Что это даёт водителю: умные рутины с учётом календаря, объяснение поведения ADAS в реальном времени, диагностика на естественном языке, персонализация под пассажиров.
Железо: платформа DRIVE AGX (Orin и новый Thor на архитектуре Blackwell) позволяет гонять модели до 13B параметров прямо на борту с задержкой менее 500 мс. Можно ставить как отдельный AI-блок к существующей мультимедиа-системе — без переработки всей электроники.
Масштаб рынка впечатляет: по прогнозу ABI Research, к 2035 году агентный ИИ появится в 70 млн автомобилей — против 5 млн сегодня.
https://developer.nvidia.com/blog/how-to-build-in-vehicle-ai-agents-with-nvidia-from-cloud-to-car/
Суть: традиционные голосовые помощники в машинах работают по принципу «команда → действие → сброс». Nvidia предлагает заменить это агентными системами на базе LLM и VLM, которые умеют рассуждать, помнить контекст и действовать проактивно.
Что это даёт водителю: умные рутины с учётом календаря, объяснение поведения ADAS в реальном времени, диагностика на естественном языке, персонализация под пассажиров.
Железо: платформа DRIVE AGX (Orin и новый Thor на архитектуре Blackwell) позволяет гонять модели до 13B параметров прямо на борту с задержкой менее 500 мс. Можно ставить как отдельный AI-блок к существующей мультимедиа-системе — без переработки всей электроники.
Масштаб рынка впечатляет: по прогнозу ABI Research, к 2035 году агентный ИИ появится в 70 млн автомобилей — против 5 млн сегодня.
https://developer.nvidia.com/blog/how-to-build-in-vehicle-ai-agents-with-nvidia-from-cloud-to-car/
NVIDIA Technical Blog
How to Build In-Vehicle AI Agents with NVIDIA: From Cloud to Car
The automotive cockpit is undergoing a fundamental shift from rule-based interfaces to agentic, multimodal AI systems capable of reasoning, planning, and acting. In most vehicles on the road today…
Nvidia Tech: зачем агентному ИИ нужно новое железо
Nvidia объяснила, почему традиционная инфраструктура не справляется с агентными AI-системами — и представила платформу Vera Rubin как ответ на этот вызов.
Суть проблемы: агенты вроде Claude Code не просто отвечают на вопросы. Они вызывают инструменты, запускают под-агентов, управляют памятью и сами решают, когда задача выполнена. Один сеанс из 283 запросов за 33 минуты может потреблять до 156 000 токенов — это в 15 раз больше, чем обычный чат.
Такие нагрузки ломают экономику стандартных серверов: затраты на обработку входных токенов при каждом шаге вывода становятся неподъёмными.
Платформа Vera Rubin (NVL72) создана специально под эти задачи — с поддержкой контекста до 400K токенов, кешированием промптов и специализированными чипами. Цель — сделать агентный вывод одновременно быстрым и экономически выгодным.
Для пользователей это значит: более сложные AI-агенты станут дешевле и доступнее.
https://developer.nvidia.com/blog/building-for-the-rising-complexity-of-agentic-systems-with-extreme-co-design/
Nvidia объяснила, почему традиционная инфраструктура не справляется с агентными AI-системами — и представила платформу Vera Rubin как ответ на этот вызов.
Суть проблемы: агенты вроде Claude Code не просто отвечают на вопросы. Они вызывают инструменты, запускают под-агентов, управляют памятью и сами решают, когда задача выполнена. Один сеанс из 283 запросов за 33 минуты может потреблять до 156 000 токенов — это в 15 раз больше, чем обычный чат.
Такие нагрузки ломают экономику стандартных серверов: затраты на обработку входных токенов при каждом шаге вывода становятся неподъёмными.
Платформа Vera Rubin (NVL72) создана специально под эти задачи — с поддержкой контекста до 400K токенов, кешированием промптов и специализированными чипами. Цель — сделать агентный вывод одновременно быстрым и экономически выгодным.
Для пользователей это значит: более сложные AI-агенты станут дешевле и доступнее.
https://developer.nvidia.com/blog/building-for-the-rising-complexity-of-agentic-systems-with-extreme-co-design/
NVIDIA Technical Blog
Building for the Rising Complexity of Agentic Systems with Extreme Co-Design
Generative AI’s explosive first chapter was defined by humans sending requests and models responding. The agentic chapter is different. Agents don’t follow a pre-determined sequence of actions.
IBM Research: квантовые компьютеры смоделировали белок из 12 635 атомов
Команда из Cleveland Clinic, RIKEN и IBM совершила прорыв в квантовой химии: впервые смоделирован белково-лигандный комплекс масштабом более 12 000 атомов. Для этого использовали два квантовых процессора IBM Heron (до 94 кубитов) и суперкомпьютеры Fugaku и Miyabi-G.
Результат поразительный: за 4 месяца система выросла с 303 до 12 635 атомов — в 40 раз. Точность улучшилась в 210 раз по сравнению с предыдущими квантово-классическими подходами.
Пока метод не превосходит лучшие классические алгоритмы, но уже доказывает: квантовые компьютеры реально полезны для науки сегодня. Главное применение — фармацевтика: точное предсказание поведения молекул ускорит разработку новых лекарств.
https://research.ibm.com/blog/cleveland-clinic-riken-chemistry?utm_medium=rss&utm_source=rss
Команда из Cleveland Clinic, RIKEN и IBM совершила прорыв в квантовой химии: впервые смоделирован белково-лигандный комплекс масштабом более 12 000 атомов. Для этого использовали два квантовых процессора IBM Heron (до 94 кубитов) и суперкомпьютеры Fugaku и Miyabi-G.
Результат поразительный: за 4 месяца система выросла с 303 до 12 635 атомов — в 40 раз. Точность улучшилась в 210 раз по сравнению с предыдущими квантово-классическими подходами.
Пока метод не превосходит лучшие классические алгоритмы, но уже доказывает: квантовые компьютеры реально полезны для науки сегодня. Главное применение — фармацевтика: точное предсказание поведения молекул ускорит разработку новых лекарств.
https://research.ibm.com/blog/cleveland-clinic-riken-chemistry?utm_medium=rss&utm_source=rss
Умный дистиллятор видео: не все кадры одинаково полезны
Когда дистиллируешь большую видеомодель в быструю, обычно оптимизируешь всё подряд с одинаковым весом — каждый роллаут, каждый пиксель. Авторы из FrameX-AI говорят: это расточительство.
Идея Stream-R1: у DMD-дистилляции есть два источника "неравенства". Первый — Inter-Reliability: часть роллаутов уже близка к качественному режиму учителя, а часть нет. Градиент с плохих роллаутов просто шумит. Второй — Intra-Perplexity: внутри одного роллаута одни регионы уже "насытились" наградой, а другие ещё нет.
Решение: один предобученный reward-model делает всё. Он выдаёт скаляр для взвешивания роллаутов по надёжности, и через backprop — карту салиентности по пикселям/кадрам, куда давить сильнее. Три оси качества (визуал, движение, text alignment) балансируются адаптивно.
Результат: улучшение по всем трём метрикам без изменений архитектуры и без доп. затрат на инференс.
https://arxiv.org/abs/2605.03849
Когда дистиллируешь большую видеомодель в быструю, обычно оптимизируешь всё подряд с одинаковым весом — каждый роллаут, каждый пиксель. Авторы из FrameX-AI говорят: это расточительство.
Идея Stream-R1: у DMD-дистилляции есть два источника "неравенства". Первый — Inter-Reliability: часть роллаутов уже близка к качественному режиму учителя, а часть нет. Градиент с плохих роллаутов просто шумит. Второй — Intra-Perplexity: внутри одного роллаута одни регионы уже "насытились" наградой, а другие ещё нет.
Решение: один предобученный reward-model делает всё. Он выдаёт скаляр для взвешивания роллаутов по надёжности, и через backprop — карту салиентности по пикселям/кадрам, куда давить сильнее. Три оси качества (визуал, движение, text alignment) балансируются адаптивно.
Результат: улучшение по всем трём метрикам без изменений архитектуры и без доп. затрат на инференс.
https://arxiv.org/abs/2605.03849
Один фреймворк, чтобы и понимать сцену, и предсказывать её будущее
Большинство моделей для автономного вождения умеют либо генерировать будущие состояния сцены (в 3D, по облакам точек), либо отвечать на вопросы о текущей сцене через VLM. Но не то и другое вместе.
HERMES++ объединяет оба подхода в одном фреймворке. Ключевая идея: BEV-представление (вид сверху) сжимает мультикамерный ввод в токены, совместимые с LLM. Затем "world queries", обогащённые языковой моделью, через модуль Current-to-Future Link передают семантический контекст в генератор будущей геометрии. Добавляется Joint Geometric Optimization — совместная явная и неявная регуляризация на облаках точек и латентном пространстве.
Результат: -8.2% ошибки генерации (vs DriveX) и +9.2% CIDEr на понимании сцены (vs Omni-Q). Модель одновременно описывает сцену словами и предсказывает, как она изменится через 3 секунды.
https://arxiv.org/abs/2604.28196
Большинство моделей для автономного вождения умеют либо генерировать будущие состояния сцены (в 3D, по облакам точек), либо отвечать на вопросы о текущей сцене через VLM. Но не то и другое вместе.
HERMES++ объединяет оба подхода в одном фреймворке. Ключевая идея: BEV-представление (вид сверху) сжимает мультикамерный ввод в токены, совместимые с LLM. Затем "world queries", обогащённые языковой моделью, через модуль Current-to-Future Link передают семантический контекст в генератор будущей геометрии. Добавляется Joint Geometric Optimization — совместная явная и неявная регуляризация на облаках точек и латентном пространстве.
Результат: -8.2% ошибки генерации (vs DriveX) и +9.2% CIDEr на понимании сцены (vs Omni-Q). Модель одновременно описывает сцену словами и предсказывает, как она изменится через 3 секунды.
https://arxiv.org/abs/2604.28196
3D-объекты, которые можно трогать, толкать и крутить — не просто красивые модели
Большинство современных 3D-генераторов делают "пустые оболочки": красивые снаружи, но бесполезные для роботов или игровых движков — их нельзя схватить, открыть или сломать. PhysForge решает это двухэтапным пайплайном.
Сначала VLM строит "Иерархический физический чертёж" объекта: разбивает его на части, определяет материалы, типы сочленений (revolute, prismatic) и функции каждой детали. Потом диффузионная модель "кует" геометрию вместе с кинематическими параметрами через механизм KineVoxel Injection — параметры суставов буквально закодированы в специальные воксели и генерируются совместно с формой.
Для обучения собрали PhysDB — 150k объектов с четырёхуровневой аннотацией: от реального размера до атомарных affordances (pushable, graspable).
На выходе — готовые к симуляции 3D-ассеты из одной картинки.
https://arxiv.org/abs/2605.05163
Большинство современных 3D-генераторов делают "пустые оболочки": красивые снаружи, но бесполезные для роботов или игровых движков — их нельзя схватить, открыть или сломать. PhysForge решает это двухэтапным пайплайном.
Сначала VLM строит "Иерархический физический чертёж" объекта: разбивает его на части, определяет материалы, типы сочленений (revolute, prismatic) и функции каждой детали. Потом диффузионная модель "кует" геометрию вместе с кинематическими параметрами через механизм KineVoxel Injection — параметры суставов буквально закодированы в специальные воксели и генерируются совместно с формой.
Для обучения собрали PhysDB — 150k объектов с четырёхуровневой аннотацией: от реального размера до атомарных affordances (pushable, graspable).
На выходе — готовые к симуляции 3D-ассеты из одной картинки.
https://arxiv.org/abs/2605.05163
OpenAI открыла новый сетевой протокол для суперкомпьютеров — MRC (Multipath Reliable Connection). Он разработан специально для масштабных кластеров, на которых обучаются большие AI-модели.
Главная проблема при обучении GPT-подобных моделей — сеть между тысячами GPU должна работать без сбоев. Один упавший пакет данных может тормозить весь кластер. MRC решает это через многопутевую передачу данных: трафик идёт сразу по нескольким маршрутам, что повышает надёжность и скорость.
Протокол передан в открытый доступ через организацию OCP (Open Compute Project), то есть им смогут воспользоваться другие компании и исследователи.
Для рядовых пользователей это означает, что будущие модели OpenAI будут обучаться быстрее и стабильнее — а значит, обновления выйдут раньше.
https://openai.com/index/mrc-supercomputer-networking
Главная проблема при обучении GPT-подобных моделей — сеть между тысячами GPU должна работать без сбоев. Один упавший пакет данных может тормозить весь кластер. MRC решает это через многопутевую передачу данных: трафик идёт сразу по нескольким маршрутам, что повышает надёжность и скорость.
Протокол передан в открытый доступ через организацию OCP (Open Compute Project), то есть им смогут воспользоваться другие компании и исследователи.
Для рядовых пользователей это означает, что будущие модели OpenAI будут обучаться быстрее и стабильнее — а значит, обновления выйдут раньше.
https://openai.com/index/mrc-supercomputer-networking
OpenAI
Supercomputer networking to accelerate large scale AI training
OpenAI introduces MRC (Multipath Reliable Connection), a new supercomputer networking protocol released via OCP to improve resilience and performance in large-scale AI training clusters.