Nvidia Tech запускает ACE Game Agent SDK для AI-компаньонов в играх

На Unreal Fest 2026 NVIDIA представила ACE Game Agent SDK Beta — открытый C/C++ фреймворк для создания умных NPC прямо на устройстве пользователя, без облака.

Что внутри: три API — Agent (автономные многошаговые решения), Chat (прямое управление инференсом) и RAG (поиск по базам знаний). Уже работает в реальных играх: в PUBG есть AI-напарник Ally с голосовым управлением, в Total War: PHARAOH — советник-фараон с доступом к 1200+ таблицам игровых данных.

Для Unreal Engine 5 вышел набор плагинов: распознавание речи (ASR), малая языковая модель Qwen 3.5 4B и TTS Chatterbox Turbo — всё работает локально на RTX без задержек облака. Плюс новый плагин DLSS 4.5 с поддержкой Multi Frame Generation 6X.

Вебинар по теме — 30 июня.

https://developer.nvidia.com/blog/build-on-device-ai-companions-with-the-nvidia-ace-game-agent-sdk-and-unreal-engine-5-plugins/

Робот учится как ребёнок — сначала играет, потом работает (by UC Berkeley)

Большинство роботов учатся только когда им дают задачу. А что если дать роботу "поиграть" до получения инструкций — как дети осваивают мир до школы?

Авторы предлагают RATS (Robotics Agent Teams) — мультиагентную систему, где робот в фазе "игры" сам придумывает задачи, пишет код-политики (Code-as-Policy), проверяет результат, диагностирует ошибки и складывает удачные программы в библиотеку навыков. Задачи выбираются по принципу "Goldilocks": новые, но достижимые.

После игры накопленная библиотека кода подключается к любому агенту без дообучения модели.

Результат: +20.6% на LIBERO-PRO, +17% на MolmoSpaces, а навыки переносятся в другие среды (+8.9% на RoboSuite).

https://arxiv.org/abs/2606.19419

VLM смотрит видео и «думает в 3D» через инструменты и память

Проблема: языковые модели обучены на плоских 2D картинках, а реальный мир — 3D и динамический. Один кадр — это лишь частичная проекция сцены.

S-Agent решает это через три уровня: (1) детекция объектов в 2D, (2) подъём в 3D через метрическую глубину и реконструкцию точечных облаков, (3) агрегация в пространственные факты — расстояния, ориентации, отношения. VLM при этом выступает только планировщиком — решает, что измерить, а инструменты дают конкретные числа.

Плюс два вида памяти: Scene Memory отслеживает объекты между кадрами, Agent Memory хранит историю рассуждений.

Результат: zero-shot режим улучшает GPT-4 на 4.5% на MMSI-Bench. Fine-tuned Qwen3-VL-8B прибавляет 10.5% и догоняет GPT-4 и Gemini Pro.

https://arxiv.org/abs/2606.20515

OmniAgent: модель сама решает, куда "смотреть" в видео (by Qwen)

Пассивные мультимодальные модели тупо обрабатывают все кадры подряд — и на часовом видео это вычислительный кошмар. Qwen предлагают другой подход: пусть модель сама активно исследует видео, как человек.

OmniAgent работает по циклу Observation-Thought-Action: смотрит фрагмент, формирует текстовое резюме в память, решает что смотреть дальше. Ключевая фишка — сложность рассуждений не зависит от длины видео, только от сложности запроса.

Обучение двухэтапное: сначала SFT на синтетических траекториях, потом RL с новым алгоритмом TAURA — он решает проблему "размытия" кредита в многоходовых цепочках, направляя награду на действительно важные повороты.

Результат: 7B модель обходит Qwen2.5-VL-72B на LVBench (50.5% vs 47.3%), используя на 73% меньше кадров. Плюс test-time scaling работает: больше шагов = лучше ответ.

https://arxiv.org/abs/2606.19341

OpenAI помогает врачам диагностировать редкие генетические болезни у детей.

Исследователи применили reasoning-модель OpenAI для анализа сложных медицинских случаев — и получили 18 новых диагнозов в случаях, которые раньше не удавалось разгадать. Речь идёт о редких генетических заболеваниях у детей, где каждый поставленный диагноз буквально меняет жизнь семьи.

Для многих пациентов с редкими болезнями путь к диагнозу занимает годы. ИИ способен анализировать огромные массивы медицинской литературы и находить паттерны, которые человек может упустить. Это не замена врачу, но мощный инструмент поддержки принятия решений.

Пока это исследовательский проект, но результаты обнадёживают: ИИ уже сейчас помогает там, где медицина буксовала годами.

https://openai.com/index/diagnose-rare-childhood-diseases

Nvidia Tech: как ускорить обучение трансформеров с помощью низкой точности

Nvidia опубликовала техническое руководство по оптимизации трансформерных моделей с форматами FP8 и NVFP4 на GPU Hopper и Blackwell.

Суть: большую часть времени обучения занимают матричные умножения (GEMM). Низкая точность ускоряет их, но не всегда — результат зависит от размера конкретного слоя.

На модели CodonFM 5B замерили реальный прирост: крупные GEMM (MLP Down) дают до 1.66x ускорения NVFP4 над MXFP8, а мелкие (Attention Output) — лишь 1.05x. Теоретический максимум железа — 3.48x, но квантизация и блочное масштабирование съедают большую часть выигрыша.

Nvidia выпустила инструмент микробенчмаркинга: задаёшь конфиг модели и батч — получаешь точные GEMM-формы и сравнение по всем форматам точности до старта дорогого обучения.

Для команд, тренирующих большие модели, это способ не гадать, а измерить заранее.

https://developer.nvidia.com/blog/how-to-optimize-transformer-based-models-for-low-precision-training/

Nvidia Tech — победа на всех фронтах в MLPerf Training 6.0

NVIDIA выиграла каждый бенчмарк в свежем раунде MLPerf Training 6.0 — главного отраслевого теста производительности AI-обучения. Это единственная платформа, подавшая результаты по всем задачам, включая новые.

Что впечатляет: модель DeepSeek-V3 на 671 млрд параметров обучили за 2 минуты на кластере из 8192 GPU Blackwell Ultra. Llama 3.1 405B — за 7 минут. При этом скорость обучения DeepSeek-V3 выросла на 30% за три месяца — без смены железа, только за счёт обновлений ПО.

Ключевые улучшения: полная поддержка CUDA-графов для MoE-моделей, новые методы слияния ядер через CuTe DSL и MXFP8 для блоков внимания.

Почему важно: результаты получены в реальных облачных дата-центрах, а не в лабораторных условиях. Это означает, что компании, обучающие большие модели, уже сейчас могут получить эту скорость в продакшене.

https://developer.nvidia.com/blog/nvidia-blackwell-tops-mlperf-training-6-0-with-industry-leading-scale-and-performance/

0.2B модель делает inpainting на уровне 10B FLUX.1-Fill-Dev — и в 15 раз быстрее

Исследователи из VIVO AI Lab предложили Moebius — ультралёгкую модель для заполнения пропущенных областей на изображениях (inpainting). Всего 226M параметров против 11.9B у FLUX.1-Fill-Dev, а качество — сопоставимое или лучше.

Как это возможно? Два ключевых трюка:

1. Новый блок LλMI: вместо тяжёлых attention-механизмов — Local-λ и Interactive-λ модули, которые сворачивают локальный контекст и глобальные семантические признаки в компактные матрицы фиксированного размера. Это позволяет делать аналог cross-attention без его вычислительной цены.

2. Адаптивная дистилляция от учителя (PixelHacker, 862M): динамически балансирует несколько loss-функций, компенсируя потерю ёмкости при сжатии.

Итог: 26 мс на шаг, 0.154 TFLOPs — против 8 секунд у FLUX.1-Fill-Dev при сопоставимом FID на Places2 и CelebA-HQ.

https://arxiv.org/abs/2606.19195

Награда была в твоих данных всё это время (by Meta AI)

Почему диффузионные модели не учатся реализму из данных, но потом "вспоминают" его через RL? Оказывается, это баг flow matching, а не нехватка данных.

Авторы доказывают: FSM-лосс обучается на интерполяционных маргиналах qt, а сэмплирование идёт по rollout-траекториям pt. Ошибки накапливаются, и модель уходит в зоны низкой вероятности — реализм теряется.

Решение — Discriminator-Guided RL (DRL): обучаем дискриминатор различать данные и модель в пространстве SSL-эмбеддингов (без preference-данных!), его логит — и есть награда для RL. SSL-пространство ограничивает коррекции семантически значимыми осями.

Результат: DRL улучшает SiT, REPA, RAE по Fréchet distance, а preference-RL поверх DRL даёт ещё лучший Pareto-фронт.

https://arxiv.org/abs/2606.19162

Представления без допущений: учимся из разницы кадров

Чем меньше жёстких предположений заложено в метод обучения — тем лучше он работает при масштабировании. Это давно известно, но как тогда вообще учиться, если убрать все inductive biases?

Авторы предлагают TDV (Temporal Difference in Vision): единственное допущение — причинность. Следующий кадр предсказуем из предыдущего. Архитектура проста: encoder текущего кадра + motion encoder (на входе — попиксельная разность кадров) → предсказание представления следующего кадра. Таргет даёт EMA-учитель (как в DINO). Разность соседних кадров низкоранговая, поэтому motion encoder вынужден выучить компактные абстрактные признаки движения, а не копировать сцену целиком.

Результат: TDV получает dense spatial features на уровне DINO и iBOT, не используя аугментации, маскирование или негативные пары.

https://arxiv.org/abs/2606.15956

PyTorch ускорил автотюнинг ядер с помощью LLM

Команда PyTorch представила LLM-guided autotuner для Helion — DSL-языка для написания ML-ядер под разное железо. Раньше подбор оптимальных конфигураций (размеры тайлов, блоков, warp'ов) занимал сотни циклов компиляции и бенчмаркинга.

Новый подход: LLM анализирует ядро, железо и лучшие конфиги — и сразу предлагает перспективные варианты. Итог: в 10 раз меньше проверяемых конфигураций и в 6,7 раза меньше времени при том же качестве, что у прежнего метода LFBO (геометрическое среднее 1.009X).

Если LLM промахивается больше чем на 5%, включается гибридный режим: LLM даёт стартовую точку, LFBO доводит до ума. Это всё равно втрое дешевле полного LFBO-поиска.

Важно: результат не зависит от конкретной модели — Claude Opus, GPT и Sonnet показали схожие результаты. Автотюнинг из минут превращается в секунды.

https://pytorch.org/blog/from-minutes-to-seconds-llm-guided-autotuning-for-helion-kernels/

Современные видео-генераторы не умеют "помнить" мир за кадром

Представьте: кот прыгает на кровать, камера отворачивается, потом возвращается — и кот снова на полу. Или раздваивается. Или исчезает. Авторы поставили простой вопрос: продолжает ли мир существовать, когда камера не смотрит?

Для проверки создан WRBench — бенчмарк на 9600 видео от 23 генераторов. Идея: камера отворачивается во время события, потом возвращается. Если мировое состояние сохраняется независимо от наблюдения — генератор ведёт себя как настоящая world model.

Результат: ни один из протестированных генераторов не справляется. Причём масштаб модели не предсказывает качество этой способности. Проблема не в пикселях — нужна "what-memory", которая записывает скрытые изменения, и обучающий сигнал на сохранение конечного состояния события.

Луна вращается вокруг Земли, даже когда никто не смотрит. Современные видео-модели об этом не знают.

https://arxiv.org/abs/2606.20545

Looped World Models: один трансформер крутится в цикле вместо глубокой сети

Классические world models для RL страдают от двух проблем: ошибки накапливаются на длинных горизонтах, а масштабирование глубины сети дорого обходится при инференсе. LoopWM предлагает элегантное решение — взять один трансформерный блок с общими весами и применять его итеративно, как цикл.

Идея проста: физика сама по себе итеративна (один и тот же закон применяется снова и снова), так почему бы не отразить это в архитектуре? Один блок fθ прогоняется N раз вместо N разных блоков. Для стабильности авторы используют спектрально ограниченную параметризацию — собственные значения матрицы перехода зажаты в (0,1), что гарантирует устойчивость при любой длине роллаута.

Бонус: адаптивная глубина. Простые переходы (свободный полёт) требуют меньше итераций, сложные (столкновения) — больше. Параметров в разы меньше, а качество предсказаний не хуже.

3B параметров против 671B — кто победит в математике?

VibeThinker-3B показывает: верификуемые рассуждения (математика, код) — это "parameter-dense" задачи. Не нужно помнить весь интернет, нужно уметь искать решение в структурированном пространстве. И это отлично сжимается в компактную модель.

Результат: 3B модель набирает 94.3 на AIME26 — наравне с DeepSeek V3.2 (671B) и Kimi K2.5 (1T). На LeetCode — 96.1% acceptance rate, сравнимо с GPT-5.

Как достигли: двухэтапный SFT (сначала широкое покрытие, потом хардкорный reasoning), MGPO reinforcement learning на нескольких доменах, Long2Short RL для сокращения лишних токенов, офлайн self-distillation и Instruct RL.

Авторы вводят Parametric Compression-Coverage Hypothesis: reasoning — это про компрессию, знания — про покрытие. Поэтому маленькие модели могут быть frontier в первом, но отстают во втором (GPQA-Diamond).

Вывод: компактные модели — не компромисс ради экономии, а отдельный перспективный путь развития.

https://arxiv.org/abs/2606.16140

Модель думает и одновременно тычет пальцем в картинку (UCLA)

Когда VLM решает визуальную задачу текстом, она может написать "красная машина у входа" — но не показать, где именно. Рассуждение звучит убедительно, но не привязано к изображению.

Авторы предлагают visually grounded thinking: во время цепочки рассуждений модель вставляет координатные теги (bounding box или точку) прямо в текст мысли. Типа: "There is a <obj> black laptop | [box] </obj> on the table..."

Для обучения — пайплайн синтеза данных: VLM генерирует reasoning traces, LLM извлекает ключевые объекты, SAM3-агент находит их маски. Дальше SFT + RL с reward за качество grounding.

Результат: 4B-модель с grounded thinking догоняет 27B на spatial reasoning. Точки лучше работают для счёта, боксы — для пространственных отношений.

https://arxiv.org/abs/2606.16122

Cisco научила ИИ-агента самому чинить LLM-пайплайны — не только промпты, но и архитектуру

(by Cisco Foundation AI)

Обычные оптимизаторы промптов (типа DSPy или GEPA) работают внутри фиксированной структуры пайплайна. Но что если проблема не в промпте, а в самой цепочке шагов?

FAPO — агент на базе Claude Code, который сначала пробует подправить промпты, а если это не помогает — анализирует где именно пайплайн ломается и меняет его структуру. Агент записывает промежуточные выходы каждого шага, локализует причину ошибки (плохой retrieval? форматирование? логика?), предлагает одно точечное изменение, проверяет его через reviewer-агента и только потом применяет.

Результат на 6 бенчмарках (QA, math, fact verification): +14.1 pp над GEPA в среднем, победа в 15 из 18 сравнений. На HoVer и IFBench — вообще +35 pp, там агент сам удлинил retrieval-цепочку.

https://arxiv.org/abs/2606.19605

(by NVIDIA) Робот сам себя обучает — без людей, без сброса вручную, без настройки наград

NVIDIA представила ENPIRE: фреймворк, где LLM-агенты полностью автоматизируют цикл улучшения робополитик в реальном мире. Идея: один раз с помощью человека настраиваешь среду (безопасные зоны, авторесет, автоматическую верификацию успеха), а дальше агенты сами пишут код обучения, запускают эксперименты на роботах и итеративно улучшают политику — без какого-либо вмешательства человека.

Для масштабирования: N агентов на N роботах тестируют гипотезы параллельно и обмениваются удачными рецептами через Git. Результат — вставка пина в отверстие 4мм доходит до 100% успеха быстрее, чем human-in-the-loop baseline.

Авторы вводят новые метрики эффективности: MRU (утилизация робота) и MTU (токены на успех). Ни один frontier-агент пока не насыщает ресурсы полностью — есть куда расти.

https://arxiv.org/abs/2606.19980

LLM-агенты ломаются, когда инструменты врут или прячутся

Представь: у агента 1665 инструментов, он видит лишь малую часть за раз, часть из них возвращает мусор или вообще недоступна — и при этом нужно решить задачу за ~25 шагов. Именно так устроен PlanBench-XL — новый бенчмарк от UIUC для оценки LLM-агентов в реалистичных условиях.

Ключевая идея: агент должен планировать в обе стороны — от известных данных вперёд и от желаемого результата назад, нащупывая промежуточные подцели. При этом часть инструментов намеренно сломана или подменена.

Результат: даже GPT-5.4 падает до ~30% при одном рабочем пути и до ~10%, если путь длинный. Большинство моделей не дотягивают до 2/3 точности даже в базовом режиме.

Вывод: текущие агенты плохо умеют адаптироваться, когда план рушится на ходу.

https://arxiv.org/abs/2606.22388

Качество данных важнее их количества — даже для обучения терминальных агентов

Обучить сильного CLI-агента сложно: нужны задачи с многошаговым взаимодействием с реальной средой и надёжной проверкой. Существующие подходы просто скейлят источники задач, не думая об их качестве.

CLI-Universe предлагает другой путь: генерировать задачи не из готовых артефактов, а "изнутри" — через структурированную таксономию (домен × тип навыка × capability × инженерный паттерн), а затем дорабатывать каждую задачу через deep research по реальным репозиториям и документации.

Фишка — трёхступенчатая верификация: тест-агент и solution-агент работают независимо, затем hint-conditional filtering убирает тривиальные задачи, а fail-to-pass check подтверждает реальный переход из нерешённого состояния в решённое. В итоге отсеивается ~2/3 кандидатов.

Результат: файнтюнинг Qwen3-32B всего на 6k траекториях даёт 33.4% на Terminal-Bench 2 — лучше всех open-source моделей до 32B и многих моделей на порядок крупнее.

Alignment — это не опция, а условие масштабирования в робототехнике

Qwen-RobotManip — новая VLA-модель от Alibaba/Qwen, которая решает ключевую проблему: данные с разных роботов мешают друг другу при совместном обучении, а не помогают. Причина — несовместимые системы координат, морфологии и форматы действий.

Авторы предлагают alignment-first подход: унифицированное представление действий с бинарными масками под разные морфологии, дельта-позы в системе координат камеры (визуально похожие движения = численно близкие), и адаптацию политики через историю эпизода как неявный идентификатор робота.

Результат: 38 100 часов данных из открытых источников + конвертация egocentric-видео рук человека в траектории для 15 платформ. Модель бьёт GR00T-N1.7 и π0.5 на OOD-бенчмарках и занимает 1-е место на RoboChallenge Table30-v1 с +20% к ближайшему конкуренту.

https://arxiv.org/abs/2606.17846

Nvidia Tech рассказала, как телеком-операторы строят автономные сети с помощью агентного ИИ.

Большинство телекомов сегодня застряли на уровне автоматизации 2–3 из 5 по шкале TM Forum — они выполняют заранее прописанные сценарии, но не принимают решения самостоятельно. Nvidia предлагает платформу для перехода на уровни 4–5: агенты сами анализируют сеть, строят планы и координируют действия между доменами.

В основе — стек из нескольких технологий Nvidia: NeMo для синтетических данных, Nemotron для рассуждений, NV-Tesseract для анализа телеметрии, Agent Toolkit для оркестрации и OpenShell для изолированного безопасного запуска агентов.

Практически это выглядит так: агент замечает аномалию в SR-MPLS сети, сам исследует причину, предлагает план устранения и применяет его под контролем политик — без участия человека.

Для телекомов это шаг от автоматизации к настоящей автономии сети.

https://developer.nvidia.com/blog/how-telcos-build-autonomous-networks-with-agentic-ai/