Интерактивный мир в реальном времени: как научить видеомодель помнить, куда ты уже ходил
DreamX-World 1.0 от AMAP-ML — это интерактивная world model, которая умеет не просто генерировать видео, а симулировать мир с управлением камерой, событиями и долгосрочной памятью сцены.
Три главные проблемы, которые они решили:
1. Камера без дрейфа — E-PRoPE считает проективное внимание на уменьшенных токенах, -30% к латентности без потери точности траектории.
2. Память сцены — если ты ушёл из комнаты и вернулся, модель должна помнить, как она выглядела. Геометрический retrieval + residual recycling решают это.
3. Стриминг в реальном времени — DMD-дистилляция + RL-файнтюнинг + асинхронный пайплайн дают до 16 FPS на 8x RTX 5090.
Данные: смесь Unreal Engine 5 (с точными позами камеры), игровых записей и реального видео с восстановленными позами.
https://arxiv.org/abs/2606.16993
DreamX-World 1.0 от AMAP-ML — это интерактивная world model, которая умеет не просто генерировать видео, а симулировать мир с управлением камерой, событиями и долгосрочной памятью сцены.
Три главные проблемы, которые они решили:
1. Камера без дрейфа — E-PRoPE считает проективное внимание на уменьшенных токенах, -30% к латентности без потери точности траектории.
2. Память сцены — если ты ушёл из комнаты и вернулся, модель должна помнить, как она выглядела. Геометрический retrieval + residual recycling решают это.
3. Стриминг в реальном времени — DMD-дистилляция + RL-файнтюнинг + асинхронный пайплайн дают до 16 FPS на 8x RTX 5090.
Данные: смесь Unreal Engine 5 (с точными позами камеры), игровых записей и реального видео с восстановленными позами.
https://arxiv.org/abs/2606.16993
Робот видит 3D мир — почему же его политики обучают в 2D?
(by ETH Zürich)
Большинство современных VLA-моделей для роботов работают с плоскими RGB-изображениями, игнорируя глубину и геометрию сцены. GAM (Geometric Action Model) предлагает другой путь: взять готовую Geometric Foundation Model (типа VGGT), разрезать её пополам и вставить между частями причинный трансформер.
Как это работает: первая половина GFM кодирует наблюдение в геометрически богатые токены, вставленный трансформер предсказывает будущее состояние сцены в латентном пространстве, а вторая половина GFM декодирует и геометрию, и действия робота одновременно.
Результат: GAM в 55 раз быстрее аналогов типа Video WAM, использует меньше параметров, и особенно хорош при смене камеры (+9.7%) — именно там нужно настоящее 3D-понимание.
https://arxiv.org/abs/2606.17046
(by ETH Zürich)
Большинство современных VLA-моделей для роботов работают с плоскими RGB-изображениями, игнорируя глубину и геометрию сцены. GAM (Geometric Action Model) предлагает другой путь: взять готовую Geometric Foundation Model (типа VGGT), разрезать её пополам и вставить между частями причинный трансформер.
Как это работает: первая половина GFM кодирует наблюдение в геометрически богатые токены, вставленный трансформер предсказывает будущее состояние сцены в латентном пространстве, а вторая половина GFM декодирует и геометрию, и действия робота одновременно.
Результат: GAM в 55 раз быстрее аналогов типа Video WAM, использует меньше параметров, и особенно хорош при смене камеры (+9.7%) — именно там нужно настоящее 3D-понимание.
https://arxiv.org/abs/2606.17046
Nvidia Tech обновила BioNeMo Recipes — набор рецептов для дообучения биологических ИИ-моделей с помощью метода LoRA.
Суть: вместо полного дообучения многомиллиардных моделей (ESM2-3B для белков, Evo2-1B для ДНК) теперь достаточно обучать лишь ~1% параметров. Замороженная основа модели остаётся нетронутой, обновляются только небольшие адаптерные матрицы.
Результаты впечатляют: ESM2-3B с LoRA достигает точности предсказания вторичной структуры белка на уровне лучших конкурентов (84.8% Q3), а Evo2-1B поднимает точность классификации сайтов сплайсинга ДНК с 52.3% до 96.6% — и всё это на одной рабочей GPU RTX 6000 Blackwell менее чем за час.
Для исследователей в биоинформатике это означает: задачи, ранее требовавшие кластеров, теперь решаются на рабочей станции. Код открыт в репозитории BioNeMo Recipes.
https://developer.nvidia.com/blog/fine-tuning-biological-foundation-models-with-lora-using-nvidia-bionemo-recipes/
Суть: вместо полного дообучения многомиллиардных моделей (ESM2-3B для белков, Evo2-1B для ДНК) теперь достаточно обучать лишь ~1% параметров. Замороженная основа модели остаётся нетронутой, обновляются только небольшие адаптерные матрицы.
Результаты впечатляют: ESM2-3B с LoRA достигает точности предсказания вторичной структуры белка на уровне лучших конкурентов (84.8% Q3), а Evo2-1B поднимает точность классификации сайтов сплайсинга ДНК с 52.3% до 96.6% — и всё это на одной рабочей GPU RTX 6000 Blackwell менее чем за час.
Для исследователей в биоинформатике это означает: задачи, ранее требовавшие кластеров, теперь решаются на рабочей станции. Код открыт в репозитории BioNeMo Recipes.
https://developer.nvidia.com/blog/fine-tuning-biological-foundation-models-with-lora-using-nvidia-bionemo-recipes/
NVIDIA Technical Blog
Fine-Tuning Biological Foundation Models with LoRA Using NVIDIA BioNeMo Recipes
Foundation models are reshaping computational biology. Pretrained on massive corpora of protein or genomic sequences, models such as ESM2 (a protein language model) and Evo 2 (a DNA language model)…
Nvidia Tech выпустила продвинутые фьюжн-ядра для обучения MoE-моделей
Nvidia представила кастомные fused MLP-ядра для плотных и MoE-моделей, написанные на CuTe DSL. Они устраняют три главных узких места при обучении: лишние операции чтения/записи при активациях, синхронизацию CPU-GPU и накладные расходы квантизации.
Что конкретно изменилось: ядра объединяют GEMM с активациями (SwiGLU, GeGLU, sReLU), квантизацией (MXFP8, NVFP4) и транспонированием в единый проход. Токены на эксперт теперь отслеживаются прямо в памяти GPU — CPU больше не нужен для синхронизации, что открывает путь к полноитерационным CUDA Graphs.
Результат: ускорение на уровне ядер в 1.3–2x, плюс 8% прироста сквозной производительности для DeepSeek-V3 и целых 93% для GPT-OSS пре-тренинга.
Ядра уже доступны через cuDNN Frontend, Transformer Engine и Megatron-Core.
https://developer.nvidia.com/blog/boosting-moe-training-throughput-with-advanced-fusion-kernels/
Nvidia представила кастомные fused MLP-ядра для плотных и MoE-моделей, написанные на CuTe DSL. Они устраняют три главных узких места при обучении: лишние операции чтения/записи при активациях, синхронизацию CPU-GPU и накладные расходы квантизации.
Что конкретно изменилось: ядра объединяют GEMM с активациями (SwiGLU, GeGLU, sReLU), квантизацией (MXFP8, NVFP4) и транспонированием в единый проход. Токены на эксперт теперь отслеживаются прямо в памяти GPU — CPU больше не нужен для синхронизации, что открывает путь к полноитерационным CUDA Graphs.
Результат: ускорение на уровне ядер в 1.3–2x, плюс 8% прироста сквозной производительности для DeepSeek-V3 и целых 93% для GPT-OSS пре-тренинга.
Ядра уже доступны через cuDNN Frontend, Transformer Engine и Megatron-Core.
https://developer.nvidia.com/blog/boosting-moe-training-throughput-with-advanced-fusion-kernels/
NVIDIA Technical Blog
Boosting MoE Training Throughput with Advanced Fusion Kernels
Mixture-of-experts (MoE) models have quickly become a foundational component of modern, large-scale AI systems. They are widely adopted because they enable substantially larger model capacity while…
Nvidia Tech — новый взгляд на роботов: WAM вместо VLA
В мире робототехнического AI произошёл тихий переворот. Если год назад все говорили про VLA-модели (Vision-Language-Action), то теперь доминирует новый термин — WAM, World-Action Model.
В чём разница? VLA-модели учат роботов действовать, опираясь на языковые модели. WAM идёт другим путём: за основу берётся видео-модель или модель мира, которая уже понимает, как сцена меняется во времени. Из этого и рождается поведение робота.
Почему это важно? VLA упёрлись в "стену заземления" — модель понимает язык, но плохо переводит слова в реальные движения. WAM потенциально сокращает этот разрыв, так как видеобэкбон уже знает физику сцены.
NVIDIA активно развивает это направление через платформу Cosmos. Для пользователей это означает роботов, которые лучше обобщают задачи и адаптируются к новым условиям без огромных объёмов разметки.
Главный вопрос пока открыт: реальный прорыв или очередной хайп-цикл?
https://developer.nvidia.com/blog/pretrained-to-imagine-fine-tuned-to-act-the-rise-of-world-action-models/
В мире робототехнического AI произошёл тихий переворот. Если год назад все говорили про VLA-модели (Vision-Language-Action), то теперь доминирует новый термин — WAM, World-Action Model.
В чём разница? VLA-модели учат роботов действовать, опираясь на языковые модели. WAM идёт другим путём: за основу берётся видео-модель или модель мира, которая уже понимает, как сцена меняется во времени. Из этого и рождается поведение робота.
Почему это важно? VLA упёрлись в "стену заземления" — модель понимает язык, но плохо переводит слова в реальные движения. WAM потенциально сокращает этот разрыв, так как видеобэкбон уже знает физику сцены.
NVIDIA активно развивает это направление через платформу Cosmos. Для пользователей это означает роботов, которые лучше обобщают задачи и адаптируются к новым условиям без огромных объёмов разметки.
Главный вопрос пока открыт: реальный прорыв или очередной хайп-цикл?
https://developer.nvidia.com/blog/pretrained-to-imagine-fine-tuned-to-act-the-rise-of-world-action-models/
NVIDIA Technical Blog
Pretrained to Imagine, Fine-Tuned to Act: The Rise of World-Action Models | NVIDIA Technical Blog
Quick glossary for readers new to VLA/WAM terminology VLA Vision-Language-Action model: a robot policy that starts from a pretrained VLM backbone and adapts it to generate actions from visual…
Триллион параметров без обучения с нуля — это реально?
inclusionAI выпустила семейство моделей Ling-2.6 и Ring-2.6 масштаба до 1T параметров. Главная фишка: вместо дорогого обучения с нуля они взяли уже обученный Ling-2.0 и сделали "архитектурную пересадку" — заменили стандартный GQA на гибрид Lightning Attention + MLA в соотношении 7:1. Lightning Attention снижает сложность с O(n²) до O(n), MLA сжимает KV-кэш. Результат: при контексте 256K+ токенов нагрузка на attention упала с 60%+ FLOPs до приемлемого уровня.
Для постобучения придумали Evo-CoT (убирает лишние шаги рассуждения) и LPO (оптимизация на уровне смысловых единиц, а не токенов). Итог — 4× выше token efficiency по сравнению с предыдущим поколением.
Все три модели открыты. Ling-2.6-1T на Intelligence Index сравнима с GPT-5 в non-reasoning режиме, используя в разы меньше токенов.
https://arxiv.org/abs/2606.15079
inclusionAI выпустила семейство моделей Ling-2.6 и Ring-2.6 масштаба до 1T параметров. Главная фишка: вместо дорогого обучения с нуля они взяли уже обученный Ling-2.0 и сделали "архитектурную пересадку" — заменили стандартный GQA на гибрид Lightning Attention + MLA в соотношении 7:1. Lightning Attention снижает сложность с O(n²) до O(n), MLA сжимает KV-кэш. Результат: при контексте 256K+ токенов нагрузка на attention упала с 60%+ FLOPs до приемлемого уровня.
Для постобучения придумали Evo-CoT (убирает лишние шаги рассуждения) и LPO (оптимизация на уровне смысловых единиц, а не токенов). Итог — 4× выше token efficiency по сравнению с предыдущим поколением.
Все три модели открыты. Ling-2.6-1T на Intelligence Index сравнима с GPT-5 в non-reasoning режиме, используя в разы меньше токенов.
https://arxiv.org/abs/2606.15079
ZPPO от NVIDIA: учитель в промпте, а не в градиентах
Маленькие модели (0.8B–2B) плохо учатся у больших через дистилляцию — они просто зазубривают ответы учителя и теряют обобщение за пределами тренировочных данных. RL тоже не спасает: на сложных вопросах студент не может решить ничего, получает нулевой сигнал и не учится именно там, где нужно.
ZPPO (Zone of Proximal Policy Optimization, by NVIDIA) решает это элегантно: учитель не трогает градиенты — он только попадает в промпт. Для сложных вопросов создаётся BCQ-промпт: правильный ответ учителя + неверный ответ студента как анонимные кандидаты. Студент сам генерирует ответ, градиент остаётся on-policy. Параллельно NCQ собирает все неверные попытки студента и явно показывает ему: "всё это неправильно — попробуй ещё раз".
Результат: 0.8B модель +9.3pp на VLM-бенчмарках против лучшего дистилляционного baseline. Дистилляция при этом ещё и ухудшает обобщение за пределами тренировочных данных, ZPPO — нет.
https://arxiv.org/abs/2606.18216
Маленькие модели (0.8B–2B) плохо учатся у больших через дистилляцию — они просто зазубривают ответы учителя и теряют обобщение за пределами тренировочных данных. RL тоже не спасает: на сложных вопросах студент не может решить ничего, получает нулевой сигнал и не учится именно там, где нужно.
ZPPO (Zone of Proximal Policy Optimization, by NVIDIA) решает это элегантно: учитель не трогает градиенты — он только попадает в промпт. Для сложных вопросов создаётся BCQ-промпт: правильный ответ учителя + неверный ответ студента как анонимные кандидаты. Студент сам генерирует ответ, градиент остаётся on-policy. Параллельно NCQ собирает все неверные попытки студента и явно показывает ему: "всё это неправильно — попробуй ещё раз".
Результат: 0.8B модель +9.3pp на VLM-бенчмарках против лучшего дистилляционного baseline. Дистилляция при этом ещё и ухудшает обобщение за пределами тренировочных данных, ZPPO — нет.
https://arxiv.org/abs/2606.18216
Немотрон весит 550 миллиардов, но думает быстрее конкурентов в 6 раз (by NVIDIA)
NVIDIA выкатила Nemotron 3 Ultra — открытую MoE-модель на 550B параметров (55B активных). Главная фишка: гибридная архитектура Mamba + Attention вместо чистого трансформера. Mamba-слои почти не используют KV-кэш, поэтому при длинных контекстах (8K вход / 64K выход) модель выдаёт в 5.9× больше токенов в секунду, чем GLM-5.1-754B, при сопоставимом качестве.
Ещё интересное: обучение велось в NVFP4 (4-бит с блочной квантизацией) — самый крупный прецедент стабильного NVFP4-претрейнинга. Потери по сравнению с BF16 — менее 0.4%. Плюс Multi-Token Prediction для ускорения инференса через speculative decoding.
Постобучение: SFT → RLVR по агентным/кодовым/чат-задачам → дистилляция из 10+ специализированных teacher-моделей. Всё открыто: веса, рецепты, данные, RL-среды.
https://arxiv.org/abs/2606.15007
NVIDIA выкатила Nemotron 3 Ultra — открытую MoE-модель на 550B параметров (55B активных). Главная фишка: гибридная архитектура Mamba + Attention вместо чистого трансформера. Mamba-слои почти не используют KV-кэш, поэтому при длинных контекстах (8K вход / 64K выход) модель выдаёт в 5.9× больше токенов в секунду, чем GLM-5.1-754B, при сопоставимом качестве.
Ещё интересное: обучение велось в NVFP4 (4-бит с блочной квантизацией) — самый крупный прецедент стабильного NVFP4-претрейнинга. Потери по сравнению с BF16 — менее 0.4%. Плюс Multi-Token Prediction для ускорения инференса через speculative decoding.
Постобучение: SFT → RLVR по агентным/кодовым/чат-задачам → дистилляция из 10+ специализированных teacher-моделей. Всё открыто: веса, рецепты, данные, RL-среды.
https://arxiv.org/abs/2606.15007
OpenAI представила Deployment Simulation — новый метод предсказания поведения AI-моделей до их официального релиза.
Суть проста: вместо синтетических тестов система использует реальные данные разговоров пользователей, чтобы смоделировать, как модель поведёт себя в реальных условиях. Это позволяет заранее выявлять проблемы с безопасностью и точнее оценивать риски.
Почему это важно? Раньше разрыв между тестовой средой и реальным использованием был огромным — модели вели себя иначе, чем ожидалось. Теперь OpenAI может «проигрывать» сценарии на основе живых данных ещё до запуска.
Для пользователей это означает более предсказуемые и безопасные модели с меньшим количеством неприятных сюрпризов после обновлений.
https://openai.com/index/deployment-simulation
Суть проста: вместо синтетических тестов система использует реальные данные разговоров пользователей, чтобы смоделировать, как модель поведёт себя в реальных условиях. Это позволяет заранее выявлять проблемы с безопасностью и точнее оценивать риски.
Почему это важно? Раньше разрыв между тестовой средой и реальным использованием был огромным — модели вели себя иначе, чем ожидалось. Теперь OpenAI может «проигрывать» сценарии на основе живых данных ещё до запуска.
Для пользователей это означает более предсказуемые и безопасные модели с меньшим количеством неприятных сюрпризов после обновлений.
https://openai.com/index/deployment-simulation
OpenAI
Predicting model behavior before release by simulating deployment
OpenAI introduces Deployment Simulation, a method to predict AI model behavior before deployment using real conversation data to improve safety and evaluation accuracy.
Nvidia выпустила открытую библиотеку NVIDIA XR AI для создания ИИ-агентов под AR-очки и XR-устройства.
Что это такое: разработчики получают готовую основу для подключения AR/VR-гарнитур к GPU-ускоренным ИИ-сервисам. Агент видит то, что видит пользователь, понимает голосовые команды, обращается к корпоративным данным и отвечает прямо в XR-сессии.
Под капотом: модуль Cosmos для визуального понимания, Nemotron для языкового reasoning, поддержка MCP-серверов для корпоративных инструментов и NeMo Agent Toolkit для оркестрации. Архитектура модульная — можно менять модели и окружение без переписывания агента.
Кому это нужно: медицина, производство, полевой сервис. Уже сейчас Stanford и Princeton тестируют систему в исследованиях стволовых клеток, Siemens — на заводских линиях.
Доступно в публичной бете на GitHub. Можно клонировать репозиторий и запустить первого агента буквально за три шага.
https://developer.nvidia.com/blog/building-ai-agents-for-ar-glasses-and-xr-devices-with-nvidia-xr-ai/
Что это такое: разработчики получают готовую основу для подключения AR/VR-гарнитур к GPU-ускоренным ИИ-сервисам. Агент видит то, что видит пользователь, понимает голосовые команды, обращается к корпоративным данным и отвечает прямо в XR-сессии.
Под капотом: модуль Cosmos для визуального понимания, Nemotron для языкового reasoning, поддержка MCP-серверов для корпоративных инструментов и NeMo Agent Toolkit для оркестрации. Архитектура модульная — можно менять модели и окружение без переписывания агента.
Кому это нужно: медицина, производство, полевой сервис. Уже сейчас Stanford и Princeton тестируют систему в исследованиях стволовых клеток, Siemens — на заводских линиях.
Доступно в публичной бете на GitHub. Можно клонировать репозиторий и запустить первого агента буквально за три шага.
https://developer.nvidia.com/blog/building-ai-agents-for-ar-glasses-and-xr-devices-with-nvidia-xr-ai/
NVIDIA Technical Blog
Building AI Agents for AR Glasses and XR Devices with NVIDIA XR AI
Developers building for AR glasses and wearable devices face an infrastructure gap. The hardware is ready, but creating AI experiences requires integrating live camera and microphone streams…
Nvidia предлагает инструмент для создания финансовых AI-моделей
Nvidia опубликовала готовый воркфлоу Build Your Own Transaction Model — пошаговое руководство по созданию трансформерной модели для анализа финансовых транзакций.
Что внутри: GPU-ускоренная обработка данных через CUDA-X, кастомный токенизатор (12 токенов на транзакцию вместо 39 у стандартного BPE), предобучение компактной Llama-модели через NeMo AutoModel и извлечение эмбеддингов для downstream-задач.
Результат впечатляет: прирост Average Precision почти на 50% по сравнению с базовым XGBoost на датасете IBM TabFormer с 24 млн синтетических транзакций.
Почему важно: банки и финтех-компании (Stripe, Visa, Mastercard, Nubank) уже используют похожие подходы в проде. Одна модель покрывает обнаружение мошенничества, кредитный скоринг, сегментацию клиентов и персонализацию — без ручной инженерии признаков.
https://developer.nvidia.com/blog/build-your-own-transaction-foundation-model-for-financial-intelligence/
Nvidia опубликовала готовый воркфлоу Build Your Own Transaction Model — пошаговое руководство по созданию трансформерной модели для анализа финансовых транзакций.
Что внутри: GPU-ускоренная обработка данных через CUDA-X, кастомный токенизатор (12 токенов на транзакцию вместо 39 у стандартного BPE), предобучение компактной Llama-модели через NeMo AutoModel и извлечение эмбеддингов для downstream-задач.
Результат впечатляет: прирост Average Precision почти на 50% по сравнению с базовым XGBoost на датасете IBM TabFormer с 24 млн синтетических транзакций.
Почему важно: банки и финтех-компании (Stripe, Visa, Mastercard, Nubank) уже используют похожие подходы в проде. Одна модель покрывает обнаружение мошенничества, кредитный скоринг, сегментацию клиентов и персонализацию — без ручной инженерии признаков.
https://developer.nvidia.com/blog/build-your-own-transaction-foundation-model-for-financial-intelligence/
NVIDIA Technical Blog
Build Your Own Transaction Foundation Model for Financial Intelligence
Every swipe, transfer, and payment on a modern financial network encodes a pattern of human behavior. Transaction data is one of the richest signals an enterprise owns. Yet most production use cases…
Агент, который учится на своих ошибках по-настоящему
Большинство "самообучающихся" агентов просто копят память — но не умеют ею пользоваться. OPD-Evolver из NUS предлагает другое: агент должен владеть всем циклом работы с опытом — выбирать нужные воспоминания, использовать их при выполнении задач, записывать новые уроки и чистить устаревшее.
Архитектура двухпетлевая. Быстрая петля: агент взаимодействует со средой, поддерживая 4-уровневую память (траектории, советы, навыки, инструменты). Медленная петля: через on-policy дистилляцию "учитель" с привилегированным доступом к ретроспективным данным обучает студента всем четырём компетенциям одновременно.
Результат: модели на 4B и 9B параметров конкурируют с гигантами вроде Qwen3.5-397B на бенчмарках самоэволюции агентов.
https://arxiv.org/abs/2606.17628
Большинство "самообучающихся" агентов просто копят память — но не умеют ею пользоваться. OPD-Evolver из NUS предлагает другое: агент должен владеть всем циклом работы с опытом — выбирать нужные воспоминания, использовать их при выполнении задач, записывать новые уроки и чистить устаревшее.
Архитектура двухпетлевая. Быстрая петля: агент взаимодействует со средой, поддерживая 4-уровневую память (траектории, советы, навыки, инструменты). Медленная петля: через on-policy дистилляцию "учитель" с привилегированным доступом к ретроспективным данным обучает студента всем четырём компетенциям одновременно.
Результат: модели на 4B и 9B параметров конкурируют с гигантами вроде Qwen3.5-397B на бенчмарках самоэволюции агентов.
https://arxiv.org/abs/2606.17628
Один стек, чтобы управлять роботами, понимать физику и генерировать видео одновременно
Kairos — это попытка сделать единую world model для Physical AI, которая закрывает сразу три дыры: разрозненные данные (видео из интернета vs. человеческие демо vs. редкие роботные данные), потеря состояния мира на длинных горизонтах, и разрыв между пониманием мира и управлением телом робота.
Ключевые идеи: гибридный Diffusion Transformer с многомасштабной временной памятью (Gated Linear Attention для долгосрочного + скользящее окно для краткосрочного), трёхэтапный pretraining (физика → human-centric данные → совместное обучение world+action), и авторы формально доказывают, что чисто локальные эвристики продолжения видео математически не могут гарантировать глобальную консистентность мира.
По сути: не просто генератор видео, а инфраструктура для роботов, которая умеет предсказывать последствия действий агента.
https://arxiv.org/abs/2606.16533
Kairos — это попытка сделать единую world model для Physical AI, которая закрывает сразу три дыры: разрозненные данные (видео из интернета vs. человеческие демо vs. редкие роботные данные), потеря состояния мира на длинных горизонтах, и разрыв между пониманием мира и управлением телом робота.
Ключевые идеи: гибридный Diffusion Transformer с многомасштабной временной памятью (Gated Linear Attention для долгосрочного + скользящее окно для краткосрочного), трёхэтапный pretraining (физика → human-centric данные → совместное обучение world+action), и авторы формально доказывают, что чисто локальные эвристики продолжения видео математически не могут гарантировать глобальную консистентность мира.
По сути: не просто генератор видео, а инфраструктура для роботов, которая умеет предсказывать последствия действий агента.
https://arxiv.org/abs/2606.16533
UniAR: один токенайзер вместо двух (by Qwen)
Главная боль unified multimodal моделей: понимание картинок требует высокоуровневой семантики, а генерация — низкоуровневых деталей. Поэтому все делали два отдельных токенайзера, и модель не могла "читать" то, что сама нарисовала.
UniAR решает это одним токенайзером. Ключевые трюки:
1. Многоуровневое слияние фич из разных слоёв ViT — сразу и семантика, и детали.
2. Бинарное квантование без явного кодбука (BSQ): каждый токен — 64-битный вектор, что даёт теоретически 2^64 уникальных кодов без роста памяти.
3. Параллельное битовое предсказание для 2×2 пространственных групп — сжатие последовательности в 32 раза.
В итоге: генерация 1024×1024 картинки требует всего 256 токенов, а модель понимает свои же генерации без повторного кодирования.
https://arxiv.org/abs/2606.18249
Главная боль unified multimodal моделей: понимание картинок требует высокоуровневой семантики, а генерация — низкоуровневых деталей. Поэтому все делали два отдельных токенайзера, и модель не могла "читать" то, что сама нарисовала.
UniAR решает это одним токенайзером. Ключевые трюки:
1. Многоуровневое слияние фич из разных слоёв ViT — сразу и семантика, и детали.
2. Бинарное квантование без явного кодбука (BSQ): каждый токен — 64-битный вектор, что даёт теоретически 2^64 уникальных кодов без роста памяти.
3. Параллельное битовое предсказание для 2×2 пространственных групп — сжатие последовательности в 32 раза.
В итоге: генерация 1024×1024 картинки требует всего 256 токенов, а модель понимает свои же генерации без повторного кодирования.
https://arxiv.org/abs/2606.18249
OpenAI совместно с Molecule.one представили почти автономного AI-химика на базе GPT-4.5, который самостоятельно улучшил сложную реакцию в медицинской химии.
Система анализировала условия синтеза, выдвигала гипотезы и предлагала оптимизации — практически без участия человека. В результате удалось повысить эффективность ключевой реакции, используемой при создании лекарственных препаратов.
Почему это важно: разработка новых лекарств — один из самых долгих и дорогих процессов в науке. AI-химик способен ускорить этап оптимизации синтеза, который раньше требовал недель экспериментов от живых исследователей.
Для учёных и фармкомпаний это сигнал: AI уже не просто помогает искать литературу, а реально двигает науку вперёд.
https://openai.com/index/ai-chemist-improves-reaction
Система анализировала условия синтеза, выдвигала гипотезы и предлагала оптимизации — практически без участия человека. В результате удалось повысить эффективность ключевой реакции, используемой при создании лекарственных препаратов.
Почему это важно: разработка новых лекарств — один из самых долгих и дорогих процессов в науке. AI-химик способен ускорить этап оптимизации синтеза, который раньше требовал недель экспериментов от живых исследователей.
Для учёных и фармкомпаний это сигнал: AI уже не просто помогает искать литературу, а реально двигает науку вперёд.
https://openai.com/index/ai-chemist-improves-reaction
OpenAI
A near-autonomous AI chemist improves a challenging reaction in medicinal chemistry
OpenAI and Molecule.one show how a near-autonomous AI chemist using GPT-5.4 improved a key drug-making reaction, advancing medicinal chemistry research.
OpenAI представила LifeSciBench — новый бенчмарк для оценки того, насколько хорошо AI справляется с реальными задачами в области биологии, медицины и смежных наук.
Особенность в том, что вопросы и задания создавались и проверялись настоящими экспертами — учёными и исследователями. Это не абстрактные тесты, а задачи, с которыми сталкиваются специалисты в реальной работе.
Зачем это нужно? Сейчас сложно понять, насколько AI-модели реально полезны в науке о жизни. LifeSciBench даёт чёткую планку для сравнения моделей и помогает разработчикам понять, где системы ещё слабы.
Для пользователей это сигнал: AI в медицине и биологии становится серьёзнее, а инструменты для его оценки — строже.
https://openai.com/index/introducing-life-sci-bench
Особенность в том, что вопросы и задания создавались и проверялись настоящими экспертами — учёными и исследователями. Это не абстрактные тесты, а задачи, с которыми сталкиваются специалисты в реальной работе.
Зачем это нужно? Сейчас сложно понять, насколько AI-модели реально полезны в науке о жизни. LifeSciBench даёт чёткую планку для сравнения моделей и помогает разработчикам понять, где системы ещё слабы.
Для пользователей это сигнал: AI в медицине и биологии становится серьёзнее, а инструменты для его оценки — строже.
https://openai.com/index/introducing-life-sci-bench
OpenAI
Introducing LifeSciBench
Introducing LifeSciBench, an expert-authored, expert-reviewed benchmark for evaluating how AI systems handle real-world life science research tasks and decisions.
Nvidia Tech запускает ACE Game Agent SDK для AI-компаньонов в играх
На Unreal Fest 2026 NVIDIA представила ACE Game Agent SDK Beta — открытый C/C++ фреймворк для создания умных NPC прямо на устройстве пользователя, без облака.
Что внутри: три API — Agent (автономные многошаговые решения), Chat (прямое управление инференсом) и RAG (поиск по базам знаний). Уже работает в реальных играх: в PUBG есть AI-напарник Ally с голосовым управлением, в Total War: PHARAOH — советник-фараон с доступом к 1200+ таблицам игровых данных.
Для Unreal Engine 5 вышел набор плагинов: распознавание речи (ASR), малая языковая модель Qwen 3.5 4B и TTS Chatterbox Turbo — всё работает локально на RTX без задержек облака. Плюс новый плагин DLSS 4.5 с поддержкой Multi Frame Generation 6X.
Вебинар по теме — 30 июня.
https://developer.nvidia.com/blog/build-on-device-ai-companions-with-the-nvidia-ace-game-agent-sdk-and-unreal-engine-5-plugins/
На Unreal Fest 2026 NVIDIA представила ACE Game Agent SDK Beta — открытый C/C++ фреймворк для создания умных NPC прямо на устройстве пользователя, без облака.
Что внутри: три API — Agent (автономные многошаговые решения), Chat (прямое управление инференсом) и RAG (поиск по базам знаний). Уже работает в реальных играх: в PUBG есть AI-напарник Ally с голосовым управлением, в Total War: PHARAOH — советник-фараон с доступом к 1200+ таблицам игровых данных.
Для Unreal Engine 5 вышел набор плагинов: распознавание речи (ASR), малая языковая модель Qwen 3.5 4B и TTS Chatterbox Turbo — всё работает локально на RTX без задержек облака. Плюс новый плагин DLSS 4.5 с поддержкой Multi Frame Generation 6X.
Вебинар по теме — 30 июня.
https://developer.nvidia.com/blog/build-on-device-ai-companions-with-the-nvidia-ace-game-agent-sdk-and-unreal-engine-5-plugins/
NVIDIA Technical Blog
Build On-Device AI Companions with the NVIDIA ACE Game Agent SDK and Unreal Engine 5 Plugins
NVIDIA RTX technologies are deeply integrated into Unreal Engine 5 through the NVIDIA RTX Branch of Unreal Engine and the NVIDIA DLSS Unreal Engine plugin. This provides developers with direct access…
Робот учится как ребёнок — сначала играет, потом работает (by UC Berkeley)
Большинство роботов учатся только когда им дают задачу. А что если дать роботу "поиграть" до получения инструкций — как дети осваивают мир до школы?
Авторы предлагают RATS (Robotics Agent Teams) — мультиагентную систему, где робот в фазе "игры" сам придумывает задачи, пишет код-политики (Code-as-Policy), проверяет результат, диагностирует ошибки и складывает удачные программы в библиотеку навыков. Задачи выбираются по принципу "Goldilocks": новые, но достижимые.
После игры накопленная библиотека кода подключается к любому агенту без дообучения модели.
Результат: +20.6% на LIBERO-PRO, +17% на MolmoSpaces, а навыки переносятся в другие среды (+8.9% на RoboSuite).
https://arxiv.org/abs/2606.19419
Большинство роботов учатся только когда им дают задачу. А что если дать роботу "поиграть" до получения инструкций — как дети осваивают мир до школы?
Авторы предлагают RATS (Robotics Agent Teams) — мультиагентную систему, где робот в фазе "игры" сам придумывает задачи, пишет код-политики (Code-as-Policy), проверяет результат, диагностирует ошибки и складывает удачные программы в библиотеку навыков. Задачи выбираются по принципу "Goldilocks": новые, но достижимые.
После игры накопленная библиотека кода подключается к любому агенту без дообучения модели.
Результат: +20.6% на LIBERO-PRO, +17% на MolmoSpaces, а навыки переносятся в другие среды (+8.9% на RoboSuite).
https://arxiv.org/abs/2606.19419
VLM смотрит видео и «думает в 3D» через инструменты и память
Проблема: языковые модели обучены на плоских 2D картинках, а реальный мир — 3D и динамический. Один кадр — это лишь частичная проекция сцены.
S-Agent решает это через три уровня: (1) детекция объектов в 2D, (2) подъём в 3D через метрическую глубину и реконструкцию точечных облаков, (3) агрегация в пространственные факты — расстояния, ориентации, отношения. VLM при этом выступает только планировщиком — решает, что измерить, а инструменты дают конкретные числа.
Плюс два вида памяти: Scene Memory отслеживает объекты между кадрами, Agent Memory хранит историю рассуждений.
Результат: zero-shot режим улучшает GPT-4 на 4.5% на MMSI-Bench. Fine-tuned Qwen3-VL-8B прибавляет 10.5% и догоняет GPT-4 и Gemini Pro.
https://arxiv.org/abs/2606.20515
Проблема: языковые модели обучены на плоских 2D картинках, а реальный мир — 3D и динамический. Один кадр — это лишь частичная проекция сцены.
S-Agent решает это через три уровня: (1) детекция объектов в 2D, (2) подъём в 3D через метрическую глубину и реконструкцию точечных облаков, (3) агрегация в пространственные факты — расстояния, ориентации, отношения. VLM при этом выступает только планировщиком — решает, что измерить, а инструменты дают конкретные числа.
Плюс два вида памяти: Scene Memory отслеживает объекты между кадрами, Agent Memory хранит историю рассуждений.
Результат: zero-shot режим улучшает GPT-4 на 4.5% на MMSI-Bench. Fine-tuned Qwen3-VL-8B прибавляет 10.5% и догоняет GPT-4 и Gemini Pro.
https://arxiv.org/abs/2606.20515
OmniAgent: модель сама решает, куда "смотреть" в видео (by Qwen)
Пассивные мультимодальные модели тупо обрабатывают все кадры подряд — и на часовом видео это вычислительный кошмар. Qwen предлагают другой подход: пусть модель сама активно исследует видео, как человек.
OmniAgent работает по циклу Observation-Thought-Action: смотрит фрагмент, формирует текстовое резюме в память, решает что смотреть дальше. Ключевая фишка — сложность рассуждений не зависит от длины видео, только от сложности запроса.
Обучение двухэтапное: сначала SFT на синтетических траекториях, потом RL с новым алгоритмом TAURA — он решает проблему "размытия" кредита в многоходовых цепочках, направляя награду на действительно важные повороты.
Результат: 7B модель обходит Qwen2.5-VL-72B на LVBench (50.5% vs 47.3%), используя на 73% меньше кадров. Плюс test-time scaling работает: больше шагов = лучше ответ.
https://arxiv.org/abs/2606.19341
Пассивные мультимодальные модели тупо обрабатывают все кадры подряд — и на часовом видео это вычислительный кошмар. Qwen предлагают другой подход: пусть модель сама активно исследует видео, как человек.
OmniAgent работает по циклу Observation-Thought-Action: смотрит фрагмент, формирует текстовое резюме в память, решает что смотреть дальше. Ключевая фишка — сложность рассуждений не зависит от длины видео, только от сложности запроса.
Обучение двухэтапное: сначала SFT на синтетических траекториях, потом RL с новым алгоритмом TAURA — он решает проблему "размытия" кредита в многоходовых цепочках, направляя награду на действительно важные повороты.
Результат: 7B модель обходит Qwen2.5-VL-72B на LVBench (50.5% vs 47.3%), используя на 73% меньше кадров. Плюс test-time scaling работает: больше шагов = лучше ответ.
https://arxiv.org/abs/2606.19341