Один стек, чтобы управлять роботами, понимать физику и генерировать видео одновременно

Kairos — это попытка сделать единую world model для Physical AI, которая закрывает сразу три дыры: разрозненные данные (видео из интернета vs. человеческие демо vs. редкие роботные данные), потеря состояния мира на длинных горизонтах, и разрыв между пониманием мира и управлением телом робота.

Ключевые идеи: гибридный Diffusion Transformer с многомасштабной временной памятью (Gated Linear Attention для долгосрочного + скользящее окно для краткосрочного), трёхэтапный pretraining (физика → human-centric данные → совместное обучение world+action), и авторы формально доказывают, что чисто локальные эвристики продолжения видео математически не могут гарантировать глобальную консистентность мира.

По сути: не просто генератор видео, а инфраструктура для роботов, которая умеет предсказывать последствия действий агента.

https://arxiv.org/abs/2606.16533

UniAR: один токенайзер вместо двух (by Qwen)

Главная боль unified multimodal моделей: понимание картинок требует высокоуровневой семантики, а генерация — низкоуровневых деталей. Поэтому все делали два отдельных токенайзера, и модель не могла "читать" то, что сама нарисовала.

UniAR решает это одним токенайзером. Ключевые трюки:

1. Многоуровневое слияние фич из разных слоёв ViT — сразу и семантика, и детали.

2. Бинарное квантование без явного кодбука (BSQ): каждый токен — 64-битный вектор, что даёт теоретически 2^64 уникальных кодов без роста памяти.

3. Параллельное битовое предсказание для 2×2 пространственных групп — сжатие последовательности в 32 раза.

В итоге: генерация 1024×1024 картинки требует всего 256 токенов, а модель понимает свои же генерации без повторного кодирования.

https://arxiv.org/abs/2606.18249

OpenAI совместно с Molecule.one представили почти автономного AI-химика на базе GPT-4.5, который самостоятельно улучшил сложную реакцию в медицинской химии.

Система анализировала условия синтеза, выдвигала гипотезы и предлагала оптимизации — практически без участия человека. В результате удалось повысить эффективность ключевой реакции, используемой при создании лекарственных препаратов.

Почему это важно: разработка новых лекарств — один из самых долгих и дорогих процессов в науке. AI-химик способен ускорить этап оптимизации синтеза, который раньше требовал недель экспериментов от живых исследователей.

Для учёных и фармкомпаний это сигнал: AI уже не просто помогает искать литературу, а реально двигает науку вперёд.

https://openai.com/index/ai-chemist-improves-reaction

OpenAI представила LifeSciBench — новый бенчмарк для оценки того, насколько хорошо AI справляется с реальными задачами в области биологии, медицины и смежных наук.

Особенность в том, что вопросы и задания создавались и проверялись настоящими экспертами — учёными и исследователями. Это не абстрактные тесты, а задачи, с которыми сталкиваются специалисты в реальной работе.

Зачем это нужно? Сейчас сложно понять, насколько AI-модели реально полезны в науке о жизни. LifeSciBench даёт чёткую планку для сравнения моделей и помогает разработчикам понять, где системы ещё слабы.

Для пользователей это сигнал: AI в медицине и биологии становится серьёзнее, а инструменты для его оценки — строже.

https://openai.com/index/introducing-life-sci-bench

Nvidia Tech запускает ACE Game Agent SDK для AI-компаньонов в играх

На Unreal Fest 2026 NVIDIA представила ACE Game Agent SDK Beta — открытый C/C++ фреймворк для создания умных NPC прямо на устройстве пользователя, без облака.

Что внутри: три API — Agent (автономные многошаговые решения), Chat (прямое управление инференсом) и RAG (поиск по базам знаний). Уже работает в реальных играх: в PUBG есть AI-напарник Ally с голосовым управлением, в Total War: PHARAOH — советник-фараон с доступом к 1200+ таблицам игровых данных.

Для Unreal Engine 5 вышел набор плагинов: распознавание речи (ASR), малая языковая модель Qwen 3.5 4B и TTS Chatterbox Turbo — всё работает локально на RTX без задержек облака. Плюс новый плагин DLSS 4.5 с поддержкой Multi Frame Generation 6X.

Вебинар по теме — 30 июня.

https://developer.nvidia.com/blog/build-on-device-ai-companions-with-the-nvidia-ace-game-agent-sdk-and-unreal-engine-5-plugins/

Робот учится как ребёнок — сначала играет, потом работает (by UC Berkeley)

Большинство роботов учатся только когда им дают задачу. А что если дать роботу "поиграть" до получения инструкций — как дети осваивают мир до школы?

Авторы предлагают RATS (Robotics Agent Teams) — мультиагентную систему, где робот в фазе "игры" сам придумывает задачи, пишет код-политики (Code-as-Policy), проверяет результат, диагностирует ошибки и складывает удачные программы в библиотеку навыков. Задачи выбираются по принципу "Goldilocks": новые, но достижимые.

После игры накопленная библиотека кода подключается к любому агенту без дообучения модели.

Результат: +20.6% на LIBERO-PRO, +17% на MolmoSpaces, а навыки переносятся в другие среды (+8.9% на RoboSuite).

https://arxiv.org/abs/2606.19419

VLM смотрит видео и «думает в 3D» через инструменты и память

Проблема: языковые модели обучены на плоских 2D картинках, а реальный мир — 3D и динамический. Один кадр — это лишь частичная проекция сцены.

S-Agent решает это через три уровня: (1) детекция объектов в 2D, (2) подъём в 3D через метрическую глубину и реконструкцию точечных облаков, (3) агрегация в пространственные факты — расстояния, ориентации, отношения. VLM при этом выступает только планировщиком — решает, что измерить, а инструменты дают конкретные числа.

Плюс два вида памяти: Scene Memory отслеживает объекты между кадрами, Agent Memory хранит историю рассуждений.

Результат: zero-shot режим улучшает GPT-4 на 4.5% на MMSI-Bench. Fine-tuned Qwen3-VL-8B прибавляет 10.5% и догоняет GPT-4 и Gemini Pro.

https://arxiv.org/abs/2606.20515

OmniAgent: модель сама решает, куда "смотреть" в видео (by Qwen)

Пассивные мультимодальные модели тупо обрабатывают все кадры подряд — и на часовом видео это вычислительный кошмар. Qwen предлагают другой подход: пусть модель сама активно исследует видео, как человек.

OmniAgent работает по циклу Observation-Thought-Action: смотрит фрагмент, формирует текстовое резюме в память, решает что смотреть дальше. Ключевая фишка — сложность рассуждений не зависит от длины видео, только от сложности запроса.

Обучение двухэтапное: сначала SFT на синтетических траекториях, потом RL с новым алгоритмом TAURA — он решает проблему "размытия" кредита в многоходовых цепочках, направляя награду на действительно важные повороты.

Результат: 7B модель обходит Qwen2.5-VL-72B на LVBench (50.5% vs 47.3%), используя на 73% меньше кадров. Плюс test-time scaling работает: больше шагов = лучше ответ.

https://arxiv.org/abs/2606.19341

OpenAI помогает врачам диагностировать редкие генетические болезни у детей.

Исследователи применили reasoning-модель OpenAI для анализа сложных медицинских случаев — и получили 18 новых диагнозов в случаях, которые раньше не удавалось разгадать. Речь идёт о редких генетических заболеваниях у детей, где каждый поставленный диагноз буквально меняет жизнь семьи.

Для многих пациентов с редкими болезнями путь к диагнозу занимает годы. ИИ способен анализировать огромные массивы медицинской литературы и находить паттерны, которые человек может упустить. Это не замена врачу, но мощный инструмент поддержки принятия решений.

Пока это исследовательский проект, но результаты обнадёживают: ИИ уже сейчас помогает там, где медицина буксовала годами.

https://openai.com/index/diagnose-rare-childhood-diseases

Nvidia Tech: как ускорить обучение трансформеров с помощью низкой точности

Nvidia опубликовала техническое руководство по оптимизации трансформерных моделей с форматами FP8 и NVFP4 на GPU Hopper и Blackwell.

Суть: большую часть времени обучения занимают матричные умножения (GEMM). Низкая точность ускоряет их, но не всегда — результат зависит от размера конкретного слоя.

На модели CodonFM 5B замерили реальный прирост: крупные GEMM (MLP Down) дают до 1.66x ускорения NVFP4 над MXFP8, а мелкие (Attention Output) — лишь 1.05x. Теоретический максимум железа — 3.48x, но квантизация и блочное масштабирование съедают большую часть выигрыша.

Nvidia выпустила инструмент микробенчмаркинга: задаёшь конфиг модели и батч — получаешь точные GEMM-формы и сравнение по всем форматам точности до старта дорогого обучения.

Для команд, тренирующих большие модели, это способ не гадать, а измерить заранее.

https://developer.nvidia.com/blog/how-to-optimize-transformer-based-models-for-low-precision-training/

Nvidia Tech — победа на всех фронтах в MLPerf Training 6.0

NVIDIA выиграла каждый бенчмарк в свежем раунде MLPerf Training 6.0 — главного отраслевого теста производительности AI-обучения. Это единственная платформа, подавшая результаты по всем задачам, включая новые.

Что впечатляет: модель DeepSeek-V3 на 671 млрд параметров обучили за 2 минуты на кластере из 8192 GPU Blackwell Ultra. Llama 3.1 405B — за 7 минут. При этом скорость обучения DeepSeek-V3 выросла на 30% за три месяца — без смены железа, только за счёт обновлений ПО.

Ключевые улучшения: полная поддержка CUDA-графов для MoE-моделей, новые методы слияния ядер через CuTe DSL и MXFP8 для блоков внимания.

Почему важно: результаты получены в реальных облачных дата-центрах, а не в лабораторных условиях. Это означает, что компании, обучающие большие модели, уже сейчас могут получить эту скорость в продакшене.

https://developer.nvidia.com/blog/nvidia-blackwell-tops-mlperf-training-6-0-with-industry-leading-scale-and-performance/

0.2B модель делает inpainting на уровне 10B FLUX.1-Fill-Dev — и в 15 раз быстрее

Исследователи из VIVO AI Lab предложили Moebius — ультралёгкую модель для заполнения пропущенных областей на изображениях (inpainting). Всего 226M параметров против 11.9B у FLUX.1-Fill-Dev, а качество — сопоставимое или лучше.

Как это возможно? Два ключевых трюка:

1. Новый блок LλMI: вместо тяжёлых attention-механизмов — Local-λ и Interactive-λ модули, которые сворачивают локальный контекст и глобальные семантические признаки в компактные матрицы фиксированного размера. Это позволяет делать аналог cross-attention без его вычислительной цены.

2. Адаптивная дистилляция от учителя (PixelHacker, 862M): динамически балансирует несколько loss-функций, компенсируя потерю ёмкости при сжатии.

Итог: 26 мс на шаг, 0.154 TFLOPs — против 8 секунд у FLUX.1-Fill-Dev при сопоставимом FID на Places2 и CelebA-HQ.

https://arxiv.org/abs/2606.19195

Награда была в твоих данных всё это время (by Meta AI)

Почему диффузионные модели не учатся реализму из данных, но потом "вспоминают" его через RL? Оказывается, это баг flow matching, а не нехватка данных.

Авторы доказывают: FSM-лосс обучается на интерполяционных маргиналах qt, а сэмплирование идёт по rollout-траекториям pt. Ошибки накапливаются, и модель уходит в зоны низкой вероятности — реализм теряется.

Решение — Discriminator-Guided RL (DRL): обучаем дискриминатор различать данные и модель в пространстве SSL-эмбеддингов (без preference-данных!), его логит — и есть награда для RL. SSL-пространство ограничивает коррекции семантически значимыми осями.

Результат: DRL улучшает SiT, REPA, RAE по Fréchet distance, а preference-RL поверх DRL даёт ещё лучший Pareto-фронт.

https://arxiv.org/abs/2606.19162

Представления без допущений: учимся из разницы кадров

Чем меньше жёстких предположений заложено в метод обучения — тем лучше он работает при масштабировании. Это давно известно, но как тогда вообще учиться, если убрать все inductive biases?

Авторы предлагают TDV (Temporal Difference in Vision): единственное допущение — причинность. Следующий кадр предсказуем из предыдущего. Архитектура проста: encoder текущего кадра + motion encoder (на входе — попиксельная разность кадров) → предсказание представления следующего кадра. Таргет даёт EMA-учитель (как в DINO). Разность соседних кадров низкоранговая, поэтому motion encoder вынужден выучить компактные абстрактные признаки движения, а не копировать сцену целиком.

Результат: TDV получает dense spatial features на уровне DINO и iBOT, не используя аугментации, маскирование или негативные пары.

https://arxiv.org/abs/2606.15956

PyTorch ускорил автотюнинг ядер с помощью LLM

Команда PyTorch представила LLM-guided autotuner для Helion — DSL-языка для написания ML-ядер под разное железо. Раньше подбор оптимальных конфигураций (размеры тайлов, блоков, warp'ов) занимал сотни циклов компиляции и бенчмаркинга.

Новый подход: LLM анализирует ядро, железо и лучшие конфиги — и сразу предлагает перспективные варианты. Итог: в 10 раз меньше проверяемых конфигураций и в 6,7 раза меньше времени при том же качестве, что у прежнего метода LFBO (геометрическое среднее 1.009X).

Если LLM промахивается больше чем на 5%, включается гибридный режим: LLM даёт стартовую точку, LFBO доводит до ума. Это всё равно втрое дешевле полного LFBO-поиска.

Важно: результат не зависит от конкретной модели — Claude Opus, GPT и Sonnet показали схожие результаты. Автотюнинг из минут превращается в секунды.

https://pytorch.org/blog/from-minutes-to-seconds-llm-guided-autotuning-for-helion-kernels/

Современные видео-генераторы не умеют "помнить" мир за кадром

Представьте: кот прыгает на кровать, камера отворачивается, потом возвращается — и кот снова на полу. Или раздваивается. Или исчезает. Авторы поставили простой вопрос: продолжает ли мир существовать, когда камера не смотрит?

Для проверки создан WRBench — бенчмарк на 9600 видео от 23 генераторов. Идея: камера отворачивается во время события, потом возвращается. Если мировое состояние сохраняется независимо от наблюдения — генератор ведёт себя как настоящая world model.

Результат: ни один из протестированных генераторов не справляется. Причём масштаб модели не предсказывает качество этой способности. Проблема не в пикселях — нужна "what-memory", которая записывает скрытые изменения, и обучающий сигнал на сохранение конечного состояния события.

Луна вращается вокруг Земли, даже когда никто не смотрит. Современные видео-модели об этом не знают.

https://arxiv.org/abs/2606.20545

Looped World Models: один трансформер крутится в цикле вместо глубокой сети

Классические world models для RL страдают от двух проблем: ошибки накапливаются на длинных горизонтах, а масштабирование глубины сети дорого обходится при инференсе. LoopWM предлагает элегантное решение — взять один трансформерный блок с общими весами и применять его итеративно, как цикл.

Идея проста: физика сама по себе итеративна (один и тот же закон применяется снова и снова), так почему бы не отразить это в архитектуре? Один блок fθ прогоняется N раз вместо N разных блоков. Для стабильности авторы используют спектрально ограниченную параметризацию — собственные значения матрицы перехода зажаты в (0,1), что гарантирует устойчивость при любой длине роллаута.

Бонус: адаптивная глубина. Простые переходы (свободный полёт) требуют меньше итераций, сложные (столкновения) — больше. Параметров в разы меньше, а качество предсказаний не хуже.

3B параметров против 671B — кто победит в математике?

VibeThinker-3B показывает: верификуемые рассуждения (математика, код) — это "parameter-dense" задачи. Не нужно помнить весь интернет, нужно уметь искать решение в структурированном пространстве. И это отлично сжимается в компактную модель.

Результат: 3B модель набирает 94.3 на AIME26 — наравне с DeepSeek V3.2 (671B) и Kimi K2.5 (1T). На LeetCode — 96.1% acceptance rate, сравнимо с GPT-5.

Как достигли: двухэтапный SFT (сначала широкое покрытие, потом хардкорный reasoning), MGPO reinforcement learning на нескольких доменах, Long2Short RL для сокращения лишних токенов, офлайн self-distillation и Instruct RL.

Авторы вводят Parametric Compression-Coverage Hypothesis: reasoning — это про компрессию, знания — про покрытие. Поэтому маленькие модели могут быть frontier в первом, но отстают во втором (GPQA-Diamond).

Вывод: компактные модели — не компромисс ради экономии, а отдельный перспективный путь развития.

https://arxiv.org/abs/2606.16140

Модель думает и одновременно тычет пальцем в картинку (UCLA)

Когда VLM решает визуальную задачу текстом, она может написать "красная машина у входа" — но не показать, где именно. Рассуждение звучит убедительно, но не привязано к изображению.

Авторы предлагают visually grounded thinking: во время цепочки рассуждений модель вставляет координатные теги (bounding box или точку) прямо в текст мысли. Типа: "There is a <obj> black laptop | [box] </obj> on the table..."

Для обучения — пайплайн синтеза данных: VLM генерирует reasoning traces, LLM извлекает ключевые объекты, SAM3-агент находит их маски. Дальше SFT + RL с reward за качество grounding.

Результат: 4B-модель с grounded thinking догоняет 27B на spatial reasoning. Точки лучше работают для счёта, боксы — для пространственных отношений.

https://arxiv.org/abs/2606.16122

Cisco научила ИИ-агента самому чинить LLM-пайплайны — не только промпты, но и архитектуру

(by Cisco Foundation AI)

Обычные оптимизаторы промптов (типа DSPy или GEPA) работают внутри фиксированной структуры пайплайна. Но что если проблема не в промпте, а в самой цепочке шагов?

FAPO — агент на базе Claude Code, который сначала пробует подправить промпты, а если это не помогает — анализирует где именно пайплайн ломается и меняет его структуру. Агент записывает промежуточные выходы каждого шага, локализует причину ошибки (плохой retrieval? форматирование? логика?), предлагает одно точечное изменение, проверяет его через reviewer-агента и только потом применяет.

Результат на 6 бенчмарках (QA, math, fact verification): +14.1 pp над GEPA в среднем, победа в 15 из 18 сравнений. На HoVer и IFBench — вообще +35 pp, там агент сам удлинил retrieval-цепочку.

https://arxiv.org/abs/2606.19605

(by NVIDIA) Робот сам себя обучает — без людей, без сброса вручную, без настройки наград

NVIDIA представила ENPIRE: фреймворк, где LLM-агенты полностью автоматизируют цикл улучшения робополитик в реальном мире. Идея: один раз с помощью человека настраиваешь среду (безопасные зоны, авторесет, автоматическую верификацию успеха), а дальше агенты сами пишут код обучения, запускают эксперименты на роботах и итеративно улучшают политику — без какого-либо вмешательства человека.

Для масштабирования: N агентов на N роботах тестируют гипотезы параллельно и обмениваются удачными рецептами через Git. Результат — вставка пина в отверстие 4мм доходит до 100% успеха быстрее, чем human-in-the-loop baseline.

Авторы вводят новые метрики эффективности: MRU (утилизация робота) и MTU (токены на успех). Ни один frontier-агент пока не насыщает ресурсы полностью — есть куда расти.

https://arxiv.org/abs/2606.19980