Один фреймворк, чтобы и понимать сцену, и предсказывать её будущее

Большинство моделей для автономного вождения умеют либо генерировать будущие состояния сцены (в 3D, по облакам точек), либо отвечать на вопросы о текущей сцене через VLM. Но не то и другое вместе.

HERMES++ объединяет оба подхода в одном фреймворке. Ключевая идея: BEV-представление (вид сверху) сжимает мультикамерный ввод в токены, совместимые с LLM. Затем "world queries", обогащённые языковой моделью, через модуль Current-to-Future Link передают семантический контекст в генератор будущей геометрии. Добавляется Joint Geometric Optimization — совместная явная и неявная регуляризация на облаках точек и латентном пространстве.

Результат: -8.2% ошибки генерации (vs DriveX) и +9.2% CIDEr на понимании сцены (vs Omni-Q). Модель одновременно описывает сцену словами и предсказывает, как она изменится через 3 секунды.

https://arxiv.org/abs/2604.28196

3D-объекты, которые можно трогать, толкать и крутить — не просто красивые модели

Большинство современных 3D-генераторов делают "пустые оболочки": красивые снаружи, но бесполезные для роботов или игровых движков — их нельзя схватить, открыть или сломать. PhysForge решает это двухэтапным пайплайном.

Сначала VLM строит "Иерархический физический чертёж" объекта: разбивает его на части, определяет материалы, типы сочленений (revolute, prismatic) и функции каждой детали. Потом диффузионная модель "кует" геометрию вместе с кинематическими параметрами через механизм KineVoxel Injection — параметры суставов буквально закодированы в специальные воксели и генерируются совместно с формой.

Для обучения собрали PhysDB — 150k объектов с четырёхуровневой аннотацией: от реального размера до атомарных affordances (pushable, graspable).

На выходе — готовые к симуляции 3D-ассеты из одной картинки.

https://arxiv.org/abs/2605.05163

OpenAI открыла новый сетевой протокол для суперкомпьютеров — MRC (Multipath Reliable Connection). Он разработан специально для масштабных кластеров, на которых обучаются большие AI-модели.

Главная проблема при обучении GPT-подобных моделей — сеть между тысячами GPU должна работать без сбоев. Один упавший пакет данных может тормозить весь кластер. MRC решает это через многопутевую передачу данных: трафик идёт сразу по нескольким маршрутам, что повышает надёжность и скорость.

Протокол передан в открытый доступ через организацию OCP (Open Compute Project), то есть им смогут воспользоваться другие компании и исследователи.

Для рядовых пользователей это означает, что будущие модели OpenAI будут обучаться быстрее и стабильнее — а значит, обновления выйдут раньше.

https://openai.com/index/mrc-supercomputer-networking

Apple ML представила SpecMD — фреймворк для оптимизации MoE-моделей.

Mixture-of-Experts модели активируют только часть параметров при каждом запросе, но эффективно использовать эту разреженность мешает отсутствие умного кэширования. Предыдущие решения работали вслепую — никто толком не понимал, как разные стратегии кэша ведут себя на разном железе.

SpecMD — стандартизированный бенчмарк для сравнения политик кэширования экспертов. Главный вывод: классические алгоритмы LRU и LFU не работают для MoE, потому что доступ к экспертам не подчиняется временной локальности.

Команда предложила новую политику вытеснения Least-Stale, которая использует предсказуемые паттерны MoE. Результат: до 85x меньше коллизий по сравнению с LRU, 88% попаданий в кэш и сокращение времени до первого токена на 34,7% — при использовании всего 0,6 ГБ VRAM.

Статья принята на ICML 2026.

https://machinelearning.apple.com/research/specmd-expert-prefetching

Apple ML представила iTARFlow — улучшенную версию генеративных моделей на основе Normalizing Flows.

Суть: исследователи взяли архитектуру TARFlow и добавили к ней итеративное шумоподавление в стиле диффузионных моделей — но без отказа от ключевого преимущества NF, а именно полноценного likelihood-based обучения.

Что важно: диффузионные модели сейчас доминируют в генерации изображений, но iTARFlow показывает конкурентные результаты на ImageNet при разрешениях 64, 128 и 256 пикселей, оставаясь при этом математически более прозрачным и обучаемым end-to-end.

Для кого это важно: прежде всего для исследователей — работа показывает, что Normalizing Flows ещё не исчерпали свой потенциал и могут стать реальной альтернативой диффузии. Код уже открыт на GitHub.

Статья выйдет на ICML 2026.

https://machinelearning.apple.com/research/normalizing-flows-iterative-denoising

RLDX-1: робот-манипулятор, который видит, чувствует и помнит (by RLWRLD)

Современные VLA-модели (Vision-Language-Action) умеют понимать сцены и следовать инструкциям, но плохо справляются с динамическими задачами — ловить движущиеся объекты, чувствовать контакт, помнить прошлые действия. RLDX-1 решает это через архитектуру Multi-Stream Action Transformer (MSAT): отдельные потоки для каждой модальности (видео, тактильность, память) с joint self-attention между ними.

Три ключевых фишки: motion awareness (сжатие прошлых кадров в один токен), long-term memory (очередь прошлых наблюдений), physical sensing (предсказание тактильных/торковых сигналов).

Результат: на задачах с гуманоидом ALLEX — 86.8% против ~40% у π0.5 и GR00T N1.6. Ловля объектов на конвейере: 87.5% vs 29.2% у π0.5.

Ещё оптимизировали инференс через CUDA Graph + кастомные kernel fusion — с 71.2 мс до реального времени на RTX 5090.

https://arxiv.org/abs/2605.03269

OpenSearch-VL: открытый рецепт мультимодального поискового агента (by Tencent)

Большинство сильных мультимодальных поисковых агентов — закрытые разработки крупных корпораций. Tencent Hunyuan выкладывает полный открытый рецепт: данные, код, модели.

Три ключевые идеи:

1. Данные из Wikipedia-графа. Агент строит многошаговые VQA-задачи по цепочкам сущностей, переписывая промежуточные узлы в «размытые» описания — чтобы нельзя было срезать путь одним поиском.

2. Инструменты не только поиск. Помимо TextSearch/ImageSearch агент умеет кропать, повышать резкость, делать суперрезолюцию и исправлять перспективу — для работы с реальными кривыми фото и скриншотами.

3. Fatal-aware GRPO. При обучении с RL токены после «фатального» сбоя инструмента маскируются, а полезные рассуждения до сбоя сохраняются через одностороннее зажатие advantage.

Итог: +13.8 пунктов в среднем по 7 бенчмаркам над Qwen3-VL-30B-A3B.

https://arxiv.org/abs/2605.05185

Test-Time Scaling для стриминговой генерации видео — теперь чанк за чанком

Генерировать длинные видео качественно всё ещё больно: диффузионные модели жрут память, теряют консистентность, а любой артефакт в середине ломает всё целиком. Stream-T1 (by FrameX-AI) предлагает применить Test-Time Scaling не ко всему видео сразу, а к потоковой генерации чанк за чанком.

Три ключевых механизма:
1. Noise Propagation — инициализируем шум текущего чанка из лучших траекторий предыдущего
2. Reward Pruning — отбираем кандидатов по комбинированной метрике: локальная эстетика + глобальная темпоральная связность
3. Memory Sinking — вместо тупого sliding window или статичного sink-фрейма, динамически маршрутизируем вытесненный KV-cache в три пути (Discard / EMA-Sink / Append-Sink) через детекцию семантических границ

Идея элегантная: стриминговая генерация с 4 шагами денойзинга на чанк естественно образует "мелкое дерево поиска с широкими ветками" — идеально для beam search без космических затрат.

Google DeepMind расширяет применение AlphaEvolve — своего агента на базе Gemini, который эволюционно улучшает алгоритмы и код.

Новый кейс: геномика. AlphaEvolve оптимизировал DeepConsensus — модель Google Research для исправления ошибок в секвенировании ДНК. Результат: на 30% меньше ошибок при определении генетических вариантов.

Это уже используется в реальной науке: компания PacBio применяет улучшенную модель для анализа генетических данных — точнее и дешевле. По словам директора PacBio, это может помочь обнаружить мутации, вызывающие болезни, которые раньше оставались незамеченными.

AlphaEvolve продолжает доказывать, что AI-агенты способны не просто писать код, а двигать науку вперёд.

https://deepmind.google/blog/alphaevolve-impact/

Microsoft Research на NSDI 2026

Microsoft представила 11 научных работ на одной из главных конференций по сетевым системам — NSDI 2026. Темы охватывают AI-инфраструктуру, облачные сети и датацентры.

Несколько ключевых результатов: DroidSpeak позволяет языковым моделям делиться KV-кешем между вариантами — скорость вырастает в 4 раза. HarvestContainers использует простаивающие ядра CPU для фоновых задач, сохраняя задержку в пределах 4% от нормы. SONiC DASH SmartSwitch уже развёрнут в Azure и значительно снижает энергопотребление и занимаемое место.

Это не просто академия — часть решений уже работает в продакшне. Microsoft системно инвестирует в фундаментальные исследования, которые напрямую влияют на производительность облака и AI-сервисов.

https://www.microsoft.com/en-us/research/blog/microsoft-at-nsdi-2026-advances-in-large-scale-networked-systems/

Nvidia Tech обновила подход к планированию задач на кластерах GB200 NVL72.

GB200 NVL72 — это целый стойка из 72 GPU Blackwell с единой памятью через NVLink и пропускной способностью 130 ТБ/с. Проблема: если задача выходит за пределы одного домена NVLink, производительность падает в разы — с 1,8 ТБ/с до 50 ГБ/с через InfiniBand.

Решение — плагин topology/block для Slurm. Он воспринимает каждый NVLink-домен (18 узлов) как жёсткий блок и не разбивает задачи через его границы. Новый аргумент --segment позволяет точнее управлять размещением: например, задача на 12 узлов с --segment=4 может быть разбита на три блока по 4, что ускоряет старт без потери локальности.

Это важно для больших AI-кластеров: правильная оркестрация напрямую влияет на скорость обучения моделей и утилизацию дорогого железа.

https://developer.nvidia.com/blog/achieving-peak-system-and-workload-efficiency-on-nvidia-gb200-nvl72-with-slurm-block-scheduling/

Зачем нужен RAG, если есть grep?

Стандартный поиск в агентских системах работает через эмбеддинги и top-k ретривер. Но что если это сам по себе бутылочное горлышко? Авторы из TIGER-Lab предлагают Direct Corpus Interaction (DCI): агент не идёт к ретриверу, а напрямую шарится по корпусу через grep, find, bash-скрипты и head/tail.

Идея проста: зачем сжимать смысл документов в векторы, если сильная LLM сама может искать по паттернам, проверять гипотезы и локализовать нужные куски? Семантика делегируется модели, а не индексу.

Результаты впечатляют: на BrowseComp-Plus точность выросла с 69% до 80%, а стоимость упала на 29%. На multi-hop QA — +30 пунктов над лучшим ретривер-агентом.

Авторы вводят понятие "retrieval interface resolution" — чем точнее интерфейс доступа к корпусу, тем лучше агент рассуждает. Вывод: для умных агентов вопрос не "какой ретривер", а "какой интерфейс доступа к данным".

https://arxiv.org/abs/2605.05242

SkillOS: агент, который учится учиться на собственном опыте (by Google)

Обычные LLM-агенты решают задачи с нуля каждый раз. А что если агент мог бы накапливать «навыки» из прошлого опыта и умнеть со временем?

SkillOS разделяет агента на две части: замороженный executor решает задачи, а trainable skill curator управляет репозиторием навыков в виде Markdown-файлов — вставляет новые, обновляет устаревшие, удаляет бесполезные.

Ключевая идея обучения: куратор тренируется через RL на группах связанных задач. Навык, извлечённый из ранних задач, оценивается по тому, насколько он помогает в более поздних. Так отложенная и косвенная обратная связь превращается в обучающий сигнал.

Результат: +9.8% к качеству и -6% шагов взаимодействия против лучших baseline. 8B-куратор обгоняет Gemini-2.5-Pro в роли куратора навыков.

https://arxiv.org/abs/2605.06614

Чем сложнее логика в обучении — тем лучше рассуждает LLM

RL-дообучение языковых моделей на математике работает, но плохо масштабируется на длинные цепочки рассуждений. Авторы предложили SCALELOGIC — синтетическую среду с явным контролем двух параметров сложности: глубины дерева доказательств и логической выразительности (от простых импликаций до кванторов и дизъюнкций).

Главная находка: число шагов RL-обучения до достижения 90% точности растёт как степенной закон от глубины доказательства (T ∝ D^γ, R²>0.99), причём показатель γ монотонно растёт с выразительностью — от 1.04 до 2.60. То есть более богатая логика требует непропорционально больше обучения.

Но зато и отдача выше: обучение на самых выразительных задачах даёт +10.66 п.п. на реальных бенчмарках, тогда как менее выразительные варианты быстро выходят на плато. Вывод: важно не только сколько обучать, но и на чём.

https://arxiv.org/abs/2605.06638

Microsoft Research выпустила открытый датасет энергосетей США

Исследователи Microsoft опубликовали масштабный открытый датасет, описывающий электрические сети передачи для всех 48 штатов США — включая межрегиональные соединения до 21 697 узлов.

Проблема была серьёзной: реальные данные о сетях в США засекречены как критическая инфраструктура. Учёным приходилось работать с игрушечными моделями или ждать годами одобрения доступа.

Microsoft собрала датасет из публичных источников — OpenStreetMap, статистики EIA и данных переписи — и построила физически корректные модели, которые проходят тест AC-OPF (расчёт оптимального потока мощности). Это не просто топология, а рабочие электрические модели.

Применение: анализ перегрузок сетей, планирование расширения, оценка размещения новых дата-центров и ИИ-нагрузок.

Для разработчиков ИИ-инструментов в энергетике это особенно важно — теперь есть реалистичные данные для обучения моделей без NDA и лицензионных платежей.

https://www.microsoft.com/en-us/research/blog/building-realistic-electric-transmission-grid-dataset-at-scale-a-pipeline-from-open-dataset/

Nvidia Tech улучшила генерацию Bash-команд в маленьких языковых моделях с помощью грамматически ограниченного декодирования.

Исследователи AI Red Team протестировали 13 небольших моделей на 299 задачах. Средний процент успешного выполнения вырос с 62,5% до 75,2%. Самый впечатляющий результат — у Qwen3-0.6B: с 16,7% до 59,2%.

Суть метода: при генерации токенов применяется формальная грамматика конкретной команды (grep, openssl и др.), которая блокирует синтаксически недопустимые варианты. Маленькие модели часто знают нужную команду, но ошибаются в аргументах, кавычках или завершении — грамматика это исправляет.

Почему важно: агентные системы всё активнее выполняют shell-команды напрямую. Синтаксическая ошибка — это сбой задачи, а неправильная команда — потенциальная угроза безопасности. Метод делает малые модели пригодными для продакшн-агентов там, где раньше требовались более крупные.

https://developer.nvidia.com/blog/improving-bash-generation-in-small-language-models-with-grammar-constrained-decoding/

Nvidia Tech обновила NVIDIA Dynamo — инфраструктуру для агентного AI-инференса.

Главное: движок теперь корректно поддерживает многоходовые агентные сессии с чередованием рассуждений и вызовов инструментов. Это критично для таких клиентов, как Claude Code или Codex.

Три ключевых улучшения:

1. Флаг --strip-anthropic-preamble убирает сессионные заголовки Anthropic перед токенизацией. Результат — KV-кэш снова работает, а время до первого токена падает в 5 раз: с 912 мс до 169 мс на промптах в 52К токенов.

2. Стриминг вызовов инструментов теперь идёт сразу по мере декодирования, а не после завершения хода — агент реагирует быстрее.

3. Рассуждения правильно привязываются к конкретным вызовам инструментов внутри одного хода, а не сваливаются в один блок — модель сохраняет контекст точнее.

Для разработчиков, строящих агентные пайплайны на собственной инфраструктуре, — важное обновление.

https://developer.nvidia.com/blog/streaming-tokens-and-tools-multi-turn-agentic-harness-support-in-nvidia-dynamo/

Cola DLM: диффузия не для токенов, а для смысла

Авторегрессивные модели генерируют текст слева направо — это удобно, но создаёт жёсткий порядок и медленный инференс. Диффузионные LLM (типа LLaDA) работают прямо в пространстве токенов, что тоже не идеально для глобальной семантики.

Cola DLM предлагает другой путь: сначала Text VAE сжимает текст в непрерывные латентные векторы, затем block-causal DiT моделирует prior через Flow Matching в этом латентном пространстве, и наконец декодер восстанавливает текст из латента.

Ключевая идея: диффузия используется не для восстановления токенов из шума, а для транспорта латентного prior — то есть модель учится глобальной семантической структуре отдельно от локальной текстовой реализации.

Эксперименты на ~2B параметрах показывают конкурентное качество с AR и LLaDA базелайнами, плюс хорошее масштабирование. Бонус: архитектура естественно расширяется на другие модальности (например, изображения).

https://arxiv.org/abs/2605.06548

Одна модель, все награды сразу — и без ручной настройки

Когда хочешь, чтобы диффузионная модель была одновременно эстетичной, точной по тексту и правильно рендерила надписи — простое взвешенное суммирование наград не работает. Почему? Потому что большинство сэмплов "специализированы": картинка с котом ничего не говорит OCR-reward, а красивая типографика может быть посредственной эстетически. В итоге градиенты конфликтуют — в 80% мини-батчей взвешенная сумма активно тянет модель против хотя бы одной из наград.

MARBLE решает это в пространстве градиентов: для каждой награды считается отдельный advantage и отдельный градиент политики, затем они нормализуются и гармонизируются в единое направление обновления. Плюс EMA-сглаживание коэффициентов, чтобы редкие сигналы не глушились случайным мини-батчем. Вычислительная стоимость — почти как у однонаградного baseline за счёт аффинной структуры DiffusionNFT loss.

Результат: одна модель, все цели одновременно, без ручного расписания этапов обучения.

MiniCPM-o 4.5: ИИ, который слушает и говорит одновременно

Все существующие мультимодальные модели работают в режиме "воспринимай — отвечай — воспринимай". Это как разговор по рации: пока говоришь, не слышишь. MiniCPM-o 4.5 от OpenBMB ломает эту схему.

Ключевая идея — фреймворк Omni-Flow: восприятие и генерация ответа идут параллельно по единой временной оси. Взято из техники мультиплексирования с разделением по времени — поток разбивается на мелкие окна, в каждом модель одновременно читает новые сигналы и генерирует вывод.

Архитектура: Whisper-энкодер для аудио, SigLIP для видео, Qwen3-8B как backbone (генерирует только текст, 3-4 токена/сек), отдельный лёгкий декодер речи на базе Llama (~0.3B). Всё соединено на уровне токенов, обучается end-to-end.

Результат: 9B параметров, работает на устройствах с <12GB RAM, по vision-language догоняет Gemini 2.5 Flash, обгоняет Qwen3-Omni-30B в omni-понимании. Плюс поддержка клонирования голоса через мультимодальный system prompt.

https://arxiv.org/abs/2604.27393