Многоагентный поиск по вебу: как собрать тысячи фактов в одну таблицу
Представьте задачу: найди все концерты Taylor Swift с 2010 по 2025 с датой, городом и площадкой. Это не один сложный вопрос — это сотни строк, каждую надо проверить. Обычный LLM-агент захлёбывается: контекст переполняется, ошибки множатся.
Web2BigTable решает это двухуровневой мультиагентной системой. Верхний оркестратор разбивает запрос на подзадачи, нижние воркеры параллельно их решают. Ключевая фишка — общая "рабочая доска": воркеры видят прогресс друг друга, не дублируют поиск и разрешают конфликты между источниками.
Система самообучается через цикл run-verify-reflect: накапливает навыки декомпозиции и выполнения в внешней памяти, не трогая веса LLM. На WideSearch бенчмарке результат в 7.5 раз лучше второго места по Success Rate.
https://arxiv.org/abs/2604.27221
Представьте задачу: найди все концерты Taylor Swift с 2010 по 2025 с датой, городом и площадкой. Это не один сложный вопрос — это сотни строк, каждую надо проверить. Обычный LLM-агент захлёбывается: контекст переполняется, ошибки множатся.
Web2BigTable решает это двухуровневой мультиагентной системой. Верхний оркестратор разбивает запрос на подзадачи, нижние воркеры параллельно их решают. Ключевая фишка — общая "рабочая доска": воркеры видят прогресс друг друга, не дублируют поиск и разрешают конфликты между источниками.
Система самообучается через цикл run-verify-reflect: накапливает навыки декомпозиции и выполнения в внешней памяти, не трогая веса LLM. На WideSearch бенчмарке результат в 7.5 раз лучше второго места по Success Rate.
https://arxiv.org/abs/2604.27221
🔥1
MolmoAct2: полностью открытый робот-мозг, который думает быстро (by Ai2)
Проблема современных VLA-моделей (vision-language-action): закрытый код, медленный reasoning из-за сотен токенов перед каждым действием, и привязка к дорогим платформам.
MolmoAct2 от Ai2 атакует все три проблемы сразу.
Ключевые идеи:
1. Molmo2-ER — специализированный VLM-бэкбон для пространственного мышления (3.3M примеров: метрические расстояния, ego-exo видео, 3D-геометрия). Обходит GPT-5 и Gemini Robotics ER-1.5 на 13 бенчмарках.
2. Action expert с flow matching поверх KV-кэша VLM — непрерывные траектории без потери контекста.
3. MolmoAct2-Think: reasoning только по изменившимся регионам сцены между шагами. Статичные части пропускаются — latency падает, качество растёт.
Всё полностью открыто: веса, код, датасеты (720 часов bimanual телеопераций — крупнейший открытый датасет такого рода).
https://arxiv.org/abs/2605.02881
Проблема современных VLA-моделей (vision-language-action): закрытый код, медленный reasoning из-за сотен токенов перед каждым действием, и привязка к дорогим платформам.
MolmoAct2 от Ai2 атакует все три проблемы сразу.
Ключевые идеи:
1. Molmo2-ER — специализированный VLM-бэкбон для пространственного мышления (3.3M примеров: метрические расстояния, ego-exo видео, 3D-геометрия). Обходит GPT-5 и Gemini Robotics ER-1.5 на 13 бенчмарках.
2. Action expert с flow matching поверх KV-кэша VLM — непрерывные траектории без потери контекста.
3. MolmoAct2-Think: reasoning только по изменившимся регионам сцены между шагами. Статичные части пропускаются — latency падает, качество растёт.
Всё полностью открыто: веса, код, датасеты (720 часов bimanual телеопераций — крупнейший открытый датасет такого рода).
https://arxiv.org/abs/2605.02881
OpenAI рассказала, как устроена их голосовая AI-инфраструктура изнутри.
Компания полностью переписала свой WebRTC-стек, чтобы обеспечить минимальную задержку и работу в реальном времени по всему миру. Главная задача была сложной: голосовой AI должен не просто отвечать быстро, но и правильно понимать паузы в разговоре — когда человек закончил говорить, а когда просто сделал вдох.
Для этого OpenAI реализовала умное управление очерёдностью реплик (turn-taking), чтобы диалог звучал естественно, а не как разговор с автоответчиком.
Всё это работает на глобальной инфраструктуре с низкими задержками — критично для голоса, где даже 200 мс ощущаются как неловкая пауза.
Это основа для Realtime API и голосового режима ChatGPT. Чем стабильнее и быстрее инфраструктура — тем лучше опыт для всех, кто строит голосовые продукты на базе OpenAI.
https://openai.com/index/delivering-low-latency-voice-ai-at-scale
Компания полностью переписала свой WebRTC-стек, чтобы обеспечить минимальную задержку и работу в реальном времени по всему миру. Главная задача была сложной: голосовой AI должен не просто отвечать быстро, но и правильно понимать паузы в разговоре — когда человек закончил говорить, а когда просто сделал вдох.
Для этого OpenAI реализовала умное управление очерёдностью реплик (turn-taking), чтобы диалог звучал естественно, а не как разговор с автоответчиком.
Всё это работает на глобальной инфраструктуре с низкими задержками — критично для голоса, где даже 200 мс ощущаются как неловкая пауза.
Это основа для Realtime API и голосового режима ChatGPT. Чем стабильнее и быстрее инфраструктура — тем лучше опыт для всех, кто строит голосовые продукты на базе OpenAI.
https://openai.com/index/delivering-low-latency-voice-ai-at-scale
OpenAI
How OpenAI delivers low-latency voice AI at scale
How OpenAI rebuilt its WebRTC stack to power real-time Voice AI with low latency, global scale, and seamless conversational turn-taking.
Nvidia Tech представила cuOpt Agent Skills — набор инструментов для оптимизации цепочек поставок с помощью агентного ИИ.
Суть: теперь LLM-агент может принимать задачи на обычном языке — например, "составь 12-недельный план производства с минимальными затратами" — и автоматически переводить их в математические модели, которые решает GPU-ускоренный движок cuOpt.
Раньше такие задачи занимали у OR-команд недели. Теперь — секунды. Агент сам разбивает цель на подзадачи, формулирует модель и отдаёт её на расчёт GPU, а затем возвращает человекочитаемый план с метриками: затраты, загрузка мощностей, остатки запасов.
В основе — модель MiniMax M2.5, LangChain Deep Agents и NVIDIA cuOpt. Всё контейнеризировано, запускается через Docker Compose. Код и примеры уже на GitHub.
Актуально для логистики, ретейла и производства — там, где цена неоптимального решения измеряется миллионами.
https://developer.nvidia.com/blog/optimize-supply-chain-decision-systems-using-nvidia-cuopt-agent-skills/
Суть: теперь LLM-агент может принимать задачи на обычном языке — например, "составь 12-недельный план производства с минимальными затратами" — и автоматически переводить их в математические модели, которые решает GPU-ускоренный движок cuOpt.
Раньше такие задачи занимали у OR-команд недели. Теперь — секунды. Агент сам разбивает цель на подзадачи, формулирует модель и отдаёт её на расчёт GPU, а затем возвращает человекочитаемый план с метриками: затраты, загрузка мощностей, остатки запасов.
В основе — модель MiniMax M2.5, LangChain Deep Agents и NVIDIA cuOpt. Всё контейнеризировано, запускается через Docker Compose. Код и примеры уже на GitHub.
Актуально для логистики, ретейла и производства — там, где цена неоптимального решения измеряется миллионами.
https://developer.nvidia.com/blog/optimize-supply-chain-decision-systems-using-nvidia-cuopt-agent-skills/
NVIDIA Technical Blog
Optimize Supply Chain Decision Systems Using NVIDIA cuOpt Agent Skills
Modern supply chains operate under the constant pressures of fluctuating demand, volatile costs, constrained capacity, and interdependent decision-making. Traditionally…
Apple ML выпустила исследование PORTool — новый алгоритм обучения AI-агентов, которые умеют использовать внешние инструменты.
Проблема была такая: когда агент решает сложную задачу и вызывает несколько инструментов по цепочке, непонятно, какой именно шаг привёл к успеху или провалу. Стандартные методы оценивают только итоговый результат, игнорируя промежуточные решения.
PORTool строит дерево вариантов: агент пробует разные ветки решений с общим началом, а алгоритм оценивает важность каждого шага — привели ли его потомки к правильному ответу и успешно ли сработали вызовы инструментов.
Результат: агенты точнее отвечают на вопросы и при этом делают меньше лишних обращений к инструментам. Это важно для практики — меньше вызовов означает меньше задержек и затрат.
Работа опубликована в мае 2026 года и потенциально влияет на то, как будут строиться агентные системы в продуктах Apple.
https://machinelearning.apple.com/research/portool-policy-optimization
Проблема была такая: когда агент решает сложную задачу и вызывает несколько инструментов по цепочке, непонятно, какой именно шаг привёл к успеху или провалу. Стандартные методы оценивают только итоговый результат, игнорируя промежуточные решения.
PORTool строит дерево вариантов: агент пробует разные ветки решений с общим началом, а алгоритм оценивает важность каждого шага — привели ли его потомки к правильному ответу и успешно ли сработали вызовы инструментов.
Результат: агенты точнее отвечают на вопросы и при этом делают меньше лишних обращений к инструментам. Это важно для практики — меньше вызовов означает меньше задержек и затрат.
Работа опубликована в мае 2026 года и потенциально влияет на то, как будут строиться агентные системы в продуктах Apple.
https://machinelearning.apple.com/research/portool-policy-optimization
Apple Machine Learning Research
PORTool: Importance-Aware Policy Optimization with Rewarded Tree for Multi-Tool-Integrated Reasoning
Multi-tool-integrated reasoning enables LLM-empowered tool-use agents to solve complex tasks by interleaving natural-language reasoning with…
Как научить LLM учиться из новых документов без разметки и обратной связи?
Большинство LLM хорошо справляются с задачами, покрытыми при предобучении. Но что если нужно прочитать незнакомую техническую документацию и применить знания из неё? Авторы называют это "context learning" и признают: современные модели здесь слабы.
Решение — Ctx2Skill. Идея: автоматически извлекать из контекста "навыки" (skills) — текстовые правила и процедуры, которые потом подключаются к любой LLM при инференсе.
Как это работает: два агента играют друг против друга. Challenger генерирует задачи по контексту, Reasoner их решает, Judge оценивает. Провалы → обновление навыков Reasoner. Лёгкие задачи → Challenger усложняет вопросы. Оба агента эволюционируют без изменения весов.
Проблема: со временем Challenger начинает генерировать патологические задачи, а Reasoner переспециализируется. Решение — Cross-Time Replay: выбирается набор навыков, лучше всего балансирующий между историческими задачами.
Большинство LLM хорошо справляются с задачами, покрытыми при предобучении. Но что если нужно прочитать незнакомую техническую документацию и применить знания из неё? Авторы называют это "context learning" и признают: современные модели здесь слабы.
Решение — Ctx2Skill. Идея: автоматически извлекать из контекста "навыки" (skills) — текстовые правила и процедуры, которые потом подключаются к любой LLM при инференсе.
Как это работает: два агента играют друг против друга. Challenger генерирует задачи по контексту, Reasoner их решает, Judge оценивает. Провалы → обновление навыков Reasoner. Лёгкие задачи → Challenger усложняет вопросы. Оба агента эволюционируют без изменения весов.
Проблема: со временем Challenger начинает генерировать патологические задачи, а Reasoner переспециализируется. Решение — Cross-Time Replay: выбирается набор навыков, лучше всего балансирующий между историческими задачами.
SFT портит модель перед RL — и это можно починить
Стандартный пайплайн обучения мультимодальных моделей: сначала SFT, потом RL. Но оказывается, SFT может навредить: модель дрейфует от своего исходного распределения, учит поверхностные паттерны, а не реальный reasoning. Особенно больно это бьёт по мультимодальным моделям — ошибки в визуальном восприятии потом усиливаются в RL.
Авторы из HKUSTGZ предлагают вставить между SFT и RL новый этап — PRISM. Суть: adversarial on-policy distillation, где модель играет в minimax-игру против MoE-дискриминатора с двумя экспертами — один проверяет visual grounding, другой — логику рассуждений. Дискриминатор учится отличать генерации модели от эталонного пула, а модель учится их неотличимо имитировать.
Итог: PRISM+GRPO бьёт обычный SFT→GRPO на +4.4 и +6.0 пунктов на Qwen3-VL-4B/8B соответственно.
https://arxiv.org/abs/2604.28123
Стандартный пайплайн обучения мультимодальных моделей: сначала SFT, потом RL. Но оказывается, SFT может навредить: модель дрейфует от своего исходного распределения, учит поверхностные паттерны, а не реальный reasoning. Особенно больно это бьёт по мультимодальным моделям — ошибки в визуальном восприятии потом усиливаются в RL.
Авторы из HKUSTGZ предлагают вставить между SFT и RL новый этап — PRISM. Суть: adversarial on-policy distillation, где модель играет в minimax-игру против MoE-дискриминатора с двумя экспертами — один проверяет visual grounding, другой — логику рассуждений. Дискриминатор учится отличать генерации модели от эталонного пула, а модель учится их неотличимо имитировать.
Итог: PRISM+GRPO бьёт обычный SFT→GRPO на +4.4 и +6.0 пунктов на Qwen3-VL-4B/8B соответственно.
https://arxiv.org/abs/2604.28123
Визуальная память умирает при длинных ответах — и вот как это починить
В мультимодальных LLM есть неочевидная проблема: чем длиннее генерация, тем слабее модель "видит" картинку. Визуальные токены стоят в начале контекста и статичны, а текстовая история растёт — механизм внимания просто перераспределяет вероятности, и визуальный сигнал затухает как O(1/t). Авторы доказывают это математически и называют "Low-Attention Equilibrium".
Наивное решение — переинжектировать визуальные токены в процессе генерации — ломает логику рассуждений, вмешиваясь в авторегрессивный поток.
Авторы предлагают Persistent Visual Memory (PVM): лёгкий параллельный модуль рядом с FFN в трансформер-блоке. Он читает оригинальные визуальные эмбеддинги через gated cross-attention независимо от длины контекста, не трогая основной поток рассуждений.
Результат на базе Qwen3-VL: +4.8% на 8B и +4.4% на 4B по 8 бенчмаркам. LogitLens-анализ подтверждает, что модель быстрее сходится к правильному ответу внутри слоёв.
В мультимодальных LLM есть неочевидная проблема: чем длиннее генерация, тем слабее модель "видит" картинку. Визуальные токены стоят в начале контекста и статичны, а текстовая история растёт — механизм внимания просто перераспределяет вероятности, и визуальный сигнал затухает как O(1/t). Авторы доказывают это математически и называют "Low-Attention Equilibrium".
Наивное решение — переинжектировать визуальные токены в процессе генерации — ломает логику рассуждений, вмешиваясь в авторегрессивный поток.
Авторы предлагают Persistent Visual Memory (PVM): лёгкий параллельный модуль рядом с FFN в трансформер-блоке. Он читает оригинальные визуальные эмбеддинги через gated cross-attention независимо от длины контекста, не трогая основной поток рассуждений.
Результат на базе Qwen3-VL: +4.8% на 8B и +4.4% на 4B по 8 бенчмаркам. LogitLens-анализ подтверждает, что модель быстрее сходится к правильному ответу внутри слоёв.
Nvidia Tech рассказала, как строить ИИ-агентов прямо в автомобиле — от облака до бортового компьютера.
Суть: традиционные голосовые помощники в машинах работают по принципу «команда → действие → сброс». Nvidia предлагает заменить это агентными системами на базе LLM и VLM, которые умеют рассуждать, помнить контекст и действовать проактивно.
Что это даёт водителю: умные рутины с учётом календаря, объяснение поведения ADAS в реальном времени, диагностика на естественном языке, персонализация под пассажиров.
Железо: платформа DRIVE AGX (Orin и новый Thor на архитектуре Blackwell) позволяет гонять модели до 13B параметров прямо на борту с задержкой менее 500 мс. Можно ставить как отдельный AI-блок к существующей мультимедиа-системе — без переработки всей электроники.
Масштаб рынка впечатляет: по прогнозу ABI Research, к 2035 году агентный ИИ появится в 70 млн автомобилей — против 5 млн сегодня.
https://developer.nvidia.com/blog/how-to-build-in-vehicle-ai-agents-with-nvidia-from-cloud-to-car/
Суть: традиционные голосовые помощники в машинах работают по принципу «команда → действие → сброс». Nvidia предлагает заменить это агентными системами на базе LLM и VLM, которые умеют рассуждать, помнить контекст и действовать проактивно.
Что это даёт водителю: умные рутины с учётом календаря, объяснение поведения ADAS в реальном времени, диагностика на естественном языке, персонализация под пассажиров.
Железо: платформа DRIVE AGX (Orin и новый Thor на архитектуре Blackwell) позволяет гонять модели до 13B параметров прямо на борту с задержкой менее 500 мс. Можно ставить как отдельный AI-блок к существующей мультимедиа-системе — без переработки всей электроники.
Масштаб рынка впечатляет: по прогнозу ABI Research, к 2035 году агентный ИИ появится в 70 млн автомобилей — против 5 млн сегодня.
https://developer.nvidia.com/blog/how-to-build-in-vehicle-ai-agents-with-nvidia-from-cloud-to-car/
NVIDIA Technical Blog
How to Build In-Vehicle AI Agents with NVIDIA: From Cloud to Car
The automotive cockpit is undergoing a fundamental shift from rule-based interfaces to agentic, multimodal AI systems capable of reasoning, planning, and acting. In most vehicles on the road today…
Nvidia Tech: зачем агентному ИИ нужно новое железо
Nvidia объяснила, почему традиционная инфраструктура не справляется с агентными AI-системами — и представила платформу Vera Rubin как ответ на этот вызов.
Суть проблемы: агенты вроде Claude Code не просто отвечают на вопросы. Они вызывают инструменты, запускают под-агентов, управляют памятью и сами решают, когда задача выполнена. Один сеанс из 283 запросов за 33 минуты может потреблять до 156 000 токенов — это в 15 раз больше, чем обычный чат.
Такие нагрузки ломают экономику стандартных серверов: затраты на обработку входных токенов при каждом шаге вывода становятся неподъёмными.
Платформа Vera Rubin (NVL72) создана специально под эти задачи — с поддержкой контекста до 400K токенов, кешированием промптов и специализированными чипами. Цель — сделать агентный вывод одновременно быстрым и экономически выгодным.
Для пользователей это значит: более сложные AI-агенты станут дешевле и доступнее.
https://developer.nvidia.com/blog/building-for-the-rising-complexity-of-agentic-systems-with-extreme-co-design/
Nvidia объяснила, почему традиционная инфраструктура не справляется с агентными AI-системами — и представила платформу Vera Rubin как ответ на этот вызов.
Суть проблемы: агенты вроде Claude Code не просто отвечают на вопросы. Они вызывают инструменты, запускают под-агентов, управляют памятью и сами решают, когда задача выполнена. Один сеанс из 283 запросов за 33 минуты может потреблять до 156 000 токенов — это в 15 раз больше, чем обычный чат.
Такие нагрузки ломают экономику стандартных серверов: затраты на обработку входных токенов при каждом шаге вывода становятся неподъёмными.
Платформа Vera Rubin (NVL72) создана специально под эти задачи — с поддержкой контекста до 400K токенов, кешированием промптов и специализированными чипами. Цель — сделать агентный вывод одновременно быстрым и экономически выгодным.
Для пользователей это значит: более сложные AI-агенты станут дешевле и доступнее.
https://developer.nvidia.com/blog/building-for-the-rising-complexity-of-agentic-systems-with-extreme-co-design/
NVIDIA Technical Blog
Building for the Rising Complexity of Agentic Systems with Extreme Co-Design
Generative AI’s explosive first chapter was defined by humans sending requests and models responding. The agentic chapter is different. Agents don’t follow a pre-determined sequence of actions.
IBM Research: квантовые компьютеры смоделировали белок из 12 635 атомов
Команда из Cleveland Clinic, RIKEN и IBM совершила прорыв в квантовой химии: впервые смоделирован белково-лигандный комплекс масштабом более 12 000 атомов. Для этого использовали два квантовых процессора IBM Heron (до 94 кубитов) и суперкомпьютеры Fugaku и Miyabi-G.
Результат поразительный: за 4 месяца система выросла с 303 до 12 635 атомов — в 40 раз. Точность улучшилась в 210 раз по сравнению с предыдущими квантово-классическими подходами.
Пока метод не превосходит лучшие классические алгоритмы, но уже доказывает: квантовые компьютеры реально полезны для науки сегодня. Главное применение — фармацевтика: точное предсказание поведения молекул ускорит разработку новых лекарств.
https://research.ibm.com/blog/cleveland-clinic-riken-chemistry?utm_medium=rss&utm_source=rss
Команда из Cleveland Clinic, RIKEN и IBM совершила прорыв в квантовой химии: впервые смоделирован белково-лигандный комплекс масштабом более 12 000 атомов. Для этого использовали два квантовых процессора IBM Heron (до 94 кубитов) и суперкомпьютеры Fugaku и Miyabi-G.
Результат поразительный: за 4 месяца система выросла с 303 до 12 635 атомов — в 40 раз. Точность улучшилась в 210 раз по сравнению с предыдущими квантово-классическими подходами.
Пока метод не превосходит лучшие классические алгоритмы, но уже доказывает: квантовые компьютеры реально полезны для науки сегодня. Главное применение — фармацевтика: точное предсказание поведения молекул ускорит разработку новых лекарств.
https://research.ibm.com/blog/cleveland-clinic-riken-chemistry?utm_medium=rss&utm_source=rss
Умный дистиллятор видео: не все кадры одинаково полезны
Когда дистиллируешь большую видеомодель в быструю, обычно оптимизируешь всё подряд с одинаковым весом — каждый роллаут, каждый пиксель. Авторы из FrameX-AI говорят: это расточительство.
Идея Stream-R1: у DMD-дистилляции есть два источника "неравенства". Первый — Inter-Reliability: часть роллаутов уже близка к качественному режиму учителя, а часть нет. Градиент с плохих роллаутов просто шумит. Второй — Intra-Perplexity: внутри одного роллаута одни регионы уже "насытились" наградой, а другие ещё нет.
Решение: один предобученный reward-model делает всё. Он выдаёт скаляр для взвешивания роллаутов по надёжности, и через backprop — карту салиентности по пикселям/кадрам, куда давить сильнее. Три оси качества (визуал, движение, text alignment) балансируются адаптивно.
Результат: улучшение по всем трём метрикам без изменений архитектуры и без доп. затрат на инференс.
https://arxiv.org/abs/2605.03849
Когда дистиллируешь большую видеомодель в быструю, обычно оптимизируешь всё подряд с одинаковым весом — каждый роллаут, каждый пиксель. Авторы из FrameX-AI говорят: это расточительство.
Идея Stream-R1: у DMD-дистилляции есть два источника "неравенства". Первый — Inter-Reliability: часть роллаутов уже близка к качественному режиму учителя, а часть нет. Градиент с плохих роллаутов просто шумит. Второй — Intra-Perplexity: внутри одного роллаута одни регионы уже "насытились" наградой, а другие ещё нет.
Решение: один предобученный reward-model делает всё. Он выдаёт скаляр для взвешивания роллаутов по надёжности, и через backprop — карту салиентности по пикселям/кадрам, куда давить сильнее. Три оси качества (визуал, движение, text alignment) балансируются адаптивно.
Результат: улучшение по всем трём метрикам без изменений архитектуры и без доп. затрат на инференс.
https://arxiv.org/abs/2605.03849
Один фреймворк, чтобы и понимать сцену, и предсказывать её будущее
Большинство моделей для автономного вождения умеют либо генерировать будущие состояния сцены (в 3D, по облакам точек), либо отвечать на вопросы о текущей сцене через VLM. Но не то и другое вместе.
HERMES++ объединяет оба подхода в одном фреймворке. Ключевая идея: BEV-представление (вид сверху) сжимает мультикамерный ввод в токены, совместимые с LLM. Затем "world queries", обогащённые языковой моделью, через модуль Current-to-Future Link передают семантический контекст в генератор будущей геометрии. Добавляется Joint Geometric Optimization — совместная явная и неявная регуляризация на облаках точек и латентном пространстве.
Результат: -8.2% ошибки генерации (vs DriveX) и +9.2% CIDEr на понимании сцены (vs Omni-Q). Модель одновременно описывает сцену словами и предсказывает, как она изменится через 3 секунды.
https://arxiv.org/abs/2604.28196
Большинство моделей для автономного вождения умеют либо генерировать будущие состояния сцены (в 3D, по облакам точек), либо отвечать на вопросы о текущей сцене через VLM. Но не то и другое вместе.
HERMES++ объединяет оба подхода в одном фреймворке. Ключевая идея: BEV-представление (вид сверху) сжимает мультикамерный ввод в токены, совместимые с LLM. Затем "world queries", обогащённые языковой моделью, через модуль Current-to-Future Link передают семантический контекст в генератор будущей геометрии. Добавляется Joint Geometric Optimization — совместная явная и неявная регуляризация на облаках точек и латентном пространстве.
Результат: -8.2% ошибки генерации (vs DriveX) и +9.2% CIDEr на понимании сцены (vs Omni-Q). Модель одновременно описывает сцену словами и предсказывает, как она изменится через 3 секунды.
https://arxiv.org/abs/2604.28196
3D-объекты, которые можно трогать, толкать и крутить — не просто красивые модели
Большинство современных 3D-генераторов делают "пустые оболочки": красивые снаружи, но бесполезные для роботов или игровых движков — их нельзя схватить, открыть или сломать. PhysForge решает это двухэтапным пайплайном.
Сначала VLM строит "Иерархический физический чертёж" объекта: разбивает его на части, определяет материалы, типы сочленений (revolute, prismatic) и функции каждой детали. Потом диффузионная модель "кует" геометрию вместе с кинематическими параметрами через механизм KineVoxel Injection — параметры суставов буквально закодированы в специальные воксели и генерируются совместно с формой.
Для обучения собрали PhysDB — 150k объектов с четырёхуровневой аннотацией: от реального размера до атомарных affordances (pushable, graspable).
На выходе — готовые к симуляции 3D-ассеты из одной картинки.
https://arxiv.org/abs/2605.05163
Большинство современных 3D-генераторов делают "пустые оболочки": красивые снаружи, но бесполезные для роботов или игровых движков — их нельзя схватить, открыть или сломать. PhysForge решает это двухэтапным пайплайном.
Сначала VLM строит "Иерархический физический чертёж" объекта: разбивает его на части, определяет материалы, типы сочленений (revolute, prismatic) и функции каждой детали. Потом диффузионная модель "кует" геометрию вместе с кинематическими параметрами через механизм KineVoxel Injection — параметры суставов буквально закодированы в специальные воксели и генерируются совместно с формой.
Для обучения собрали PhysDB — 150k объектов с четырёхуровневой аннотацией: от реального размера до атомарных affordances (pushable, graspable).
На выходе — готовые к симуляции 3D-ассеты из одной картинки.
https://arxiv.org/abs/2605.05163
OpenAI открыла новый сетевой протокол для суперкомпьютеров — MRC (Multipath Reliable Connection). Он разработан специально для масштабных кластеров, на которых обучаются большие AI-модели.
Главная проблема при обучении GPT-подобных моделей — сеть между тысячами GPU должна работать без сбоев. Один упавший пакет данных может тормозить весь кластер. MRC решает это через многопутевую передачу данных: трафик идёт сразу по нескольким маршрутам, что повышает надёжность и скорость.
Протокол передан в открытый доступ через организацию OCP (Open Compute Project), то есть им смогут воспользоваться другие компании и исследователи.
Для рядовых пользователей это означает, что будущие модели OpenAI будут обучаться быстрее и стабильнее — а значит, обновления выйдут раньше.
https://openai.com/index/mrc-supercomputer-networking
Главная проблема при обучении GPT-подобных моделей — сеть между тысячами GPU должна работать без сбоев. Один упавший пакет данных может тормозить весь кластер. MRC решает это через многопутевую передачу данных: трафик идёт сразу по нескольким маршрутам, что повышает надёжность и скорость.
Протокол передан в открытый доступ через организацию OCP (Open Compute Project), то есть им смогут воспользоваться другие компании и исследователи.
Для рядовых пользователей это означает, что будущие модели OpenAI будут обучаться быстрее и стабильнее — а значит, обновления выйдут раньше.
https://openai.com/index/mrc-supercomputer-networking
OpenAI
Supercomputer networking to accelerate large scale AI training
OpenAI introduces MRC (Multipath Reliable Connection), a new supercomputer networking protocol released via OCP to improve resilience and performance in large-scale AI training clusters.
Apple ML представила SpecMD — фреймворк для оптимизации MoE-моделей.
Mixture-of-Experts модели активируют только часть параметров при каждом запросе, но эффективно использовать эту разреженность мешает отсутствие умного кэширования. Предыдущие решения работали вслепую — никто толком не понимал, как разные стратегии кэша ведут себя на разном железе.
SpecMD — стандартизированный бенчмарк для сравнения политик кэширования экспертов. Главный вывод: классические алгоритмы LRU и LFU не работают для MoE, потому что доступ к экспертам не подчиняется временной локальности.
Команда предложила новую политику вытеснения Least-Stale, которая использует предсказуемые паттерны MoE. Результат: до 85x меньше коллизий по сравнению с LRU, 88% попаданий в кэш и сокращение времени до первого токена на 34,7% — при использовании всего 0,6 ГБ VRAM.
Статья принята на ICML 2026.
https://machinelearning.apple.com/research/specmd-expert-prefetching
Mixture-of-Experts модели активируют только часть параметров при каждом запросе, но эффективно использовать эту разреженность мешает отсутствие умного кэширования. Предыдущие решения работали вслепую — никто толком не понимал, как разные стратегии кэша ведут себя на разном железе.
SpecMD — стандартизированный бенчмарк для сравнения политик кэширования экспертов. Главный вывод: классические алгоритмы LRU и LFU не работают для MoE, потому что доступ к экспертам не подчиняется временной локальности.
Команда предложила новую политику вытеснения Least-Stale, которая использует предсказуемые паттерны MoE. Результат: до 85x меньше коллизий по сравнению с LRU, 88% попаданий в кэш и сокращение времени до первого токена на 34,7% — при использовании всего 0,6 ГБ VRAM.
Статья принята на ICML 2026.
https://machinelearning.apple.com/research/specmd-expert-prefetching
Apple ML представила iTARFlow — улучшенную версию генеративных моделей на основе Normalizing Flows.
Суть: исследователи взяли архитектуру TARFlow и добавили к ней итеративное шумоподавление в стиле диффузионных моделей — но без отказа от ключевого преимущества NF, а именно полноценного likelihood-based обучения.
Что важно: диффузионные модели сейчас доминируют в генерации изображений, но iTARFlow показывает конкурентные результаты на ImageNet при разрешениях 64, 128 и 256 пикселей, оставаясь при этом математически более прозрачным и обучаемым end-to-end.
Для кого это важно: прежде всего для исследователей — работа показывает, что Normalizing Flows ещё не исчерпали свой потенциал и могут стать реальной альтернативой диффузии. Код уже открыт на GitHub.
Статья выйдет на ICML 2026.
https://machinelearning.apple.com/research/normalizing-flows-iterative-denoising
Суть: исследователи взяли архитектуру TARFlow и добавили к ней итеративное шумоподавление в стиле диффузионных моделей — но без отказа от ключевого преимущества NF, а именно полноценного likelihood-based обучения.
Что важно: диффузионные модели сейчас доминируют в генерации изображений, но iTARFlow показывает конкурентные результаты на ImageNet при разрешениях 64, 128 и 256 пикселей, оставаясь при этом математически более прозрачным и обучаемым end-to-end.
Для кого это важно: прежде всего для исследователей — работа показывает, что Normalizing Flows ещё не исчерпали свой потенциал и могут стать реальной альтернативой диффузии. Код уже открыт на GitHub.
Статья выйдет на ICML 2026.
https://machinelearning.apple.com/research/normalizing-flows-iterative-denoising
Apple Machine Learning Research
Normalizing Flows with Iterative Denoising
Normalizing Flows (NFs) are a classical family of likelihood-based methods that have received revived attention. Recent efforts such as…
RLDX-1: робот-манипулятор, который видит, чувствует и помнит (by RLWRLD)
Современные VLA-модели (Vision-Language-Action) умеют понимать сцены и следовать инструкциям, но плохо справляются с динамическими задачами — ловить движущиеся объекты, чувствовать контакт, помнить прошлые действия. RLDX-1 решает это через архитектуру Multi-Stream Action Transformer (MSAT): отдельные потоки для каждой модальности (видео, тактильность, память) с joint self-attention между ними.
Три ключевых фишки: motion awareness (сжатие прошлых кадров в один токен), long-term memory (очередь прошлых наблюдений), physical sensing (предсказание тактильных/торковых сигналов).
Результат: на задачах с гуманоидом ALLEX — 86.8% против ~40% у π0.5 и GR00T N1.6. Ловля объектов на конвейере: 87.5% vs 29.2% у π0.5.
Ещё оптимизировали инференс через CUDA Graph + кастомные kernel fusion — с 71.2 мс до реального времени на RTX 5090.
https://arxiv.org/abs/2605.03269
Современные VLA-модели (Vision-Language-Action) умеют понимать сцены и следовать инструкциям, но плохо справляются с динамическими задачами — ловить движущиеся объекты, чувствовать контакт, помнить прошлые действия. RLDX-1 решает это через архитектуру Multi-Stream Action Transformer (MSAT): отдельные потоки для каждой модальности (видео, тактильность, память) с joint self-attention между ними.
Три ключевых фишки: motion awareness (сжатие прошлых кадров в один токен), long-term memory (очередь прошлых наблюдений), physical sensing (предсказание тактильных/торковых сигналов).
Результат: на задачах с гуманоидом ALLEX — 86.8% против ~40% у π0.5 и GR00T N1.6. Ловля объектов на конвейере: 87.5% vs 29.2% у π0.5.
Ещё оптимизировали инференс через CUDA Graph + кастомные kernel fusion — с 71.2 мс до реального времени на RTX 5090.
https://arxiv.org/abs/2605.03269
OpenSearch-VL: открытый рецепт мультимодального поискового агента (by Tencent)
Большинство сильных мультимодальных поисковых агентов — закрытые разработки крупных корпораций. Tencent Hunyuan выкладывает полный открытый рецепт: данные, код, модели.
Три ключевые идеи:
1. Данные из Wikipedia-графа. Агент строит многошаговые VQA-задачи по цепочкам сущностей, переписывая промежуточные узлы в «размытые» описания — чтобы нельзя было срезать путь одним поиском.
2. Инструменты не только поиск. Помимо TextSearch/ImageSearch агент умеет кропать, повышать резкость, делать суперрезолюцию и исправлять перспективу — для работы с реальными кривыми фото и скриншотами.
3. Fatal-aware GRPO. При обучении с RL токены после «фатального» сбоя инструмента маскируются, а полезные рассуждения до сбоя сохраняются через одностороннее зажатие advantage.
Итог: +13.8 пунктов в среднем по 7 бенчмаркам над Qwen3-VL-30B-A3B.
https://arxiv.org/abs/2605.05185
Большинство сильных мультимодальных поисковых агентов — закрытые разработки крупных корпораций. Tencent Hunyuan выкладывает полный открытый рецепт: данные, код, модели.
Три ключевые идеи:
1. Данные из Wikipedia-графа. Агент строит многошаговые VQA-задачи по цепочкам сущностей, переписывая промежуточные узлы в «размытые» описания — чтобы нельзя было срезать путь одним поиском.
2. Инструменты не только поиск. Помимо TextSearch/ImageSearch агент умеет кропать, повышать резкость, делать суперрезолюцию и исправлять перспективу — для работы с реальными кривыми фото и скриншотами.
3. Fatal-aware GRPO. При обучении с RL токены после «фатального» сбоя инструмента маскируются, а полезные рассуждения до сбоя сохраняются через одностороннее зажатие advantage.
Итог: +13.8 пунктов в среднем по 7 бенчмаркам над Qwen3-VL-30B-A3B.
https://arxiv.org/abs/2605.05185
Test-Time Scaling для стриминговой генерации видео — теперь чанк за чанком
Генерировать длинные видео качественно всё ещё больно: диффузионные модели жрут память, теряют консистентность, а любой артефакт в середине ломает всё целиком. Stream-T1 (by FrameX-AI) предлагает применить Test-Time Scaling не ко всему видео сразу, а к потоковой генерации чанк за чанком.
Три ключевых механизма:
1. Noise Propagation — инициализируем шум текущего чанка из лучших траекторий предыдущего
2. Reward Pruning — отбираем кандидатов по комбинированной метрике: локальная эстетика + глобальная темпоральная связность
3. Memory Sinking — вместо тупого sliding window или статичного sink-фрейма, динамически маршрутизируем вытесненный KV-cache в три пути (Discard / EMA-Sink / Append-Sink) через детекцию семантических границ
Идея элегантная: стриминговая генерация с 4 шагами денойзинга на чанк естественно образует "мелкое дерево поиска с широкими ветками" — идеально для beam search без космических затрат.
Генерировать длинные видео качественно всё ещё больно: диффузионные модели жрут память, теряют консистентность, а любой артефакт в середине ломает всё целиком. Stream-T1 (by FrameX-AI) предлагает применить Test-Time Scaling не ко всему видео сразу, а к потоковой генерации чанк за чанком.
Три ключевых механизма:
1. Noise Propagation — инициализируем шум текущего чанка из лучших траекторий предыдущего
2. Reward Pruning — отбираем кандидатов по комбинированной метрике: локальная эстетика + глобальная темпоральная связность
3. Memory Sinking — вместо тупого sliding window или статичного sink-фрейма, динамически маршрутизируем вытесненный KV-cache в три пути (Discard / EMA-Sink / Append-Sink) через детекцию семантических границ
Идея элегантная: стриминговая генерация с 4 шагами денойзинга на чанк естественно образует "мелкое дерево поиска с широкими ветками" — идеально для beam search без космических затрат.