Apple ML представила Reinforced Agent — систему проверки вызовов инструментов в реальном времени.

Обычно AI-агенты, работающие с инструментами (поиск, API, базы данных), оцениваются уже после выполнения действий. Если агент ошибся — исправляют промпт или переобучают модель. Apple предлагает другой подход: специальный агент-рецензент проверяет каждый вызов инструмента до его выполнения, прямо в процессе работы.

Чтобы измерить эффект, ввели две метрики: Helpfulness (сколько ошибок исправлено) и Harmfulness (сколько правильных ответов испорчено). Оказалось, что выбор модели-рецензента критичен: o3-mini даёт соотношение пользы к риску 3:1, GPT-4o — лишь 2.1:1.

Результаты на бенчмарках: +5.5% на определении нерелевантных запросов, +7.1% на многоходовых задачах. Дополнительная оптимизация промптов добавляет ещё 1.5–2.8%.

Главный плюс: рецензента можно улучшать независимо, без переобучения основного агента.

https://machinelearning.apple.com/research/reinforced-agent-inference-feedback

Apple ML представила STARFlow-V — генератор видео на основе нормализующих потоков (normalizing flows), который бросает вызов доминирующим диффузионным моделям.

Главное: почти все топовые системы генерации видео сегодня используют диффузию. Apple решила пойти другим путём и доказала, что NF-подход тоже способен создавать качественное видео с хорошей временной согласованностью.

Что под капотом: модель работает в пространстве латентных представлений с глобально-локальной архитектурой, которая снижает накопление ошибок при авторегрессивной генерации. Добавлен flow-score matching для улучшения консистентности и параллельная схема Якоби для ускорения сэмплинга.

Практически важно: одна модель нативно поддерживает text-to-video, image-to-video и video-to-video без дополнительных адаптаций — благодаря инвертируемой структуре.

Статья принята на CVPR 2026. Это первое убедительное свидетельство того, что нормализующие потоки могут стать реальной альтернативой диффузии в видеогенерации.

https://machinelearning.apple.com/research/starflow-v-video-modeling

Последняя человеческая статья (by Stanford)

Каждая научная статья — это потеря данных. Месяцы провальных экспериментов, хаки реализации, отвергнутые гипотезы — всё это компилируется в красивый линейный нарратив и выбрасывается. Раньше это было терпимо. Теперь — нет: AI-агенты читают статьи, воспроизводят эксперименты и расширяют методы, а им нужно именно то, что выброшено.

Авторы из Stanford вводят два понятия: Storytelling Tax (нарратив стирает историю исследования) и Engineering Tax (статьи написаны для убеждения рецензента, а не для воспроизведения агентом — только 45% требований PaperBench полностью специфицированы).

Решение — Agent-Native Research Artifact (ARA): четырёхслойный пакет вместо PDF. Структурированная логика, исполняемый код, граф исследования с тупиками и привязанные доказательства. Агенты на ARA стабильно обгоняют агентов на PDF+репозиторий по пониманию, воспроизведению и расширению работ.

https://arxiv.org/abs/2604.24658

LLM научили исследовать пространство решений через внутренние представления

Проблема test-time scaling проста: генерируешь 100 кандидатов, а они все про одно и то же — слова разные, логика одинаковая. Обычный сэмплинг даёт лексическое разнообразие, но не смысловое.

Авторы из ShanghaiTech предлагают ESamp: лёгкий модуль Latent Distiller учится предсказывать скрытые состояния глубоких слоёв трансформера по ранним слоям. Идея из RND (reinforcement learning): то, что модель уже "видела", предсказывается хорошо — значит это скучно. Высокая ошибка предсказания = неизведанная семантическая территория.

Эту ошибку используют как награду за новизну в KL-регуляризованной оптимизации, перевзвешивая распределение токенов. Батч кандидатов неявно координируется — каждая следующая последовательность уходит в другую сторону смыслового пространства.

Оверхед меньше 5% по throughput, зато Pass@k растёт заметно, особенно у reasoning-моделей.

https://arxiv.org/abs/2604.24927

ClawGym: как научить ИИ-агента работать с реальными файлами и программами

Современные агенты вроде OpenClaw умеют управлять файлами, запускать скрипты и работать с веб-сервисами прямо на компьютере пользователя. Но слабые LLM там постоянно ломаются: теряют контекст, неправильно выбирают инструменты, не восстанавливаются после ошибок.

Авторы предлагают ClawGym — фреймворк для обучения и оценки таких агентов. Ключевая идея: синтез данных двумя путями одновременно. Сверху вниз — задачи генерируются из персон пользователей (бухгалтер, разработчик, менеджер). Снизу вверх — из конкретных навыков (операции с файлами, вызовы инструментов). Итог: 13.5K задач с реалистичными рабочими пространствами и автоматической верификацией (код + LLM-рубрики).

На этих данных дообучили модели через SFT + RL. Результат: Qwen3-8B вырос на 39-43%, Qwen3-30B — на 26-55% на бенчмарках.

https://arxiv.org/abs/2604.26904

Google DeepMind представила концепцию AI co-clinician — ИИ-помощника для врачей.

Идея в том, чтобы ИИ работал не вместо доктора, а рядом с ним: помогал анализировать симптомы, подсказывал возможные диагнозы и снижал риск врачебных ошибок. Особый акцент — на надёжности: система должна быть предсказуемой и безопасной в реальных клинических условиях.

Для пациентов это может означать более точную и быструю диагностику. Для врачей — снижение нагрузки и дополнительную «страховку» при сложных случаях.

Пока это исследовательский этап, но Google DeepMind явно метит в один из самых чувствительных секторов — медицину, где цена ошибки максимальна.

https://deepmind.google/blog/ai-co-clinician/

PyTorch / LightSeek Foundation выпустили Shepherd Model Gateway (SMG) — Rust-шлюз для LLM-инференса, который решает реальную проблему: GIL в Python тормозит GPU на больших нагрузках.

Суть: всё CPU-задачи (токенизация, парсинг, мультимодальная обработка, MCP-инструменты) вынесены из движков вроде vLLM и SGLang в отдельный Rust-слой. GPU получает уже готовые токены по gRPC и не ждёт Python.

Что внутри: двухуровневый кеш токенайзера, стриминговый парсинг reasoning-блоков для 15 семейств моделей, нативная поддержка пяти API (OpenAI, Anthropic, Gemini и др.), WASM-плагины для кастомной логики. Поддержка мультимодальных моделей реализована на Rust с нуля — авторы называют это первым подобным решением в индустрии.

Почему важно: дорогие GPU простаивают из-за CPU-узких мест. SMG разделяет слои так, чтобы каждый масштабировался независимо. PR уже приняты в vLLM и TensorRT-LLM.

https://pytorch.org/blog/lightseek-smg/

RoundPipe: файн-тюнинг 235B модели на дешёвых GPU за разумные деньги

Обучать большие LLM дорого — датацентровые GPU стоят в разы больше потребительских. RTX 4090 по вычислениям почти не уступает A100, но стоит на 80% дешевле. Проблема: 24 ГБ VRAM и медленный PCIe вместо NVLink.

Существующие подходы (ZeRO-Infinity, Mobius) упираются в pipeline bubbles — GPU простаивают до 30% времени из-за "weight binding": каждый слой привязан к конкретному GPU.

Ключевая идея RoundPipe: раз веса всё равно живут в CPU-памяти и подгружаются по требованию — зачем привязывать слой к конкретному GPU? Авторы делают GPU stateless-пулом исполнителей и диспетчеризуют стадии round-robin динамически. Плюс асимметричное разбиение слоёв (3 слоя в forward = 1 слой в backward по времени), приоритетный планировщик передач и event-based протокол консистентности без барьеров.

Результат: до 2.16× ускорение на 8×RTX 4090, поддержка последовательностей в 7.3× длиннее. Единственная система, способная LoRA-файн-тюнить 235B MoE на 24 ГБ GPU.

LLM наконец научился считать токены — на каждом шаге!

Проблема: современные LLM плохо контролируют длину своих ответов. Существующие методы работают грубо — штрафуют за длину на уровне всей последовательности или дают инструкции в промпте. Никто не смотрит на длину токен за токеном.

Авторы из UC Santa Barbara предложили Length Value Model (LenVM) — отдельную голову поверх LLM, которая на каждом шаге декодирования предсказывает, сколько токенов ещё осталось сгенерировать. Идея из RL: назначаем -1 награду за каждый токен, считаем дисконтированный возврат — и получаем ограниченный, монотонный прокси для "горизонта генерации".

Главный плюс: обучение полностью автоматическое (не нужна разметка), сигнал плотный (цель на каждый токен), и хорошо масштабируется.

Применения: контроль длины при декодировании, предсказание длины с первого токена, value baseline для PPO. Работает на math, code и instruction-following задачах.

https://arxiv.org/abs/2604.27039

Видеогенерация научилась физике — трение, упругость, деформация теперь под контролем

Современные видеодиффузионные модели умеют делать красивую картинку, но физику нарушают постоянно: объекты зависают в воздухе, не отскакивают при ударе, не деформируются. PhyCo предлагает решение в два шага.

Шаг 1: файнтюнинг через ControlNet с картами физических свойств (трение, упругость, деформация, сила). Данные — 100K симуляционных видео из Kubric+PyBullet с аннотациями физических параметров.

Шаг 2: VLM-guided reward optimization — замороженная vision-language модель отвечает на вопросы про физику в сгенерированном видео ("насколько сильно деформировался объект?"), и её логиты используются как дифференцируемая награда для дообучения.

Итог: непрерывный контроль над физическими свойствами без симуляторов на инференсе. Модель обобщается на реальные сцены и новые материалы.

https://arxiv.org/abs/2604.28169

Один фреймворк вместо десятка моделей для видео-генерации

Обычно для каждой задачи с видео (матирование, inverse rendering, inpainting, генерация normal maps) обучают отдельную сеть. UniVidX предлагает объединить всё в одну модель через три трюка:

1. Stochastic Condition Masking — случайно делит модальности на «условия» и «цели», заставляя модель учиться генерировать в любом направлении (текст→X, X→X, текст+X→X).

2. Decoupled Gated LoRA — каждой модальности свой LoRA-адаптер, который включается только когда эта модальность является целью генерации. Никакой интерференции параметров.

3. Cross-Modal Self-Attention — ключи и значения shared между модальностями, запросы — свои у каждой. Так достигается согласованность между, например, RGB и normal map.

Результат: два инстанса фреймворка покрывают 15 задач, обучаясь на менее чем 1000 видео. VDM-приоры делают тяжёлую работу.

https://arxiv.org/abs/2605.00658

Многоагентный поиск по вебу: как собрать тысячи фактов в одну таблицу

Представьте задачу: найди все концерты Taylor Swift с 2010 по 2025 с датой, городом и площадкой. Это не один сложный вопрос — это сотни строк, каждую надо проверить. Обычный LLM-агент захлёбывается: контекст переполняется, ошибки множатся.

Web2BigTable решает это двухуровневой мультиагентной системой. Верхний оркестратор разбивает запрос на подзадачи, нижние воркеры параллельно их решают. Ключевая фишка — общая "рабочая доска": воркеры видят прогресс друг друга, не дублируют поиск и разрешают конфликты между источниками.

Система самообучается через цикл run-verify-reflect: накапливает навыки декомпозиции и выполнения в внешней памяти, не трогая веса LLM. На WideSearch бенчмарке результат в 7.5 раз лучше второго места по Success Rate.

https://arxiv.org/abs/2604.27221

MolmoAct2: полностью открытый робот-мозг, который думает быстро (by Ai2)

Проблема современных VLA-моделей (vision-language-action): закрытый код, медленный reasoning из-за сотен токенов перед каждым действием, и привязка к дорогим платформам.

MolmoAct2 от Ai2 атакует все три проблемы сразу.

Ключевые идеи:
1. Molmo2-ER — специализированный VLM-бэкбон для пространственного мышления (3.3M примеров: метрические расстояния, ego-exo видео, 3D-геометрия). Обходит GPT-5 и Gemini Robotics ER-1.5 на 13 бенчмарках.

2. Action expert с flow matching поверх KV-кэша VLM — непрерывные траектории без потери контекста.

3. MolmoAct2-Think: reasoning только по изменившимся регионам сцены между шагами. Статичные части пропускаются — latency падает, качество растёт.

Всё полностью открыто: веса, код, датасеты (720 часов bimanual телеопераций — крупнейший открытый датасет такого рода).

https://arxiv.org/abs/2605.02881

OpenAI рассказала, как устроена их голосовая AI-инфраструктура изнутри.

Компания полностью переписала свой WebRTC-стек, чтобы обеспечить минимальную задержку и работу в реальном времени по всему миру. Главная задача была сложной: голосовой AI должен не просто отвечать быстро, но и правильно понимать паузы в разговоре — когда человек закончил говорить, а когда просто сделал вдох.

Для этого OpenAI реализовала умное управление очерёдностью реплик (turn-taking), чтобы диалог звучал естественно, а не как разговор с автоответчиком.

Всё это работает на глобальной инфраструктуре с низкими задержками — критично для голоса, где даже 200 мс ощущаются как неловкая пауза.

Это основа для Realtime API и голосового режима ChatGPT. Чем стабильнее и быстрее инфраструктура — тем лучше опыт для всех, кто строит голосовые продукты на базе OpenAI.

https://openai.com/index/delivering-low-latency-voice-ai-at-scale

Nvidia Tech представила cuOpt Agent Skills — набор инструментов для оптимизации цепочек поставок с помощью агентного ИИ.

Суть: теперь LLM-агент может принимать задачи на обычном языке — например, "составь 12-недельный план производства с минимальными затратами" — и автоматически переводить их в математические модели, которые решает GPU-ускоренный движок cuOpt.

Раньше такие задачи занимали у OR-команд недели. Теперь — секунды. Агент сам разбивает цель на подзадачи, формулирует модель и отдаёт её на расчёт GPU, а затем возвращает человекочитаемый план с метриками: затраты, загрузка мощностей, остатки запасов.

В основе — модель MiniMax M2.5, LangChain Deep Agents и NVIDIA cuOpt. Всё контейнеризировано, запускается через Docker Compose. Код и примеры уже на GitHub.

Актуально для логистики, ретейла и производства — там, где цена неоптимального решения измеряется миллионами.

https://developer.nvidia.com/blog/optimize-supply-chain-decision-systems-using-nvidia-cuopt-agent-skills/

Apple ML выпустила исследование PORTool — новый алгоритм обучения AI-агентов, которые умеют использовать внешние инструменты.

Проблема была такая: когда агент решает сложную задачу и вызывает несколько инструментов по цепочке, непонятно, какой именно шаг привёл к успеху или провалу. Стандартные методы оценивают только итоговый результат, игнорируя промежуточные решения.

PORTool строит дерево вариантов: агент пробует разные ветки решений с общим началом, а алгоритм оценивает важность каждого шага — привели ли его потомки к правильному ответу и успешно ли сработали вызовы инструментов.

Результат: агенты точнее отвечают на вопросы и при этом делают меньше лишних обращений к инструментам. Это важно для практики — меньше вызовов означает меньше задержек и затрат.

Работа опубликована в мае 2026 года и потенциально влияет на то, как будут строиться агентные системы в продуктах Apple.

https://machinelearning.apple.com/research/portool-policy-optimization

Как научить LLM учиться из новых документов без разметки и обратной связи?

Большинство LLM хорошо справляются с задачами, покрытыми при предобучении. Но что если нужно прочитать незнакомую техническую документацию и применить знания из неё? Авторы называют это "context learning" и признают: современные модели здесь слабы.

Решение — Ctx2Skill. Идея: автоматически извлекать из контекста "навыки" (skills) — текстовые правила и процедуры, которые потом подключаются к любой LLM при инференсе.

Как это работает: два агента играют друг против друга. Challenger генерирует задачи по контексту, Reasoner их решает, Judge оценивает. Провалы → обновление навыков Reasoner. Лёгкие задачи → Challenger усложняет вопросы. Оба агента эволюционируют без изменения весов.

Проблема: со временем Challenger начинает генерировать патологические задачи, а Reasoner переспециализируется. Решение — Cross-Time Replay: выбирается набор навыков, лучше всего балансирующий между историческими задачами.

SFT портит модель перед RL — и это можно починить

Стандартный пайплайн обучения мультимодальных моделей: сначала SFT, потом RL. Но оказывается, SFT может навредить: модель дрейфует от своего исходного распределения, учит поверхностные паттерны, а не реальный reasoning. Особенно больно это бьёт по мультимодальным моделям — ошибки в визуальном восприятии потом усиливаются в RL.

Авторы из HKUSTGZ предлагают вставить между SFT и RL новый этап — PRISM. Суть: adversarial on-policy distillation, где модель играет в minimax-игру против MoE-дискриминатора с двумя экспертами — один проверяет visual grounding, другой — логику рассуждений. Дискриминатор учится отличать генерации модели от эталонного пула, а модель учится их неотличимо имитировать.

Итог: PRISM+GRPO бьёт обычный SFT→GRPO на +4.4 и +6.0 пунктов на Qwen3-VL-4B/8B соответственно.

https://arxiv.org/abs/2604.28123

Визуальная память умирает при длинных ответах — и вот как это починить

В мультимодальных LLM есть неочевидная проблема: чем длиннее генерация, тем слабее модель "видит" картинку. Визуальные токены стоят в начале контекста и статичны, а текстовая история растёт — механизм внимания просто перераспределяет вероятности, и визуальный сигнал затухает как O(1/t). Авторы доказывают это математически и называют "Low-Attention Equilibrium".

Наивное решение — переинжектировать визуальные токены в процессе генерации — ломает логику рассуждений, вмешиваясь в авторегрессивный поток.

Авторы предлагают Persistent Visual Memory (PVM): лёгкий параллельный модуль рядом с FFN в трансформер-блоке. Он читает оригинальные визуальные эмбеддинги через gated cross-attention независимо от длины контекста, не трогая основной поток рассуждений.

Результат на базе Qwen3-VL: +4.8% на 8B и +4.4% на 4B по 8 бенчмаркам. LogitLens-анализ подтверждает, что модель быстрее сходится к правильному ответу внутри слоёв.

Nvidia Tech рассказала, как строить ИИ-агентов прямо в автомобиле — от облака до бортового компьютера.

Суть: традиционные голосовые помощники в машинах работают по принципу «команда → действие → сброс». Nvidia предлагает заменить это агентными системами на базе LLM и VLM, которые умеют рассуждать, помнить контекст и действовать проактивно.

Что это даёт водителю: умные рутины с учётом календаря, объяснение поведения ADAS в реальном времени, диагностика на естественном языке, персонализация под пассажиров.

Железо: платформа DRIVE AGX (Orin и новый Thor на архитектуре Blackwell) позволяет гонять модели до 13B параметров прямо на борту с задержкой менее 500 мс. Можно ставить как отдельный AI-блок к существующей мультимедиа-системе — без переработки всей электроники.

Масштаб рынка впечатляет: по прогнозу ABI Research, к 2035 году агентный ИИ появится в 70 млн автомобилей — против 5 млн сегодня.

https://developer.nvidia.com/blog/how-to-build-in-vehicle-ai-agents-with-nvidia-from-cloud-to-car/