Плагины для диффузионных моделей — как в LLM, только для генерации картинок
Controllable diffusion — это боль. ControlNet, IP-Adapter, LoRA — каждый метод живёт в своей экосистеме, требует своих хуков, своих скриптов обучения. Хочешь совместить два контроля — готовься к ручной инженерии.
Авторы предлагают Diffusion Templates: единый плагин-фреймворк, где каждый метод контроля упакован как независимый модуль с общим интерфейсом. Идея позаимствована у LLM-систем с их tool-calling и MCP.
Как работает: Template-модель берёт входной сигнал (поза, глубина, референс-картинка, яркость и т.д.) и конвертирует его в "Template cache" — промежуточное представление (KV-cache, LoRA или другое). Базовая диффузионная модель потребляет эти кеши во время генерации, не зная деталей каждого контроля.
Результат: структурный контроль, редактирование, super-resolution, возраст, цвет — всё под одним интерфейсом, без переписывания пайплайна.
https://arxiv.org/abs/2604.24351
Controllable diffusion — это боль. ControlNet, IP-Adapter, LoRA — каждый метод живёт в своей экосистеме, требует своих хуков, своих скриптов обучения. Хочешь совместить два контроля — готовься к ручной инженерии.
Авторы предлагают Diffusion Templates: единый плагин-фреймворк, где каждый метод контроля упакован как независимый модуль с общим интерфейсом. Идея позаимствована у LLM-систем с их tool-calling и MCP.
Как работает: Template-модель берёт входной сигнал (поза, глубина, референс-картинка, яркость и т.д.) и конвертирует его в "Template cache" — промежуточное представление (KV-cache, LoRA или другое). Базовая диффузионная модель потребляет эти кеши во время генерации, не зная деталей каждого контроля.
Результат: структурный контроль, редактирование, super-resolution, возраст, цвет — всё под одним интерфейсом, без переписывания пайплайна.
https://arxiv.org/abs/2604.24351
Робот понимает «убери синий стул» без предварительной разметки
RADIO-ViPE — система семантического SLAM, которая работает в реальном времени (8–10 FPS) с обычной монокулярной камерой без калибровки. Главная фишка: она одновременно строит 3D-карту, оценивает позу камеры и «понимает» сцену на уровне свободного языка — можно буквально спросить «где диван?» и получить координаты в карте.
Три ключевых трюка: (1) мультимодальный bundle adjustment, который совместно оптимизирует геометрию и семантические эмбеддинги из foundation-модели RADIO; (2) адаптивное робастное ядро с временной согласованностью — система сама понимает, какие пиксели принадлежат движущимся объектам и подавляет их влияние; (3) семантическая инициализация оптического потока для текстурно бедных поверхностей.
В отличие от конкурентов (OVO-SLAM, RayFronts, CLIO), RADIO-ViPE единственная система, закрывающая все пять осей: онлайн + open-vocabulary + одометрия + картирование + динамика + без калибровки.
https://arxiv.org/abs/2604.26067
RADIO-ViPE — система семантического SLAM, которая работает в реальном времени (8–10 FPS) с обычной монокулярной камерой без калибровки. Главная фишка: она одновременно строит 3D-карту, оценивает позу камеры и «понимает» сцену на уровне свободного языка — можно буквально спросить «где диван?» и получить координаты в карте.
Три ключевых трюка: (1) мультимодальный bundle adjustment, который совместно оптимизирует геометрию и семантические эмбеддинги из foundation-модели RADIO; (2) адаптивное робастное ядро с временной согласованностью — система сама понимает, какие пиксели принадлежат движущимся объектам и подавляет их влияние; (3) семантическая инициализация оптического потока для текстурно бедных поверхностей.
В отличие от конкурентов (OVO-SLAM, RayFronts, CLIO), RADIO-ViPE единственная система, закрывающая все пять осей: онлайн + open-vocabulary + одометрия + картирование + динамика + без калибровки.
https://arxiv.org/abs/2604.26067
Nvidia Tech автоматизирует перевод GPU-ядер с помощью ИИ
Nvidia представила TileGym — AI-агент, который автоматически переводит GPU-ядра с cuTile Python на cuTile.jl (Julia). Это важно для учёных и разработчиков, работающих с Julia в области симуляций, дифференциальных уравнений и вероятностного программирования.
Проблема была серьёзной: даже мелкая ошибка при ручном переводе — например, перепутать 0-based и 1-based индексацию или использовать * вместо .* — приводила к тихой порче данных без каких-либо ошибок компилятора.
TileGym упаковывает 17 критических правил перевода, маппинги API и примеры ядер (matmul, softmax) в единый навык для LLM-агента. Агент переводит код за один проход и сразу валидирует результат.
Итог: Julia-экосистема получает доступ к проверенным GPU-ядрам без переписывания каждого с нуля, а рутинная и опасная работа по портированию становится автоматической.
https://developer.nvidia.com/blog/automating-gpu-kernel-translation-with-ai-agents-cutile-python-to-cutile-jl/
Nvidia представила TileGym — AI-агент, который автоматически переводит GPU-ядра с cuTile Python на cuTile.jl (Julia). Это важно для учёных и разработчиков, работающих с Julia в области симуляций, дифференциальных уравнений и вероятностного программирования.
Проблема была серьёзной: даже мелкая ошибка при ручном переводе — например, перепутать 0-based и 1-based индексацию или использовать * вместо .* — приводила к тихой порче данных без каких-либо ошибок компилятора.
TileGym упаковывает 17 критических правил перевода, маппинги API и примеры ядер (matmul, softmax) в единый навык для LLM-агента. Агент переводит код за один проход и сразу валидирует результат.
Итог: Julia-экосистема получает доступ к проверенным GPU-ядрам без переписывания каждого с нуля, а рутинная и опасная работа по портированию становится автоматической.
https://developer.nvidia.com/blog/automating-gpu-kernel-translation-with-ai-agents-cutile-python-to-cutile-jl/
NVIDIA Technical Blog
Automating GPU Kernel Translation with AI Agents: cuTile Python to cuTile.jl
NVIDIA CUDA Tile (cuTile) is a tile-based programming model that enables developers to write GPU kernels in terms of tile-level operations—loads, stores, and matrix multiply-accumulate—rather than…
Apple ML представила Reinforced Agent — систему проверки вызовов инструментов в реальном времени.
Обычно AI-агенты, работающие с инструментами (поиск, API, базы данных), оцениваются уже после выполнения действий. Если агент ошибся — исправляют промпт или переобучают модель. Apple предлагает другой подход: специальный агент-рецензент проверяет каждый вызов инструмента до его выполнения, прямо в процессе работы.
Чтобы измерить эффект, ввели две метрики: Helpfulness (сколько ошибок исправлено) и Harmfulness (сколько правильных ответов испорчено). Оказалось, что выбор модели-рецензента критичен: o3-mini даёт соотношение пользы к риску 3:1, GPT-4o — лишь 2.1:1.
Результаты на бенчмарках: +5.5% на определении нерелевантных запросов, +7.1% на многоходовых задачах. Дополнительная оптимизация промптов добавляет ещё 1.5–2.8%.
Главный плюс: рецензента можно улучшать независимо, без переобучения основного агента.
https://machinelearning.apple.com/research/reinforced-agent-inference-feedback
Обычно AI-агенты, работающие с инструментами (поиск, API, базы данных), оцениваются уже после выполнения действий. Если агент ошибся — исправляют промпт или переобучают модель. Apple предлагает другой подход: специальный агент-рецензент проверяет каждый вызов инструмента до его выполнения, прямо в процессе работы.
Чтобы измерить эффект, ввели две метрики: Helpfulness (сколько ошибок исправлено) и Harmfulness (сколько правильных ответов испорчено). Оказалось, что выбор модели-рецензента критичен: o3-mini даёт соотношение пользы к риску 3:1, GPT-4o — лишь 2.1:1.
Результаты на бенчмарках: +5.5% на определении нерелевантных запросов, +7.1% на многоходовых задачах. Дополнительная оптимизация промптов добавляет ещё 1.5–2.8%.
Главный плюс: рецензента можно улучшать независимо, без переобучения основного агента.
https://machinelearning.apple.com/research/reinforced-agent-inference-feedback
Apple Machine Learning Research
Reinforced Agent: Inference-Time Feedback for Tool-Calling Agents
This paper was accepted at the Fifth Workshop on Natural Language Generation, Evaluation, and Metrics at ACL 2026.
Tool-calling agents are…
Tool-calling agents are…
Apple ML представила STARFlow-V — генератор видео на основе нормализующих потоков (normalizing flows), который бросает вызов доминирующим диффузионным моделям.
Главное: почти все топовые системы генерации видео сегодня используют диффузию. Apple решила пойти другим путём и доказала, что NF-подход тоже способен создавать качественное видео с хорошей временной согласованностью.
Что под капотом: модель работает в пространстве латентных представлений с глобально-локальной архитектурой, которая снижает накопление ошибок при авторегрессивной генерации. Добавлен flow-score matching для улучшения консистентности и параллельная схема Якоби для ускорения сэмплинга.
Практически важно: одна модель нативно поддерживает text-to-video, image-to-video и video-to-video без дополнительных адаптаций — благодаря инвертируемой структуре.
Статья принята на CVPR 2026. Это первое убедительное свидетельство того, что нормализующие потоки могут стать реальной альтернативой диффузии в видеогенерации.
https://machinelearning.apple.com/research/starflow-v-video-modeling
Главное: почти все топовые системы генерации видео сегодня используют диффузию. Apple решила пойти другим путём и доказала, что NF-подход тоже способен создавать качественное видео с хорошей временной согласованностью.
Что под капотом: модель работает в пространстве латентных представлений с глобально-локальной архитектурой, которая снижает накопление ошибок при авторегрессивной генерации. Добавлен flow-score matching для улучшения консистентности и параллельная схема Якоби для ускорения сэмплинга.
Практически важно: одна модель нативно поддерживает text-to-video, image-to-video и video-to-video без дополнительных адаптаций — благодаря инвертируемой структуре.
Статья принята на CVPR 2026. Это первое убедительное свидетельство того, что нормализующие потоки могут стать реальной альтернативой диффузии в видеогенерации.
https://machinelearning.apple.com/research/starflow-v-video-modeling
Apple Machine Learning Research
STARFlow-V: End-to-End Video Generative Modeling with Normalizing Flows
Normalizing flows (NFs) are end-to-end likelihood-based generative models for continuous data, and have recently regained attention with…
Последняя человеческая статья (by Stanford)
Каждая научная статья — это потеря данных. Месяцы провальных экспериментов, хаки реализации, отвергнутые гипотезы — всё это компилируется в красивый линейный нарратив и выбрасывается. Раньше это было терпимо. Теперь — нет: AI-агенты читают статьи, воспроизводят эксперименты и расширяют методы, а им нужно именно то, что выброшено.
Авторы из Stanford вводят два понятия: Storytelling Tax (нарратив стирает историю исследования) и Engineering Tax (статьи написаны для убеждения рецензента, а не для воспроизведения агентом — только 45% требований PaperBench полностью специфицированы).
Решение — Agent-Native Research Artifact (ARA): четырёхслойный пакет вместо PDF. Структурированная логика, исполняемый код, граф исследования с тупиками и привязанные доказательства. Агенты на ARA стабильно обгоняют агентов на PDF+репозиторий по пониманию, воспроизведению и расширению работ.
https://arxiv.org/abs/2604.24658
Каждая научная статья — это потеря данных. Месяцы провальных экспериментов, хаки реализации, отвергнутые гипотезы — всё это компилируется в красивый линейный нарратив и выбрасывается. Раньше это было терпимо. Теперь — нет: AI-агенты читают статьи, воспроизводят эксперименты и расширяют методы, а им нужно именно то, что выброшено.
Авторы из Stanford вводят два понятия: Storytelling Tax (нарратив стирает историю исследования) и Engineering Tax (статьи написаны для убеждения рецензента, а не для воспроизведения агентом — только 45% требований PaperBench полностью специфицированы).
Решение — Agent-Native Research Artifact (ARA): четырёхслойный пакет вместо PDF. Структурированная логика, исполняемый код, граф исследования с тупиками и привязанные доказательства. Агенты на ARA стабильно обгоняют агентов на PDF+репозиторий по пониманию, воспроизведению и расширению работ.
https://arxiv.org/abs/2604.24658
LLM научили исследовать пространство решений через внутренние представления
Проблема test-time scaling проста: генерируешь 100 кандидатов, а они все про одно и то же — слова разные, логика одинаковая. Обычный сэмплинг даёт лексическое разнообразие, но не смысловое.
Авторы из ShanghaiTech предлагают ESamp: лёгкий модуль Latent Distiller учится предсказывать скрытые состояния глубоких слоёв трансформера по ранним слоям. Идея из RND (reinforcement learning): то, что модель уже "видела", предсказывается хорошо — значит это скучно. Высокая ошибка предсказания = неизведанная семантическая территория.
Эту ошибку используют как награду за новизну в KL-регуляризованной оптимизации, перевзвешивая распределение токенов. Батч кандидатов неявно координируется — каждая следующая последовательность уходит в другую сторону смыслового пространства.
Оверхед меньше 5% по throughput, зато Pass@k растёт заметно, особенно у reasoning-моделей.
https://arxiv.org/abs/2604.24927
Проблема test-time scaling проста: генерируешь 100 кандидатов, а они все про одно и то же — слова разные, логика одинаковая. Обычный сэмплинг даёт лексическое разнообразие, но не смысловое.
Авторы из ShanghaiTech предлагают ESamp: лёгкий модуль Latent Distiller учится предсказывать скрытые состояния глубоких слоёв трансформера по ранним слоям. Идея из RND (reinforcement learning): то, что модель уже "видела", предсказывается хорошо — значит это скучно. Высокая ошибка предсказания = неизведанная семантическая территория.
Эту ошибку используют как награду за новизну в KL-регуляризованной оптимизации, перевзвешивая распределение токенов. Батч кандидатов неявно координируется — каждая следующая последовательность уходит в другую сторону смыслового пространства.
Оверхед меньше 5% по throughput, зато Pass@k растёт заметно, особенно у reasoning-моделей.
https://arxiv.org/abs/2604.24927
ClawGym: как научить ИИ-агента работать с реальными файлами и программами
Современные агенты вроде OpenClaw умеют управлять файлами, запускать скрипты и работать с веб-сервисами прямо на компьютере пользователя. Но слабые LLM там постоянно ломаются: теряют контекст, неправильно выбирают инструменты, не восстанавливаются после ошибок.
Авторы предлагают ClawGym — фреймворк для обучения и оценки таких агентов. Ключевая идея: синтез данных двумя путями одновременно. Сверху вниз — задачи генерируются из персон пользователей (бухгалтер, разработчик, менеджер). Снизу вверх — из конкретных навыков (операции с файлами, вызовы инструментов). Итог: 13.5K задач с реалистичными рабочими пространствами и автоматической верификацией (код + LLM-рубрики).
На этих данных дообучили модели через SFT + RL. Результат: Qwen3-8B вырос на 39-43%, Qwen3-30B — на 26-55% на бенчмарках.
https://arxiv.org/abs/2604.26904
Современные агенты вроде OpenClaw умеют управлять файлами, запускать скрипты и работать с веб-сервисами прямо на компьютере пользователя. Но слабые LLM там постоянно ломаются: теряют контекст, неправильно выбирают инструменты, не восстанавливаются после ошибок.
Авторы предлагают ClawGym — фреймворк для обучения и оценки таких агентов. Ключевая идея: синтез данных двумя путями одновременно. Сверху вниз — задачи генерируются из персон пользователей (бухгалтер, разработчик, менеджер). Снизу вверх — из конкретных навыков (операции с файлами, вызовы инструментов). Итог: 13.5K задач с реалистичными рабочими пространствами и автоматической верификацией (код + LLM-рубрики).
На этих данных дообучили модели через SFT + RL. Результат: Qwen3-8B вырос на 39-43%, Qwen3-30B — на 26-55% на бенчмарках.
https://arxiv.org/abs/2604.26904
👍1
Google DeepMind представила концепцию AI co-clinician — ИИ-помощника для врачей.
Идея в том, чтобы ИИ работал не вместо доктора, а рядом с ним: помогал анализировать симптомы, подсказывал возможные диагнозы и снижал риск врачебных ошибок. Особый акцент — на надёжности: система должна быть предсказуемой и безопасной в реальных клинических условиях.
Для пациентов это может означать более точную и быструю диагностику. Для врачей — снижение нагрузки и дополнительную «страховку» при сложных случаях.
Пока это исследовательский этап, но Google DeepMind явно метит в один из самых чувствительных секторов — медицину, где цена ошибки максимальна.
https://deepmind.google/blog/ai-co-clinician/
Идея в том, чтобы ИИ работал не вместо доктора, а рядом с ним: помогал анализировать симптомы, подсказывал возможные диагнозы и снижал риск врачебных ошибок. Особый акцент — на надёжности: система должна быть предсказуемой и безопасной в реальных клинических условиях.
Для пациентов это может означать более точную и быструю диагностику. Для врачей — снижение нагрузки и дополнительную «страховку» при сложных случаях.
Пока это исследовательский этап, но Google DeepMind явно метит в один из самых чувствительных секторов — медицину, где цена ошибки максимальна.
https://deepmind.google/blog/ai-co-clinician/
Google DeepMind
AI co-clinician: researching the path toward AI-augmented care
Google DeepMind is researching the path toward an AI co-clinician that could work under physician authority to assist doctors and patients, enabling new models for AI-augmented care.
PyTorch / LightSeek Foundation выпустили Shepherd Model Gateway (SMG) — Rust-шлюз для LLM-инференса, который решает реальную проблему: GIL в Python тормозит GPU на больших нагрузках.
Суть: всё CPU-задачи (токенизация, парсинг, мультимодальная обработка, MCP-инструменты) вынесены из движков вроде vLLM и SGLang в отдельный Rust-слой. GPU получает уже готовые токены по gRPC и не ждёт Python.
Что внутри: двухуровневый кеш токенайзера, стриминговый парсинг reasoning-блоков для 15 семейств моделей, нативная поддержка пяти API (OpenAI, Anthropic, Gemini и др.), WASM-плагины для кастомной логики. Поддержка мультимодальных моделей реализована на Rust с нуля — авторы называют это первым подобным решением в индустрии.
Почему важно: дорогие GPU простаивают из-за CPU-узких мест. SMG разделяет слои так, чтобы каждый масштабировался независимо. PR уже приняты в vLLM и TensorRT-LLM.
https://pytorch.org/blog/lightseek-smg/
Суть: всё CPU-задачи (токенизация, парсинг, мультимодальная обработка, MCP-инструменты) вынесены из движков вроде vLLM и SGLang в отдельный Rust-слой. GPU получает уже готовые токены по gRPC и не ждёт Python.
Что внутри: двухуровневый кеш токенайзера, стриминговый парсинг reasoning-блоков для 15 семейств моделей, нативная поддержка пяти API (OpenAI, Anthropic, Gemini и др.), WASM-плагины для кастомной логики. Поддержка мультимодальных моделей реализована на Rust с нуля — авторы называют это первым подобным решением в индустрии.
Почему важно: дорогие GPU простаивают из-за CPU-узких мест. SMG разделяет слои так, чтобы каждый масштабировался независимо. PR уже приняты в vLLM и TensorRT-LLM.
https://pytorch.org/blog/lightseek-smg/
RoundPipe: файн-тюнинг 235B модели на дешёвых GPU за разумные деньги
Обучать большие LLM дорого — датацентровые GPU стоят в разы больше потребительских. RTX 4090 по вычислениям почти не уступает A100, но стоит на 80% дешевле. Проблема: 24 ГБ VRAM и медленный PCIe вместо NVLink.
Существующие подходы (ZeRO-Infinity, Mobius) упираются в pipeline bubbles — GPU простаивают до 30% времени из-за "weight binding": каждый слой привязан к конкретному GPU.
Ключевая идея RoundPipe: раз веса всё равно живут в CPU-памяти и подгружаются по требованию — зачем привязывать слой к конкретному GPU? Авторы делают GPU stateless-пулом исполнителей и диспетчеризуют стадии round-robin динамически. Плюс асимметричное разбиение слоёв (3 слоя в forward = 1 слой в backward по времени), приоритетный планировщик передач и event-based протокол консистентности без барьеров.
Результат: до 2.16× ускорение на 8×RTX 4090, поддержка последовательностей в 7.3× длиннее. Единственная система, способная LoRA-файн-тюнить 235B MoE на 24 ГБ GPU.
Обучать большие LLM дорого — датацентровые GPU стоят в разы больше потребительских. RTX 4090 по вычислениям почти не уступает A100, но стоит на 80% дешевле. Проблема: 24 ГБ VRAM и медленный PCIe вместо NVLink.
Существующие подходы (ZeRO-Infinity, Mobius) упираются в pipeline bubbles — GPU простаивают до 30% времени из-за "weight binding": каждый слой привязан к конкретному GPU.
Ключевая идея RoundPipe: раз веса всё равно живут в CPU-памяти и подгружаются по требованию — зачем привязывать слой к конкретному GPU? Авторы делают GPU stateless-пулом исполнителей и диспетчеризуют стадии round-robin динамически. Плюс асимметричное разбиение слоёв (3 слоя в forward = 1 слой в backward по времени), приоритетный планировщик передач и event-based протокол консистентности без барьеров.
Результат: до 2.16× ускорение на 8×RTX 4090, поддержка последовательностей в 7.3× длиннее. Единственная система, способная LoRA-файн-тюнить 235B MoE на 24 ГБ GPU.
LLM наконец научился считать токены — на каждом шаге!
Проблема: современные LLM плохо контролируют длину своих ответов. Существующие методы работают грубо — штрафуют за длину на уровне всей последовательности или дают инструкции в промпте. Никто не смотрит на длину токен за токеном.
Авторы из UC Santa Barbara предложили Length Value Model (LenVM) — отдельную голову поверх LLM, которая на каждом шаге декодирования предсказывает, сколько токенов ещё осталось сгенерировать. Идея из RL: назначаем -1 награду за каждый токен, считаем дисконтированный возврат — и получаем ограниченный, монотонный прокси для "горизонта генерации".
Главный плюс: обучение полностью автоматическое (не нужна разметка), сигнал плотный (цель на каждый токен), и хорошо масштабируется.
Применения: контроль длины при декодировании, предсказание длины с первого токена, value baseline для PPO. Работает на math, code и instruction-following задачах.
https://arxiv.org/abs/2604.27039
Проблема: современные LLM плохо контролируют длину своих ответов. Существующие методы работают грубо — штрафуют за длину на уровне всей последовательности или дают инструкции в промпте. Никто не смотрит на длину токен за токеном.
Авторы из UC Santa Barbara предложили Length Value Model (LenVM) — отдельную голову поверх LLM, которая на каждом шаге декодирования предсказывает, сколько токенов ещё осталось сгенерировать. Идея из RL: назначаем -1 награду за каждый токен, считаем дисконтированный возврат — и получаем ограниченный, монотонный прокси для "горизонта генерации".
Главный плюс: обучение полностью автоматическое (не нужна разметка), сигнал плотный (цель на каждый токен), и хорошо масштабируется.
Применения: контроль длины при декодировании, предсказание длины с первого токена, value baseline для PPO. Работает на math, code и instruction-following задачах.
https://arxiv.org/abs/2604.27039
Видеогенерация научилась физике — трение, упругость, деформация теперь под контролем
Современные видеодиффузионные модели умеют делать красивую картинку, но физику нарушают постоянно: объекты зависают в воздухе, не отскакивают при ударе, не деформируются. PhyCo предлагает решение в два шага.
Шаг 1: файнтюнинг через ControlNet с картами физических свойств (трение, упругость, деформация, сила). Данные — 100K симуляционных видео из Kubric+PyBullet с аннотациями физических параметров.
Шаг 2: VLM-guided reward optimization — замороженная vision-language модель отвечает на вопросы про физику в сгенерированном видео ("насколько сильно деформировался объект?"), и её логиты используются как дифференцируемая награда для дообучения.
Итог: непрерывный контроль над физическими свойствами без симуляторов на инференсе. Модель обобщается на реальные сцены и новые материалы.
https://arxiv.org/abs/2604.28169
Современные видеодиффузионные модели умеют делать красивую картинку, но физику нарушают постоянно: объекты зависают в воздухе, не отскакивают при ударе, не деформируются. PhyCo предлагает решение в два шага.
Шаг 1: файнтюнинг через ControlNet с картами физических свойств (трение, упругость, деформация, сила). Данные — 100K симуляционных видео из Kubric+PyBullet с аннотациями физических параметров.
Шаг 2: VLM-guided reward optimization — замороженная vision-language модель отвечает на вопросы про физику в сгенерированном видео ("насколько сильно деформировался объект?"), и её логиты используются как дифференцируемая награда для дообучения.
Итог: непрерывный контроль над физическими свойствами без симуляторов на инференсе. Модель обобщается на реальные сцены и новые материалы.
https://arxiv.org/abs/2604.28169
Один фреймворк вместо десятка моделей для видео-генерации
Обычно для каждой задачи с видео (матирование, inverse rendering, inpainting, генерация normal maps) обучают отдельную сеть. UniVidX предлагает объединить всё в одну модель через три трюка:
1. Stochastic Condition Masking — случайно делит модальности на «условия» и «цели», заставляя модель учиться генерировать в любом направлении (текст→X, X→X, текст+X→X).
2. Decoupled Gated LoRA — каждой модальности свой LoRA-адаптер, который включается только когда эта модальность является целью генерации. Никакой интерференции параметров.
3. Cross-Modal Self-Attention — ключи и значения shared между модальностями, запросы — свои у каждой. Так достигается согласованность между, например, RGB и normal map.
Результат: два инстанса фреймворка покрывают 15 задач, обучаясь на менее чем 1000 видео. VDM-приоры делают тяжёлую работу.
https://arxiv.org/abs/2605.00658
Обычно для каждой задачи с видео (матирование, inverse rendering, inpainting, генерация normal maps) обучают отдельную сеть. UniVidX предлагает объединить всё в одну модель через три трюка:
1. Stochastic Condition Masking — случайно делит модальности на «условия» и «цели», заставляя модель учиться генерировать в любом направлении (текст→X, X→X, текст+X→X).
2. Decoupled Gated LoRA — каждой модальности свой LoRA-адаптер, который включается только когда эта модальность является целью генерации. Никакой интерференции параметров.
3. Cross-Modal Self-Attention — ключи и значения shared между модальностями, запросы — свои у каждой. Так достигается согласованность между, например, RGB и normal map.
Результат: два инстанса фреймворка покрывают 15 задач, обучаясь на менее чем 1000 видео. VDM-приоры делают тяжёлую работу.
https://arxiv.org/abs/2605.00658
Многоагентный поиск по вебу: как собрать тысячи фактов в одну таблицу
Представьте задачу: найди все концерты Taylor Swift с 2010 по 2025 с датой, городом и площадкой. Это не один сложный вопрос — это сотни строк, каждую надо проверить. Обычный LLM-агент захлёбывается: контекст переполняется, ошибки множатся.
Web2BigTable решает это двухуровневой мультиагентной системой. Верхний оркестратор разбивает запрос на подзадачи, нижние воркеры параллельно их решают. Ключевая фишка — общая "рабочая доска": воркеры видят прогресс друг друга, не дублируют поиск и разрешают конфликты между источниками.
Система самообучается через цикл run-verify-reflect: накапливает навыки декомпозиции и выполнения в внешней памяти, не трогая веса LLM. На WideSearch бенчмарке результат в 7.5 раз лучше второго места по Success Rate.
https://arxiv.org/abs/2604.27221
Представьте задачу: найди все концерты Taylor Swift с 2010 по 2025 с датой, городом и площадкой. Это не один сложный вопрос — это сотни строк, каждую надо проверить. Обычный LLM-агент захлёбывается: контекст переполняется, ошибки множатся.
Web2BigTable решает это двухуровневой мультиагентной системой. Верхний оркестратор разбивает запрос на подзадачи, нижние воркеры параллельно их решают. Ключевая фишка — общая "рабочая доска": воркеры видят прогресс друг друга, не дублируют поиск и разрешают конфликты между источниками.
Система самообучается через цикл run-verify-reflect: накапливает навыки декомпозиции и выполнения в внешней памяти, не трогая веса LLM. На WideSearch бенчмарке результат в 7.5 раз лучше второго места по Success Rate.
https://arxiv.org/abs/2604.27221
🔥1
MolmoAct2: полностью открытый робот-мозг, который думает быстро (by Ai2)
Проблема современных VLA-моделей (vision-language-action): закрытый код, медленный reasoning из-за сотен токенов перед каждым действием, и привязка к дорогим платформам.
MolmoAct2 от Ai2 атакует все три проблемы сразу.
Ключевые идеи:
1. Molmo2-ER — специализированный VLM-бэкбон для пространственного мышления (3.3M примеров: метрические расстояния, ego-exo видео, 3D-геометрия). Обходит GPT-5 и Gemini Robotics ER-1.5 на 13 бенчмарках.
2. Action expert с flow matching поверх KV-кэша VLM — непрерывные траектории без потери контекста.
3. MolmoAct2-Think: reasoning только по изменившимся регионам сцены между шагами. Статичные части пропускаются — latency падает, качество растёт.
Всё полностью открыто: веса, код, датасеты (720 часов bimanual телеопераций — крупнейший открытый датасет такого рода).
https://arxiv.org/abs/2605.02881
Проблема современных VLA-моделей (vision-language-action): закрытый код, медленный reasoning из-за сотен токенов перед каждым действием, и привязка к дорогим платформам.
MolmoAct2 от Ai2 атакует все три проблемы сразу.
Ключевые идеи:
1. Molmo2-ER — специализированный VLM-бэкбон для пространственного мышления (3.3M примеров: метрические расстояния, ego-exo видео, 3D-геометрия). Обходит GPT-5 и Gemini Robotics ER-1.5 на 13 бенчмарках.
2. Action expert с flow matching поверх KV-кэша VLM — непрерывные траектории без потери контекста.
3. MolmoAct2-Think: reasoning только по изменившимся регионам сцены между шагами. Статичные части пропускаются — latency падает, качество растёт.
Всё полностью открыто: веса, код, датасеты (720 часов bimanual телеопераций — крупнейший открытый датасет такого рода).
https://arxiv.org/abs/2605.02881
OpenAI рассказала, как устроена их голосовая AI-инфраструктура изнутри.
Компания полностью переписала свой WebRTC-стек, чтобы обеспечить минимальную задержку и работу в реальном времени по всему миру. Главная задача была сложной: голосовой AI должен не просто отвечать быстро, но и правильно понимать паузы в разговоре — когда человек закончил говорить, а когда просто сделал вдох.
Для этого OpenAI реализовала умное управление очерёдностью реплик (turn-taking), чтобы диалог звучал естественно, а не как разговор с автоответчиком.
Всё это работает на глобальной инфраструктуре с низкими задержками — критично для голоса, где даже 200 мс ощущаются как неловкая пауза.
Это основа для Realtime API и голосового режима ChatGPT. Чем стабильнее и быстрее инфраструктура — тем лучше опыт для всех, кто строит голосовые продукты на базе OpenAI.
https://openai.com/index/delivering-low-latency-voice-ai-at-scale
Компания полностью переписала свой WebRTC-стек, чтобы обеспечить минимальную задержку и работу в реальном времени по всему миру. Главная задача была сложной: голосовой AI должен не просто отвечать быстро, но и правильно понимать паузы в разговоре — когда человек закончил говорить, а когда просто сделал вдох.
Для этого OpenAI реализовала умное управление очерёдностью реплик (turn-taking), чтобы диалог звучал естественно, а не как разговор с автоответчиком.
Всё это работает на глобальной инфраструктуре с низкими задержками — критично для голоса, где даже 200 мс ощущаются как неловкая пауза.
Это основа для Realtime API и голосового режима ChatGPT. Чем стабильнее и быстрее инфраструктура — тем лучше опыт для всех, кто строит голосовые продукты на базе OpenAI.
https://openai.com/index/delivering-low-latency-voice-ai-at-scale
OpenAI
How OpenAI delivers low-latency voice AI at scale
How OpenAI rebuilt its WebRTC stack to power real-time Voice AI with low latency, global scale, and seamless conversational turn-taking.
Nvidia Tech представила cuOpt Agent Skills — набор инструментов для оптимизации цепочек поставок с помощью агентного ИИ.
Суть: теперь LLM-агент может принимать задачи на обычном языке — например, "составь 12-недельный план производства с минимальными затратами" — и автоматически переводить их в математические модели, которые решает GPU-ускоренный движок cuOpt.
Раньше такие задачи занимали у OR-команд недели. Теперь — секунды. Агент сам разбивает цель на подзадачи, формулирует модель и отдаёт её на расчёт GPU, а затем возвращает человекочитаемый план с метриками: затраты, загрузка мощностей, остатки запасов.
В основе — модель MiniMax M2.5, LangChain Deep Agents и NVIDIA cuOpt. Всё контейнеризировано, запускается через Docker Compose. Код и примеры уже на GitHub.
Актуально для логистики, ретейла и производства — там, где цена неоптимального решения измеряется миллионами.
https://developer.nvidia.com/blog/optimize-supply-chain-decision-systems-using-nvidia-cuopt-agent-skills/
Суть: теперь LLM-агент может принимать задачи на обычном языке — например, "составь 12-недельный план производства с минимальными затратами" — и автоматически переводить их в математические модели, которые решает GPU-ускоренный движок cuOpt.
Раньше такие задачи занимали у OR-команд недели. Теперь — секунды. Агент сам разбивает цель на подзадачи, формулирует модель и отдаёт её на расчёт GPU, а затем возвращает человекочитаемый план с метриками: затраты, загрузка мощностей, остатки запасов.
В основе — модель MiniMax M2.5, LangChain Deep Agents и NVIDIA cuOpt. Всё контейнеризировано, запускается через Docker Compose. Код и примеры уже на GitHub.
Актуально для логистики, ретейла и производства — там, где цена неоптимального решения измеряется миллионами.
https://developer.nvidia.com/blog/optimize-supply-chain-decision-systems-using-nvidia-cuopt-agent-skills/
NVIDIA Technical Blog
Optimize Supply Chain Decision Systems Using NVIDIA cuOpt Agent Skills
Modern supply chains operate under the constant pressures of fluctuating demand, volatile costs, constrained capacity, and interdependent decision-making. Traditionally…
Apple ML выпустила исследование PORTool — новый алгоритм обучения AI-агентов, которые умеют использовать внешние инструменты.
Проблема была такая: когда агент решает сложную задачу и вызывает несколько инструментов по цепочке, непонятно, какой именно шаг привёл к успеху или провалу. Стандартные методы оценивают только итоговый результат, игнорируя промежуточные решения.
PORTool строит дерево вариантов: агент пробует разные ветки решений с общим началом, а алгоритм оценивает важность каждого шага — привели ли его потомки к правильному ответу и успешно ли сработали вызовы инструментов.
Результат: агенты точнее отвечают на вопросы и при этом делают меньше лишних обращений к инструментам. Это важно для практики — меньше вызовов означает меньше задержек и затрат.
Работа опубликована в мае 2026 года и потенциально влияет на то, как будут строиться агентные системы в продуктах Apple.
https://machinelearning.apple.com/research/portool-policy-optimization
Проблема была такая: когда агент решает сложную задачу и вызывает несколько инструментов по цепочке, непонятно, какой именно шаг привёл к успеху или провалу. Стандартные методы оценивают только итоговый результат, игнорируя промежуточные решения.
PORTool строит дерево вариантов: агент пробует разные ветки решений с общим началом, а алгоритм оценивает важность каждого шага — привели ли его потомки к правильному ответу и успешно ли сработали вызовы инструментов.
Результат: агенты точнее отвечают на вопросы и при этом делают меньше лишних обращений к инструментам. Это важно для практики — меньше вызовов означает меньше задержек и затрат.
Работа опубликована в мае 2026 года и потенциально влияет на то, как будут строиться агентные системы в продуктах Apple.
https://machinelearning.apple.com/research/portool-policy-optimization
Apple Machine Learning Research
PORTool: Importance-Aware Policy Optimization with Rewarded Tree for Multi-Tool-Integrated Reasoning
Multi-tool-integrated reasoning enables LLM-empowered tool-use agents to solve complex tasks by interleaving natural-language reasoning with…
Как научить LLM учиться из новых документов без разметки и обратной связи?
Большинство LLM хорошо справляются с задачами, покрытыми при предобучении. Но что если нужно прочитать незнакомую техническую документацию и применить знания из неё? Авторы называют это "context learning" и признают: современные модели здесь слабы.
Решение — Ctx2Skill. Идея: автоматически извлекать из контекста "навыки" (skills) — текстовые правила и процедуры, которые потом подключаются к любой LLM при инференсе.
Как это работает: два агента играют друг против друга. Challenger генерирует задачи по контексту, Reasoner их решает, Judge оценивает. Провалы → обновление навыков Reasoner. Лёгкие задачи → Challenger усложняет вопросы. Оба агента эволюционируют без изменения весов.
Проблема: со временем Challenger начинает генерировать патологические задачи, а Reasoner переспециализируется. Решение — Cross-Time Replay: выбирается набор навыков, лучше всего балансирующий между историческими задачами.
Большинство LLM хорошо справляются с задачами, покрытыми при предобучении. Но что если нужно прочитать незнакомую техническую документацию и применить знания из неё? Авторы называют это "context learning" и признают: современные модели здесь слабы.
Решение — Ctx2Skill. Идея: автоматически извлекать из контекста "навыки" (skills) — текстовые правила и процедуры, которые потом подключаются к любой LLM при инференсе.
Как это работает: два агента играют друг против друга. Challenger генерирует задачи по контексту, Reasoner их решает, Judge оценивает. Провалы → обновление навыков Reasoner. Лёгкие задачи → Challenger усложняет вопросы. Оба агента эволюционируют без изменения весов.
Проблема: со временем Challenger начинает генерировать патологические задачи, а Reasoner переспециализируется. Решение — Cross-Time Replay: выбирается набор навыков, лучше всего балансирующий между историческими задачами.