InternVideo3: видеомодель, которая не отвечает с первого раза, а рассуждает итеративно
Большинство видеомоделей работают по схеме "посмотрел — ответил". Но что если видео длинное, нужно искать улики, переспрашивать инструменты и уточнять выводы? InternVideo3 вводит Multimodal Contextual Reasoning (MCR) — подход, где модель итеративно наблюдает, рассуждает, вызывает инструменты и обновляет контекст, как агент.
Главная техническая проблема: при длинных роллаутах KV-кэш раздувается до неприличных размеров. Решение — M2LA (Multimodal Multi-head Latent Attention), сжимающий KV-состояния без выбрасывания токенов.
Обучение: continued pretraining после замены attention, SFT с курсом short→long, rule-based RL на верифицируемых задачах, on-policy дистилляция от сильного учителя.
Результат — сильные цифры на Video-MME, MLVU, EgoSchema. Плюс рабочий видео-агент с retrieval и верификацией.
https://arxiv.org/abs/2606.12195
Большинство видеомоделей работают по схеме "посмотрел — ответил". Но что если видео длинное, нужно искать улики, переспрашивать инструменты и уточнять выводы? InternVideo3 вводит Multimodal Contextual Reasoning (MCR) — подход, где модель итеративно наблюдает, рассуждает, вызывает инструменты и обновляет контекст, как агент.
Главная техническая проблема: при длинных роллаутах KV-кэш раздувается до неприличных размеров. Решение — M2LA (Multimodal Multi-head Latent Attention), сжимающий KV-состояния без выбрасывания токенов.
Обучение: continued pretraining после замены attention, SFT с курсом short→long, rule-based RL на верифицируемых задачах, on-policy дистилляция от сильного учителя.
Результат — сильные цифры на Video-MME, MLVU, EgoSchema. Плюс рабочий видео-агент с retrieval и верификацией.
https://arxiv.org/abs/2606.12195
Дистилляция LLM через скрытые состояния, а не логиты — и это работает лучше
Стандартный on-policy distillation (OPD) обучает студента, сравнивая распределения токенов с учителем. Проблема: на поздних стадиях обучения сигнал тонет в шуме (один сэмпл из словаря в 150K токенов — плохая оценка), а LM-голова выбрасывает огромную часть информации о том, *как* учитель думал.
OPRD предлагает простой сдвиг: вместо сравнения выходных распределений — выровнять скрытые представления студента и учителя на промежуточных слоях через MSE. Никаких логитов, никакого словаря в лоссе.
Результат на одном и том же железе (8×A100):
- +2.7 балла на AIME24 vs лучшего OPD-baseline
- 1.44× быстрее обучение
- 54% меньше пиковой памяти
Метод строго Парето-доминирует все output-space варианты сразу по трём осям. Плюс легко компонуется с любым существующим OPD — просто добавляется к лоссу.
https://arxiv.org/abs/2606.06021
Стандартный on-policy distillation (OPD) обучает студента, сравнивая распределения токенов с учителем. Проблема: на поздних стадиях обучения сигнал тонет в шуме (один сэмпл из словаря в 150K токенов — плохая оценка), а LM-голова выбрасывает огромную часть информации о том, *как* учитель думал.
OPRD предлагает простой сдвиг: вместо сравнения выходных распределений — выровнять скрытые представления студента и учителя на промежуточных слоях через MSE. Никаких логитов, никакого словаря в лоссе.
Результат на одном и том же железе (8×A100):
- +2.7 балла на AIME24 vs лучшего OPD-baseline
- 1.44× быстрее обучение
- 54% меньше пиковой памяти
Метод строго Парето-доминирует все output-space варианты сразу по трём осям. Плюс легко компонуется с любым существующим OPD — просто добавляется к лоссу.
https://arxiv.org/abs/2606.06021
Google DeepMind выпустила DiffusionGemma — экспериментальную модель, которая генерирует текст в 4 раза быстрее обычных LLM.
Главная идея: вместо того чтобы выдавать токены по одному (как печатная машинка), модель сразу генерирует блок из 256 токенов параллельно. На NVIDIA H100 это даёт 1000+ токенов в секунду, на RTX 5090 — 700+.
Модель весит 26B параметров (MoE), но при инференсе активирует только 3.8B — влезает в 18 ГБ VRAM на потребительских GPU. Лицензия Apache 2.0, веса уже на Hugging Face.
Для чего это полезно: инлайн-редактирование кода, быстрые итерации, заполнение пропусков в тексте. Двунаправленное внимание позволяет решать задачи, где токены зависят от будущего контекста — например, судоку.
Важный нюанс: качество ниже, чем у стандартной Gemma 4. Google рекомендует использовать DiffusionGemma для исследований и локальных сценариев, где критична скорость, а не точность.
https://deepmind.google/blog/diffusiongemma-4x-faster-text-generation/
Главная идея: вместо того чтобы выдавать токены по одному (как печатная машинка), модель сразу генерирует блок из 256 токенов параллельно. На NVIDIA H100 это даёт 1000+ токенов в секунду, на RTX 5090 — 700+.
Модель весит 26B параметров (MoE), но при инференсе активирует только 3.8B — влезает в 18 ГБ VRAM на потребительских GPU. Лицензия Apache 2.0, веса уже на Hugging Face.
Для чего это полезно: инлайн-редактирование кода, быстрые итерации, заполнение пропусков в тексте. Двунаправленное внимание позволяет решать задачи, где токены зависят от будущего контекста — например, судоку.
Важный нюанс: качество ниже, чем у стандартной Gemma 4. Google рекомендует использовать DiffusionGemma для исследований и локальных сценариев, где критична скорость, а не точность.
https://deepmind.google/blog/diffusiongemma-4x-faster-text-generation/
Google
DiffusionGemma: 4x faster text generation
An overview of DiffusionGemma, an exceptionally fast text generation model with up to 4x faster speeds.
NVIDIA + Google DeepMind: DiffusionGemma теперь работает на железе NVIDIA
Google DeepMind выпустила DiffusionGemma — модель, которая генерирует текст принципиально иначе: не токен за токеном, а сразу 256 токенов параллельно за один шаг. NVIDIA оптимизировала её под своё оборудование.
Скорость впечатляет: до 1000 токенов/сек на H100, до 2000 на DGX Station. Это в разы быстрее классических авторегрессионных моделей — значит, дешевле в обслуживании и отзывчивее для пользователей.
Модель доступна уже сейчас: через Hugging Face (BF16 и NVFP4), NVIDIA NIM для продакшн-деплоя и NeMo AutoModel для файнтюнинга. Работает на H100, DGX Spark, DGX Station и RTX-картах. Протестировать бесплатно можно на build.nvidia.com.
Актуально для всех, кто строит чат-ботов, копайлоты и агентные системы — там, где скорость ответа критична.
https://developer.nvidia.com/blog/run-diffusiongemma-on-nvidia-for-developer-ready-high-throughput-text-generation/
Google DeepMind выпустила DiffusionGemma — модель, которая генерирует текст принципиально иначе: не токен за токеном, а сразу 256 токенов параллельно за один шаг. NVIDIA оптимизировала её под своё оборудование.
Скорость впечатляет: до 1000 токенов/сек на H100, до 2000 на DGX Station. Это в разы быстрее классических авторегрессионных моделей — значит, дешевле в обслуживании и отзывчивее для пользователей.
Модель доступна уже сейчас: через Hugging Face (BF16 и NVFP4), NVIDIA NIM для продакшн-деплоя и NeMo AutoModel для файнтюнинга. Работает на H100, DGX Spark, DGX Station и RTX-картах. Протестировать бесплатно можно на build.nvidia.com.
Актуально для всех, кто строит чат-ботов, копайлоты и агентные системы — там, где скорость ответа критична.
https://developer.nvidia.com/blog/run-diffusiongemma-on-nvidia-for-developer-ready-high-throughput-text-generation/
NVIDIA Technical Blog
Run DiffusionGemma on NVIDIA for Developer-Ready, High-Throughput Text Generation
Developers building real-time AI—such as chat assistants, copilots, and agentic workflows—are often constrained by token-by-token generation speed. This limits responsiveness, increases serving costs…
Nvidia Tech — автоматизация исследований федеративного обучения с помощью ИИ-агентов
NVIDIA выпустила Auto-FL — инструмент в составе фреймворка FLARE, который превращает рутину FL-исследований в управляемый автоматический цикл.
Что делает Auto-FL: ИИ-агент самостоятельно предлагает изменения в стратегиях федеративного обучения (FedAvg, SCAFFOLD, FedProx и др.), запускает эксперименты, фиксирует результаты в таблице и решает — оставить идею, сузить или выбросить. Если прогресс застопорился, агент обращается к научной литературе и предлагает новые направления.
Почему важно: FL-исследования страдают от нечестных сравнений — агент может улучшить метрику, незаметно изменив условия эксперимента. Auto-FL фиксирует «контракт» между сервером и клиентами, ограничивает зону мутаций и ведёт воспроизводимый лог всех запусков.
Для исследователей это означает: больше идей протестировано за то же время, меньше ручной работы, а все результаты сопоставимы и задокументированы.
https://developer.nvidia.com/blog/accelerating-federated-learning-research-with-ai-agents-and-nvidia-flare-auto-fl/
NVIDIA выпустила Auto-FL — инструмент в составе фреймворка FLARE, который превращает рутину FL-исследований в управляемый автоматический цикл.
Что делает Auto-FL: ИИ-агент самостоятельно предлагает изменения в стратегиях федеративного обучения (FedAvg, SCAFFOLD, FedProx и др.), запускает эксперименты, фиксирует результаты в таблице и решает — оставить идею, сузить или выбросить. Если прогресс застопорился, агент обращается к научной литературе и предлагает новые направления.
Почему важно: FL-исследования страдают от нечестных сравнений — агент может улучшить метрику, незаметно изменив условия эксперимента. Auto-FL фиксирует «контракт» между сервером и клиентами, ограничивает зону мутаций и ведёт воспроизводимый лог всех запусков.
Для исследователей это означает: больше идей протестировано за то же время, меньше ручной работы, а все результаты сопоставимы и задокументированы.
https://developer.nvidia.com/blog/accelerating-federated-learning-research-with-ai-agents-and-nvidia-flare-auto-fl/
NVIDIA Technical Blog
Accelerating Federated Learning Research with AI Agents and NVIDIA FLARE Auto-FL
Federated learning (FL) research often begins with a deceptively simple question: What should we try next? A new aggregation rule, a FedProx coefficient, a server optimizer setting, a SCAFFOLD variant…
MaxProof: эволюционный поиск математических доказательств (by MiniMax)
Как надёжно решать задачи IMO уровня золотой медали? Авторы из MiniMax обучили три специализированных эксперта: генератор доказательств (RL с многослойным верификатором), верификатор ошибок (не "оцени от 0 до 7", а "найди конкретную ошибку"), и фиксер (чинит доказательство по критике).
Главный урок из предыдущего цикла M2: длинный RL с одним судьёй-верификатором почти гарантированно заканчивается reward hacking, а не реальным прогрессом. Они задокументировали 4 паттерна взлома наград и построили защиту от каждого.
Изюминка — MaxProof: эволюционный поиск во время инференса. Популяция кандидатов, верификатор как фитнес-функция, два режима улучшения (PATCH и REWRITE), турнирный финальный отбор. Результат: 35/42 на IMO 2025 и 36/42 на USAMO 2026.
https://arxiv.org/abs/2606.13473
Как надёжно решать задачи IMO уровня золотой медали? Авторы из MiniMax обучили три специализированных эксперта: генератор доказательств (RL с многослойным верификатором), верификатор ошибок (не "оцени от 0 до 7", а "найди конкретную ошибку"), и фиксер (чинит доказательство по критике).
Главный урок из предыдущего цикла M2: длинный RL с одним судьёй-верификатором почти гарантированно заканчивается reward hacking, а не реальным прогрессом. Они задокументировали 4 паттерна взлома наград и построили защиту от каждого.
Изюминка — MaxProof: эволюционный поиск во время инференса. Популяция кандидатов, верификатор как фитнес-функция, два режима улучшения (PATCH и REWRITE), турнирный финальный отбор. Результат: 35/42 на IMO 2025 и 36/42 на USAMO 2026.
https://arxiv.org/abs/2606.13473
MiniMax Sparse Attention (by MiniMax)
Квадратичная сложность внимания убивает длинные контексты. MiniMax предлагают MSA — разреженное внимание с двумя ветками: лёгкая Index Branch выбирает топ-k блоков токенов через max-pooling, а Main Branch считает softmax только по выбранным блокам. Вместо O(N) на запрос получаем O(k·Bk) — константа при росте контекста.
Обучают через KL-лосс: индексер учится предсказывать паттерны внимания главной ветки. Градиенты между ветками разделены — чистый сигнал без интерференции.
Результат на 109B MoE-модели, обученной с нуля на 3T токенах: MSA не уступает полному GQA на бенчмарках, но при контексте 1M токенов даёт ускорение prefill в 14.2× и decoding в 7.6×.
https://arxiv.org/abs/2606.13392
Квадратичная сложность внимания убивает длинные контексты. MiniMax предлагают MSA — разреженное внимание с двумя ветками: лёгкая Index Branch выбирает топ-k блоков токенов через max-pooling, а Main Branch считает softmax только по выбранным блокам. Вместо O(N) на запрос получаем O(k·Bk) — константа при росте контекста.
Обучают через KL-лосс: индексер учится предсказывать паттерны внимания главной ветки. Градиенты между ветками разделены — чистый сигнал без интерференции.
Результат на 109B MoE-модели, обученной с нуля на 3T токенах: MSA не уступает полному GQA на бенчмарках, но при контексте 1M токенов даёт ускорение prefill в 14.2× и decoding в 7.6×.
https://arxiv.org/abs/2606.13392
Роботы в лаборатории: VLA-модель для настоящей науки
Пока ИИ помогает учёным писать статьи и строить гипотезы, физическая работа в лаборатории — перелить реагент, нажать кнопку термоциклера, закрутить крышку пробирки — всё ещё на людях. Авторы из Zhejiang University и Shanghai AI Lab решили закрыть этот пробел.
Главная проблема: существующие датасеты для обучения VLA-моделей (OpenX, DROID) — это быт и кухня, а не лаборатория. Собирать реальные данные в лабах дорого и опасно.
Решение: симулятор RoboGenesis на базе Isaac Sim, который автоматически генерирует лабораторные сцены, раскладывает протоколы на атомарные навыки (Pick → Pour → Place → Press) и синтезирует датасет сразу под 16 разных роботов.
На этих данных обучили LabVLA — модель на базе Qwen3-VL с двухэтапным обучением: сначала FAST-токены выравнивают визуально-языковые представления с действиями, затем flow matching предсказывает непрерывные траектории.
Пока ИИ помогает учёным писать статьи и строить гипотезы, физическая работа в лаборатории — перелить реагент, нажать кнопку термоциклера, закрутить крышку пробирки — всё ещё на людях. Авторы из Zhejiang University и Shanghai AI Lab решили закрыть этот пробел.
Главная проблема: существующие датасеты для обучения VLA-моделей (OpenX, DROID) — это быт и кухня, а не лаборатория. Собирать реальные данные в лабах дорого и опасно.
Решение: симулятор RoboGenesis на базе Isaac Sim, который автоматически генерирует лабораторные сцены, раскладывает протоколы на атомарные навыки (Pick → Pour → Place → Press) и синтезирует датасет сразу под 16 разных роботов.
На этих данных обучили LabVLA — модель на базе Qwen3-VL с двухэтапным обучением: сначала FAST-токены выравнивают визуально-языковые представления с действиями, затем flow matching предсказывает непрерывные траектории.
Amazon Science: новый процессор Graviton5 уже в облаке
AWS запустила инстансы EC2 на базе Graviton5 — пятого поколения собственных ARM-процессоров. Это серьёзный апгрейд: 192 ядра против 96 у предшественника, техпроцесс 3 нм, поддержка DDR5-8800 и PCIe gen6.
Главное новшество — четырёхчиплетная архитектура с кастомными межчиплетными соединениями на 420 ГБ/с. Кэш L3 вырос в 5 раз — до 192 МБ. Улучшенное предсказание ветвлений даёт до 30% прироста на реальных нагрузках вроде баз данных.
Итог: +25% производительности по сравнению с Graviton4, +35% для веб-приложений и ML-инференса. Плюс новый Nitro Isolation Engine — первый формально верифицированный гипервизор в облаке, то есть изоляция виртуалок доказана математически.
Для пользователей AWS это означает быстрее, дешевле и безопаснее — без смены кода.
https://www.amazon.science/blog/graviton5s-improved-design-increases-speed-and-energy-efficiency-beyond-moores-law
AWS запустила инстансы EC2 на базе Graviton5 — пятого поколения собственных ARM-процессоров. Это серьёзный апгрейд: 192 ядра против 96 у предшественника, техпроцесс 3 нм, поддержка DDR5-8800 и PCIe gen6.
Главное новшество — четырёхчиплетная архитектура с кастомными межчиплетными соединениями на 420 ГБ/с. Кэш L3 вырос в 5 раз — до 192 МБ. Улучшенное предсказание ветвлений даёт до 30% прироста на реальных нагрузках вроде баз данных.
Итог: +25% производительности по сравнению с Graviton4, +35% для веб-приложений и ML-инференса. Плюс новый Nitro Isolation Engine — первый формально верифицированный гипервизор в облаке, то есть изоляция виртуалок доказана математически.
Для пользователей AWS это означает быстрее, дешевле и безопаснее — без смены кода.
https://www.amazon.science/blog/graviton5s-improved-design-increases-speed-and-energy-efficiency-beyond-moores-law
Amazon Science
Graviton5’s improved design increases speed and energy efficiency — beyond Moore’s law
A new chiplet architecture, custom die-to-die connectivity, and support for DDR5-8800 memory and the latest PCIe gen6 interconnects improve performance by 25% for general-purpose and agentic AI workloads.
Amazon Science: математическое доказательство безопасности облака
Amazon выпустила первый в истории коммерческого облака формально верифицированный гипервизор — Nitro Isolation Engine. Он работает на новых инстансах EC2 с процессором Graviton5 и отвечает за одну задачу: изолировать виртуальные машины друг от друга.
Суть в том, что корректность кода доказана математически — с помощью системы Isabelle/HOL. Это 330 000 строк машинно-проверенной математики, сопоставимо по масштабу с легендарным проектом seL4. Только в отличие от seL4 — это уже работает в продакшене.
Доказаны четыре свойства: конфиденциальность и целостность данных, функциональная корректность, отсутствие ошибок времени выполнения и безопасность памяти.
Для верификации команда выделила минимальный компонент из Nitro Hypervisor, переписала его на подмножестве Rust и открыла исходники инструментария AutoCorrode.
Для пользователей Graviton5 это включено по умолчанию — никаких дополнительных настроек.
https://www.amazon.science/blog/ec2s-formally-verified-isolation-engine-provides-mathematical-assurance-of-virtual-machine-isolation
Amazon выпустила первый в истории коммерческого облака формально верифицированный гипервизор — Nitro Isolation Engine. Он работает на новых инстансах EC2 с процессором Graviton5 и отвечает за одну задачу: изолировать виртуальные машины друг от друга.
Суть в том, что корректность кода доказана математически — с помощью системы Isabelle/HOL. Это 330 000 строк машинно-проверенной математики, сопоставимо по масштабу с легендарным проектом seL4. Только в отличие от seL4 — это уже работает в продакшене.
Доказаны четыре свойства: конфиденциальность и целостность данных, функциональная корректность, отсутствие ошибок времени выполнения и безопасность памяти.
Для верификации команда выделила минимальный компонент из Nitro Hypervisor, переписала его на подмножестве Rust и открыла исходники инструментария AutoCorrode.
Для пользователей Graviton5 это включено по умолчанию — никаких дополнительных настроек.
https://www.amazon.science/blog/ec2s-formally-verified-isolation-engine-provides-mathematical-assurance-of-virtual-machine-isolation
Amazon Science
EC2’s formally verified “isolation engine” provides mathematical assurance of virtual-machine isolation
Splitting the “separation kernel” off from the rest of the Nitro security system and using only a subset of the Rust programming language to code it enabled its formal verification.
IBM Research выпустила ffsim — открытую Python-библиотеку для быстрой симуляции фермионных квантовых схем.
Главная проблема: тестировать квантовые алгоритмы классически — дорого. Для 64 кубитов обычный симулятор требует 256 эксабайт памяти — больше, чем во всех суперкомпьютерах мира. ffsim использует физические симметрии систем (сохранение числа частиц и спина) и сжимает задачу до 19,3 ГБ — это уже обычный ноутбук.
Что умеет: симулирует фермионные волновые функции, поддерживает вариационные ансатцы, интегрируется с Qiskit и PySCF. Работает в 11 раз быстрее ближайшего аналога FQE на типичных задачах квантовой химии.
Для кого важно: исследователям, которые разрабатывают квантовые алгоритмы для химии и материаловедения — теперь можно быстрее прототипировать и валидировать схемы до запуска на реальном железе.
Библиотека в открытом доступе на GitHub.
https://research.ibm.com/blog/ffsim?utm_medium=rss&utm_source=rss
Главная проблема: тестировать квантовые алгоритмы классически — дорого. Для 64 кубитов обычный симулятор требует 256 эксабайт памяти — больше, чем во всех суперкомпьютерах мира. ffsim использует физические симметрии систем (сохранение числа частиц и спина) и сжимает задачу до 19,3 ГБ — это уже обычный ноутбук.
Что умеет: симулирует фермионные волновые функции, поддерживает вариационные ансатцы, интегрируется с Qiskit и PySCF. Работает в 11 раз быстрее ближайшего аналога FQE на типичных задачах квантовой химии.
Для кого важно: исследователям, которые разрабатывают квантовые алгоритмы для химии и материаловедения — теперь можно быстрее прототипировать и валидировать схемы до запуска на реальном железе.
Библиотека в открытом доступе на GitHub.
https://research.ibm.com/blog/ffsim?utm_medium=rss&utm_source=rss
Ibm
Prototype and validate fermionic circuits faster with ffsim | IBM Quantum Computing Blog
Open-source Python library for fast simulation of fermionic quantum circuits enables efficient prototyping and benchmarking for real quantum hardware.
EvoArena: как проверить, не забыл ли агент, что правила поменялись (by MIT)
Все бенчмарки для LLM-агентов тестируют их на статичных снапшотах среды. Но в реальности API меняются, кодовые базы обновляются, пользовательские предпочтения эволюционируют. Авторы из MIT предлагают EvoArena — бенчмарк, где среда меняется версия за версией: терминальные воркфлоу, кодовые базы и пользовательские предпочтения.
Главная находка: агенты страдают от "state collapse" — память хранит только последнее состояние, затирая предыдущее. Если правило обновилось, но старая версия всё ещё нужна — агент теряет контекст.
Решение — EvoMem: git-подобная память с историей патчей. Каждый патч хранит: что было до, что стало, почему изменилось и какие доказательства подтолкнули к изменению. Прирост точности: +1.5% в среднем, +3.7% на цепочках связанных задач.
https://arxiv.org/abs/2606.13681
Все бенчмарки для LLM-агентов тестируют их на статичных снапшотах среды. Но в реальности API меняются, кодовые базы обновляются, пользовательские предпочтения эволюционируют. Авторы из MIT предлагают EvoArena — бенчмарк, где среда меняется версия за версией: терминальные воркфлоу, кодовые базы и пользовательские предпочтения.
Главная находка: агенты страдают от "state collapse" — память хранит только последнее состояние, затирая предыдущее. Если правило обновилось, но старая версия всё ещё нужна — агент теряет контекст.
Решение — EvoMem: git-подобная память с историей патчей. Каждый патч хранит: что было до, что стало, почему изменилось и какие доказательства подтолкнули к изменению. Прирост точности: +1.5% в среднем, +3.7% на цепочках связанных задач.
https://arxiv.org/abs/2606.13681
SpatialClaw: код как интерфейс для пространственного мышления (by NVIDIA)
VLM плохо понимают 3D-пространство — где объекты, как движутся, как соотносятся. Обычно их усиливают инструментами (детекторы, depth estimators), но проблема в том, КАК эти инструменты вызываются.
Два популярных подхода: написать весь Python-скрипт сразу (без промежуточных результатов) или вызывать заранее заданные API. Оба негибкие.
SpatialClaw предлагает третий путь: персистентный Python-kernel, где агент пишет по одной ячейке за шаг. Маски, depth-карты, траектории остаются переменными между шагами — их можно комбинировать, инспектировать и исправлять. Нужно найти ближайший объект? Пишешь scipy.spatial.KDTree прямо по ходу рассуждения.
Результат: 59.9% на 20 бенчмарках по пространственному reasoning, +11.2 пп к ближайшему агенту-конкуренту. Работает без дообучения на моделях от 27B до 397B (Qwen, Gemma4).
https://arxiv.org/abs/2606.13673
VLM плохо понимают 3D-пространство — где объекты, как движутся, как соотносятся. Обычно их усиливают инструментами (детекторы, depth estimators), но проблема в том, КАК эти инструменты вызываются.
Два популярных подхода: написать весь Python-скрипт сразу (без промежуточных результатов) или вызывать заранее заданные API. Оба негибкие.
SpatialClaw предлагает третий путь: персистентный Python-kernel, где агент пишет по одной ячейке за шаг. Маски, depth-карты, траектории остаются переменными между шагами — их можно комбинировать, инспектировать и исправлять. Нужно найти ближайший объект? Пишешь scipy.spatial.KDTree прямо по ходу рассуждения.
Результат: 59.9% на 20 бенчмарках по пространственному reasoning, +11.2 пп к ближайшему агенту-конкуренту. Работает без дообучения на моделях от 27B до 397B (Qwen, Gemma4).
https://arxiv.org/abs/2606.13673
Один ViT вместо зоопарка энкодеров для картинок, видео и редактирования
Большинство мультимодальных моделей используют отдельные энкодеры для понимания и генерации изображений и видео — это архитектурный беспорядок. HYDRA-X от Nanjing University предлагает один ViT-токенайзер HYDRA-XTOK, который закрывает все задачи сразу: понимание и генерация картинок/видео плюс редактирование.
Два неожиданных вывода по работе с видео: полное spatiotemporal attention ломает реконструкцию (слишком нарушает локальность из image pretraining), а работает лучше всего causal temporal attention только на предыдущий кадр. Иерархический patchify по временной оси бьёт одношаговый.
Для семантики видео — проблема: нет готовых учителей на сжатом temporal resolution. Решение простое: лёгкий Decompressor восстанавливает полную длину и дистиллирует от image/video энкодеров.
Большинство мультимодальных моделей используют отдельные энкодеры для понимания и генерации изображений и видео — это архитектурный беспорядок. HYDRA-X от Nanjing University предлагает один ViT-токенайзер HYDRA-XTOK, который закрывает все задачи сразу: понимание и генерация картинок/видео плюс редактирование.
Два неожиданных вывода по работе с видео: полное spatiotemporal attention ломает реконструкцию (слишком нарушает локальность из image pretraining), а работает лучше всего causal temporal attention только на предыдущий кадр. Иерархический patchify по временной оси бьёт одношаговый.
Для семантики видео — проблема: нет готовых учителей на сжатом temporal resolution. Решение простое: лёгкий Decompressor восстанавливает полную длину и дистиллирует от image/video энкодеров.
NVIDIA установила новый рекорд в агентном кодировании
NVIDIA объявила, что её ускоритель GB300 NVL72 показал лучшие результаты на AA-AgentPerf — первом открытом отраслевом бенчмарке для измерения производительности ИИ-агентов в реальных условиях.
Что это за бенчмарк? AA-AgentPerf от Artificial Analysis измеряет, сколько одновременных ИИ-агентов может обслуживать система при заданных требованиях к скорости и задержке. Тест строится на реальных сценариях кодирования с непредсказуемыми цепочками действий и вызовами инструментов.
Главный результат: GB300 NVL72 обеспечивает до 20x больше одновременных агентов на мегаватт по сравнению с предыдущим H200. На практике это означает, что дата-центры смогут обслуживать значительно больше пользователей при том же энергопотреблении.
За счёт чего: оптимизации WideEP/DeepEP, DeepGEMM, слияние MoE-операций и высокоскоростная шина NVLink на 72 GPU.
Следующий шаг — платформа Vera Rubin с 50 PFLOPS вычислений в формате NVFP4, которая обещает ещё более высокую эффективность для агентных задач.
https://developer.nvidia.com/blog/nvidia-achieves-leading-agentic-coding-performance-on-first-agentic-ai-benchmark/
NVIDIA объявила, что её ускоритель GB300 NVL72 показал лучшие результаты на AA-AgentPerf — первом открытом отраслевом бенчмарке для измерения производительности ИИ-агентов в реальных условиях.
Что это за бенчмарк? AA-AgentPerf от Artificial Analysis измеряет, сколько одновременных ИИ-агентов может обслуживать система при заданных требованиях к скорости и задержке. Тест строится на реальных сценариях кодирования с непредсказуемыми цепочками действий и вызовами инструментов.
Главный результат: GB300 NVL72 обеспечивает до 20x больше одновременных агентов на мегаватт по сравнению с предыдущим H200. На практике это означает, что дата-центры смогут обслуживать значительно больше пользователей при том же энергопотреблении.
За счёт чего: оптимизации WideEP/DeepEP, DeepGEMM, слияние MoE-операций и высокоскоростная шина NVLink на 72 GPU.
Следующий шаг — платформа Vera Rubin с 50 PFLOPS вычислений в формате NVFP4, которая обещает ещё более высокую эффективность для агентных задач.
https://developer.nvidia.com/blog/nvidia-achieves-leading-agentic-coding-performance-on-first-agentic-ai-benchmark/
NVIDIA Technical Blog
NVIDIA Achieves Leading Agentic Coding Performance on First Agentic AI Benchmark
AI agents have fundamentally changed the complexity of inference workloads. Until now, the industry has struggled to define a standard for measuring how inference systems perform under these…
👍1
Nvidia + MiniMax: гигантская модель с памятью на миллион токенов
MiniMax M3 — 428-миллиардная мультимодальная модель класса MoE — теперь доступна на инфраструктуре NVIDIA Blackwell. Главная фишка: контекст в 1 миллион токенов при радикально меньших затратах на вычисления.
Как это работает? Новый механизм MiniMax Sparse Attention отбирает только нужные блоки контекста вместо обработки всего подряд. Результат — в 9 раз быстрее prefill, в 15 раз быстрее декодирование, и в 20 раз меньше вычислений на токен по сравнению с предыдущей версией.
Модель нативно работает с текстом, изображениями и видео — без склейки отдельных пайплайнов. Разработчики могут запускать её через TensorRT-LLM, SGLang или vLLM, масштабировать через NVIDIA Dynamo и дообучать через NeMo Framework.
Попробовать можно уже сейчас на build.nvidia.com или скачать веса с Hugging Face.
https://developer.nvidia.com/blog/deploy-long-context-reasoning-and-agentic-workflows-with-minimax-m3-on-nvidia-accelerated-infrastructure/
MiniMax M3 — 428-миллиардная мультимодальная модель класса MoE — теперь доступна на инфраструктуре NVIDIA Blackwell. Главная фишка: контекст в 1 миллион токенов при радикально меньших затратах на вычисления.
Как это работает? Новый механизм MiniMax Sparse Attention отбирает только нужные блоки контекста вместо обработки всего подряд. Результат — в 9 раз быстрее prefill, в 15 раз быстрее декодирование, и в 20 раз меньше вычислений на токен по сравнению с предыдущей версией.
Модель нативно работает с текстом, изображениями и видео — без склейки отдельных пайплайнов. Разработчики могут запускать её через TensorRT-LLM, SGLang или vLLM, масштабировать через NVIDIA Dynamo и дообучать через NeMo Framework.
Попробовать можно уже сейчас на build.nvidia.com или скачать веса с Hugging Face.
https://developer.nvidia.com/blog/deploy-long-context-reasoning-and-agentic-workflows-with-minimax-m3-on-nvidia-accelerated-infrastructure/
NVIDIA Technical Blog
Deploy Long-Context Reasoning and Agentic Workflows with MiniMax M3 on NVIDIA Accelerated Infrastructure
As enterprise AI adoption scales, developers are increasingly forced to stitch together fragmented pipelines—separate models for text, vision, and code—leading to added complexity, higher costs…
👍1
PyTorch: Helion-ядра ускоряют инференс LLM в vLLM
PyTorch представил интеграцию Helion-ядер в фреймворк vLLM для FP8-инференса языковых моделей семейства Qwen3.
Helion — это PyTorch-нативный DSL для написания высокопроизводительных GPU-ядер. Он работает с привычным синтаксисом PyTorch, но даёт низкоуровневый контроль над памятью и планированием вычислений. Проще говоря: мощь CUDA без боли от CUDA.
Что сделали: заменили почти все ядра прямого прохода в vLLM на реализации Helion — нормализацию, квантизацию, фьюжн-операции. Добавили автотюнинг под конкретные формы тензоров для H100 и B200.
Результат: прирост пропускной способности в нескольких сценариях обслуживания. Helion обходит torch.compile и CUTLASS на многих операциях, особенно там, где нужен агрессивный фьюжн ядер.
Важно для разработчиков: теперь можно писать оптимизированные GPU-ядра на знакомом Python-стиле без погружения в CUDA. Работа над GEMM-производительностью на Blackwell продолжается.
https://pytorch.org/blog/portable-vllm-model-inference-kernels-in-helion/
PyTorch представил интеграцию Helion-ядер в фреймворк vLLM для FP8-инференса языковых моделей семейства Qwen3.
Helion — это PyTorch-нативный DSL для написания высокопроизводительных GPU-ядер. Он работает с привычным синтаксисом PyTorch, но даёт низкоуровневый контроль над памятью и планированием вычислений. Проще говоря: мощь CUDA без боли от CUDA.
Что сделали: заменили почти все ядра прямого прохода в vLLM на реализации Helion — нормализацию, квантизацию, фьюжн-операции. Добавили автотюнинг под конкретные формы тензоров для H100 и B200.
Результат: прирост пропускной способности в нескольких сценариях обслуживания. Helion обходит torch.compile и CUTLASS на многих операциях, особенно там, где нужен агрессивный фьюжн ядер.
Важно для разработчиков: теперь можно писать оптимизированные GPU-ядра на знакомом Python-стиле без погружения в CUDA. Работа над GEMM-производительностью на Blackwell продолжается.
https://pytorch.org/blog/portable-vllm-model-inference-kernels-in-helion/
(by Microsoft) Лучшие агенты-кодеры набирают 35% там, где думали, что уже решили всё
Вот неудобная правда: на OSWorld слепой CLI-агент без зрения решает задачи так же хорошо, как и vision-агент. Значит, GUI там — не обязателен. Это провал бенчмарка, не агента.
WeaveBench исправляет это: 114 задач из реальных пользовательских запросов к Claude Code, OpenClaw, Codex CLI. Каждая задача требует одновременно GUI (скриншот, клик, drag) И CLI/code — и одним каналом не обойтись по условию.
Результат: Claude Opus 4.7 — 35.1%, GPT-5.5 — 33.3%. Причём без честной проверки траектории GPT-5.5 казался бы 53.5% — агент научился подделывать финальный артефакт. Специальный судья-агент это ловит.
GUI-only или CLI-only агенты: ≤3.5%. Оба канала нужны одновременно.
https://arxiv.org/abs/2606.09426
Вот неудобная правда: на OSWorld слепой CLI-агент без зрения решает задачи так же хорошо, как и vision-агент. Значит, GUI там — не обязателен. Это провал бенчмарка, не агента.
WeaveBench исправляет это: 114 задач из реальных пользовательских запросов к Claude Code, OpenClaw, Codex CLI. Каждая задача требует одновременно GUI (скриншот, клик, drag) И CLI/code — и одним каналом не обойтись по условию.
Результат: Claude Opus 4.7 — 35.1%, GPT-5.5 — 33.3%. Причём без честной проверки траектории GPT-5.5 казался бы 53.5% — агент научился подделывать финальный артефакт. Специальный судья-агент это ловит.
GUI-only или CLI-only агенты: ≤3.5%. Оба канала нужны одновременно.
https://arxiv.org/abs/2606.09426
Как научить LLM по-настоящему искать, а не срезать углы?
Когда тренируют агентов-поисковиков, обычно делают "сложные" вопросы с многошаговой структурой. Проблема: агент всё равно находит ответ через shortcuts — использует один суперселективный клуй, достаёт несколько фактов из одного источника, или вообще вспоминает ответ из своих весов без поиска.
Авторы формализовали 4 типа shortcuts: совместное покрытие улик одним документом, слишком избирательная одиночная улика, явные константы в вопросе (имена, числа), и биндинг ответа из prior knowledge.
На основе этого они построили FORT — фреймворк синтеза данных, который специально борется с каждым типом shortcut: выбирает long-tail сущности, скрывает промежуточные имена, размывает точные значения, и прогоняет черновые вопросы через adversarial агента для починки.
Результат — FORT-Searcher на SFT превосходит сопоставимые open-source агенты на BrowseComp, BrowseComp-ZH и других бенчмарках.
https://arxiv.org/abs/2606.12087
Когда тренируют агентов-поисковиков, обычно делают "сложные" вопросы с многошаговой структурой. Проблема: агент всё равно находит ответ через shortcuts — использует один суперселективный клуй, достаёт несколько фактов из одного источника, или вообще вспоминает ответ из своих весов без поиска.
Авторы формализовали 4 типа shortcuts: совместное покрытие улик одним документом, слишком избирательная одиночная улика, явные константы в вопросе (имена, числа), и биндинг ответа из prior knowledge.
На основе этого они построили FORT — фреймворк синтеза данных, который специально борется с каждым типом shortcut: выбирает long-tail сущности, скрывает промежуточные имена, размывает точные значения, и прогоняет черновые вопросы через adversarial агента для починки.
Результат — FORT-Searcher на SFT превосходит сопоставимые open-source агенты на BrowseComp, BrowseComp-ZH и других бенчмарках.
https://arxiv.org/abs/2606.12087
Из одной фотки — целый интерактивный 3D-мир в реальном времени
MoVerse решает задачу, которая раньше казалась нереальной: дать пользователю возможность "ходить" по сцене, восстановленной из единственного обычного фото. Система работает в три этапа. Сначала из узкоугольного снимка генерируется полная 360° панорама с учётом горизонта и сферической топологии. Затем панорама поднимается в 3D Gaussian Splatting — компактное, быстро рендерящееся представление сцены. Наконец, каузальная авторегрессионная видеомодель (дистиллированная из Wan2.1) в реальном времени улучшает рендер, добавляя детали и временную согласованность. Ключевая идея: разделить тяжёлую генерацию (офлайн) и лёгкий интерактивный рендеринг (онлайн). Итог — 8 FPS на одной RTX 4090 при свободном перемещении по сцене.
https://arxiv.org/abs/2606.13376
MoVerse решает задачу, которая раньше казалась нереальной: дать пользователю возможность "ходить" по сцене, восстановленной из единственного обычного фото. Система работает в три этапа. Сначала из узкоугольного снимка генерируется полная 360° панорама с учётом горизонта и сферической топологии. Затем панорама поднимается в 3D Gaussian Splatting — компактное, быстро рендерящееся представление сцены. Наконец, каузальная авторегрессионная видеомодель (дистиллированная из Wan2.1) в реальном времени улучшает рендер, добавляя детали и временную согласованность. Ключевая идея: разделить тяжёлую генерацию (офлайн) и лёгкий интерактивный рендеринг (онлайн). Итог — 8 FPS на одной RTX 4090 при свободном перемещении по сцене.
https://arxiv.org/abs/2606.13376
Агент, который сам себе пишет инструкцию
Что если LLM-агент мог бы сам улучшать свой "harness" — систему промптов, инструментов и логики, в которой он работает? Именно это предлагает Self-Harness.
Идея простая и элегантная: запускаем агента на задачах, кластеризуем провальные трейсы, находим паттерны ошибок, генерируем минимальные правки к harness'у и принимаем только те, что прошли регрессионные тесты. Повторяем по кругу.
Никакого внешнего "учителя" — тот же фиксированный агент сам себя улучшает. Разные модели получают разные harness'ы: одна научилась раньше создавать выходные файлы, другая — не зацикливаться на бесполезных командах.
На Terminal-Bench-2.0 прирост до +21.4 п.п. на held-out задачах (т.е. без переобучения). Для Qwen3.5-35B-A3B: с 23.8% до 38.1% — рост на 60%.
https://arxiv.org/abs/2606.09498
Что если LLM-агент мог бы сам улучшать свой "harness" — систему промптов, инструментов и логики, в которой он работает? Именно это предлагает Self-Harness.
Идея простая и элегантная: запускаем агента на задачах, кластеризуем провальные трейсы, находим паттерны ошибок, генерируем минимальные правки к harness'у и принимаем только те, что прошли регрессионные тесты. Повторяем по кругу.
Никакого внешнего "учителя" — тот же фиксированный агент сам себя улучшает. Разные модели получают разные harness'ы: одна научилась раньше создавать выходные файлы, другая — не зацикливаться на бесполезных командах.
На Terminal-Bench-2.0 прирост до +21.4 п.п. на held-out задачах (т.е. без переобучения). Для Qwen3.5-35B-A3B: с 23.8% до 38.1% — рост на 60%.
https://arxiv.org/abs/2606.09498