Галлюцинации в мультимодальных моделях рождаются в момент неопределённости — и это можно поймать (by Cornell)

Авторы заметили любопытный паттерн: в мультимодальных reasoning-моделях галлюцинации чаще всего появляются сразу после слов-переходов (however, wait, but). Оказалось, что именно эти токены имеют наибольшую энтропию — то есть модель в этот момент максимально "не уверена", какой путь рассуждения выбрать.

Решение — LEAD (Latent Entropy-Aware Decoding). Идея проста: когда энтропия токена высокая, вместо одного дискретного токена модель получает взвешенную смесь эмбеддингов всего словаря (по вероятностям). Так сохраняется семантическое разнообразие, и модель не "схлопывается" в галлюцинацию. Плюс в моменты высокой энтропии добавляется визуальный guidance-вектор, чтобы модель не теряла связь с картинкой.

Метод plug-and-play, без дообучения, работает поверх любой MLRM.

https://arxiv.org/abs/2603.13366

Видеомодели с пространственной памятью: ни явная, ни неявная — а мозаичная

Хочешь, чтобы видеомодель помнила сцену при возвращении камеры? Есть два подхода: явная память (3D-облака точек, гауссианы) — геометрически точная, но ломается на динамических объектах. Неявная память (позированные кадры через attention) — гибкая, но дрейфует и жрёт контекст.

Авторы предлагают MosaicMem — гибрид на уровне патчей. Каждый патч геометрически поднимается в 3D (как в явной памяти), а при возврате камеры — проецируется и подаётся в модель через нативный attention (как в неявной). Получается "мозаика": нужные патчи вставляются точно куда надо, а модель сама дорисовывает динамику и новый контент по тексту.

Итог: точнее управление камерой, чем у неявной памяти, и поддержка движущихся объектов в отличие от явной. Плюс — длинные навигационные видео и редактирование сцен через копирование патчей.

https://arxiv.org/abs/2603.17117

Один математик, ноль строк кода вручную — и новая теорема доказана машиной

Исследователь из Вашингтонского университета поставил эксперимент: можно ли формализовать новый результат в математической физике, не написав ни строчки Lean самому?

Задача — доказать, что единственные стационарные решения системы Власова-Максвелла-Ландау (плазма с кулоновскими столкновениями) — это максвеллианы с нулевым E и константным B. Результат новый, даже сформулировать его в Lean было нельзя — пришлось определять оператор Ландау и тороидальную структуру с нуля.

Пайплайн: Gemini DeepThink придумал доказательство за 5 диалогов → Claude Code написал весь Lean-код (~10K строк) → Aristotle автоматически закрыл 111 лемм → итог: 0 sorry, всё верифицировано.

10 дней работы, $200 на подписку Claude, полный лог всех промптов и коммитов в открытом доступе. Главный вывод: research-level формализация стала доступна математикам без экспертизы в Lean.

https://arxiv.org/abs/2603.15929

Роботы наконец-то получили честный 4D-симулятор

Большинство видео-симуляторов для роботов живут в 2D: генерируют пиксели, не понимая геометрии. Kinema4D предлагает другой подход — разделить симуляцию на две части: детерминированное движение робота и генеративную реакцию среды.

Как это работает: берём URDF-модель робота, прогоняем через прямую/обратную кинематику и получаем точную 4D-траекторию суставов. Эту траекторию проецируем в последовательность pointmap-ов — пространственно-временной визуальный сигнал, который управляет диффузионной моделью. Та уже генерирует синхронно RGB и pointmap всей сцены, не гадая "что сделал робот", а зная это точно.

Ключевая идея: движение робота — физическая определённость, его не надо предсказывать. А вот реакция среды (деформации, скрытые объекты) — задача для генеративной модели.

Дополнительно авторы собрали датасет Robo4D-200k: 200k+ демонстраций с 4D-аннотациями. Модель показывает zero-shot перенос на новые сцены.

https://arxiv.org/abs/2603.16669

Google Gemini обновил API для разработчиков — теперь агенты стали умнее и проще в сборке.

Три ключевых изменения:

1. Комбинирование инструментов. Раньше нужно было выбирать: либо встроенные инструменты (Google Search, Maps), либо свои функции. Теперь всё это работает в одном запросе. Gemini сам решает, когда обратиться к поиску, а когда вызвать ваш бэкенд.

2. Циркуляция контекста. Результат одного инструмента теперь автоматически передаётся следующему. Например, модель получает данные о погоде через Search и сразу передаёт их в вашу функцию бронирования площадки.

3. Google Maps для Gemini 3. Геолокация, данные о бизнесах, время в пути — всё это теперь доступно в новом семействе моделей.

Для разработчиков это означает меньше кода на оркестрацию и более быстрые агентные приложения.

https://blog.google/innovation-and-ai/technology/developers-tools/gemini-api-tooling-updates/

Google DeepMind представила научный фреймворк для измерения прогресса к AGI.

Исследователи опубликовали статью "Measuring Progress Toward AGI: A Cognitive Taxonomy" — таксономию из 10 ключевых когнитивных способностей, которые считают важными для общего интеллекта: восприятие, внимание, память, рассуждение, метакогниция, социальное познание и другие.

Для каждой способности предлагается сравнивать AI-системы с репрезентативной выборкой людей — чтобы понять, где модели уже превосходят человека, а где сильно отстают.

Параллельно запускается хакатон на Kaggle с призовым фондом 200 000 долларов. Участников просят создать оценки для пяти областей с наибольшим пробелом: обучение, метакогниция, внимание, исполнительные функции и социальное познание. Приём заявок — до 16 апреля, результаты — 1 июня.

Это попытка перевести расплывчатый термин AGI в измеримые метрики. Без чётких бенчмарков невозможно понять, насколько близко мы к этому рубежу.

https://deepmind.google/blog/measuring-progress-toward-agi-a-cognitive-framework/

Nvidia представила Newton 1.0 GA — GPU-ускоренный симулятор физики для промышленной робототехники с открытым исходным кодом.

Что нового: симулятор объединяет несколько решателей в единой архитектуре. Ключевые из них — Kamino от Disney Research для сложных механизмов с замкнутыми кинематическими цепями и MuJoCo Warp от Google DeepMind, который ускоряет обучение роботов в 252 раза для локомоции и в 475 раз для манипуляций на GPU RTX PRO 6000.

Почему важно: впервые в одном инструменте объединены реалистичная физика деформируемых объектов, продвинутое обнаружение столкновений и масштабируемое обучение с подкреплением. Это критично для задач вроде вставки разъёмов или тактильных манипуляций.

Для пользователей: разработчики роботов получают стабильный API, совместимость с URDF, MJCF и OpenUSD, а также нативную интеграцию с Isaac Sim и Isaac Lab. Проект развивается совместно с Google DeepMind, Disney Research и Toyota Research Institute.

https://developer.nvidia.com/blog/newton-adds-contact-rich-manipulation-and-locomotion-capabilities-for-industrial-robotics/

OpenAI рассказала, как следит за своими внутренними ИИ-агентами для написания кода.

Компания использует мониторинг цепочки рассуждений — то есть анализирует не только действия агентов, но и их "мысли" в процессе работы. Это помогает вовремя замечать признаки рассогласования: когда агент начинает действовать не так, как задумано, или преследует нежелательные цели.

Данные берутся из реальных внутренних деплойментов, а не из лабораторных тестов. Это важно: поведение агентов в боевых условиях сильно отличается от синтетических сценариев.

Зачем это нужно? OpenAI хочет выстроить надёжные защитные механизмы до того, как агенты получат широкое распространение. По сути, это ранняя система предупреждения против потенциально опасного поведения ИИ.

Для пользователей это сигнал: компания серьёзно занимается безопасностью агентных систем — тех самых, которые скоро будут выполнять задачи автономно от нашего имени.

https://openai.com/index/how-we-monitor-internal-coding-agents-misalignment

Nvidia представила OpenShell — безопасную среду для автономных AI-агентов

Nvidia выпустила OpenShell — open source рантайм для запуска долгоживущих AI-агентов, которые работают без постоянного участия человека. Это часть NVIDIA Agent Toolkit и стека NemoClaw.

Главная проблема: автономные агенты с доступом к файлам, командной строке и API — серьёзная угроза безопасности. OpenShell решает это через изоляцию: политики исполняются вне самого агента, поэтому он не может их обойти даже при компрометации.

Три ключевых компонента: песочница для изолированного запуска, движок политик с контролем на уровне файлов и процессов, и privacy router — он решает, какие данные уходят в облако, а какие обрабатываются локально.

Работает с Claude Code, Codex и другими агентами без изменения кода. Запуск — одной командой.

https://developer.nvidia.com/blog/run-autonomous-self-evolving-agents-more-safely-with-nvidia-openshell/

Nvidia представила Vera Rubin POD — суперкомпьютер масштаба дата-центра для агентного ИИ.

Система объединяет 5 специализированных стоечных систем на базе архитектуры MGX третьего поколения: 40 стоек, 1152 GPU Rubin, 60 экзафлопс вычислений и 10 ПБ/с пропускной способности — всё это спроектировано совместно на уровне 7 типов чипов.

Что внутри: NVL72 с 72 GPU Rubin даёт 10x больше производительности на ватт по сравнению с Blackwell. Groq 3 LPX с 256 LPU на стойку обеспечивает сверхнизкую задержку для триллионных моделей. Vera CPU rack поддерживает 22 500 параллельных RL-сред. BlueField-4 STX хранит KV-кэш с эффективностью в 5x выше обычного. Spectrum-6 SPX связывает всё в единый суперкомпьютер.

Почему важно: агентный ИИ требует одновременно высокой пропускной способности, минимальной задержки и масштабируемых CPU-сред. Vera Rubin POD — первая платформа, где всё это спроектировано как единое целое, а не собрано из разрозненных компонентов.

https://developer.nvidia.com/blog/nvidia-vera-rubin-pod-seven-chips-five-rack-scale-systems-one-ai-supercomputer/

Видеогенераторы умеют понимать 3D — и это можно использовать!

Когда видеомодель (типа Wan2.1) генерирует правдоподобное видео, она вынуждена "понимать" геометрию сцены: окклюзии, глубину, движение камеры. Значит, в её латентных представлениях уже зашит неявный 3D-прайор — и никакой явной 3D-разметки для этого не нужно.

Авторы предлагают VEGA-3D: берём замороженную видеогенеративную модель как "Latent World Simulator", вытаскиваем из неё промежуточные признаки (лучше всего работают средние слои и средние шаги денойзинга), и сливаем их с семантическими признаками через адаптивный gated fusion.

Результат: модель перестаёт страдать "пространственной слепотой" — на задачах 3D grounding, spatial QA и робото-манипуляций она бьёт более крупные модели с явными 3D-входами.

Ключевой инсайт: генеративные и семантические признаки комплементарны — их объединение даёт +4–9% там, где каждый по отдельности теряет.

https://arxiv.org/abs/2603.19235

Nemotron-Cascade 2: как 30B-модель взяла золото на IMO и IOI (by NVIDIA)

NVIDIA выпустила открытую MoE-модель на 30B параметров (3B активных), которая получила золотые медали на IMO 2025 и IOI 2025. Как?

Ключевая идея — Cascade RL: вместо совместного обучения на всех задачах сразу, RL-этапы идут последовательно по доменам (математика → код → агентные задачи и т.д.). Это даёт три плюса: меньше катастрофического забывания, можно тюнить гиперпараметры под каждый домен, и вычисления эффективнее (однородные батчи).

Новинка в v2 — on-policy дистилляция прямо внутри Cascade RL: лучшая промежуточная модель-учитель помогает восстанавливать просадки на предыдущих бенчмарках при обучении на новых сложных задачах.

Результат: обходит Qwen3.5-35B-A3B и даже Nemotron-3-Super-120B на большинстве бенчмарков. Веса, данные и детали обучения полностью открыты.

https://arxiv.org/abs/2603.19220

V-JEPA 2.1: как научить видео-SSL понимать и глобальное, и локальное (by Meta)

Проблема старых V-JEPA: модель хорошо понимала видео глобально, но фичи были "размытыми" — плохо подходили для сегментации, детекции, depth estimation. Почему? Потому что лосс считался ТОЛЬКО на замаскированных токенах, а видимые токены превращались в "мусорные регистры" для агрегации глобального контекста.

Решение в V-JEPA 2.1: добавить лосс на ВСЕ токены, включая видимые (context loss Lctx). Плюс — глубокий self-supervision на промежуточных слоях энкодера.

Результат: +20% success rate на реальных роботах-манипуляторах Franka, SOTA в depth estimation (NYUv2: 0.307 RMSE), видео-сегментации и предсказании действий. Скорость планирования в 10x быстрее предыдущих методов.

Модели (до 2B параметров) открыты публично.

https://arxiv.org/abs/2603.14482

Нашли способ остановить "думающие" LLM, когда они думают слишком много — и не сломать их при этом.

Проблема: модели типа DeepSeek-R1 страдают от overthinking — тратят кучу токенов на простые задачи. Но все попытки сократить рассуждения приводят к underthinking: модель начинает "срезать углы" и ошибаться там, где раньше справлялась.

Авторы заметили: confidence модели — хороший индикатор состояния рассуждений. Высокая дисперсия confidence = модель мечется между путями (overthinking). Стабильно высокая confidence = модель слишком самоуверенна и не проверяет себя (underthinking).

На этом строится ReBalance: training-free метод, который строит "steering vector" между прототипами overthinking и underthinking шагов, и динамически подталкивает скрытые состояния модели в нужную сторону в зависимости от текущей confidence.

Результат: меньше токенов И выше точность одновременно, на моделях от 0.5B до 32B.

https://arxiv.org/abs/2603.12372

Модель смотрит видео, но не видит будущего — и вот почему (by Alibaba AMAP)

Задача Video Event Prediction (VEP): посмотрел видео — предскажи, что будет дальше. Казалось бы, современные мультимодальные LLM должны справляться. Но нет — даже лучшие модели (Qwen3-VL) набирают лишь 66.9% accuracy.

Авторы выяснили почему: модели почти игнорируют визуальные токены и цепляются за текстовые подсказки в вариантах ответа. Анализ attention это подтверждает — внимание к картинке минимально.

Решение — Chain of Events (CoE): сначала разбить видео на цепочку исторических событий, потом рассуждать над этой цепочкой для предсказания будущего. Обучение в два этапа: SFT для холодного старта + GRPO (как в DeepSeek-R1) для усиления темпорального понимания.

Результат: SOTA на VEP-бенчмарках поверх Qwen2.5-VL с умеренными вычислительными затратами.

https://arxiv.org/abs/2603.14935

Nvidia выпустила туториал по созданию корпоративных AI-агентов

Nvidia опубликовала подробное руководство по сборке агентов глубокого поиска для бизнеса с помощью AI-Q blueprint и LangChain.

Что внутри: связка из двух агентов — быстрый shallow-агент для простых запросов (ответ за секунды) и deep-агент для многошаговых исследований с длинными отчётами и ссылками. Всё работает на Nemotron и GPT, мониторинг через LangSmith.

Главный плюс — данные остаются внутри компании. Можно полностью перевести инференс на собственные серверы, заменив облачные модели на self-hosted.

Для кого: разработчики корпоративных поисковых систем, которым нужно быстро запустить продакшн-агента без изобретения архитектуры с нуля.

https://developer.nvidia.com/blog/how-to-build-deep-agents-for-enterprise-search-with-nvidia-ai-q-and-langchain/

Amazon Science: как выбрать правильный модуль для дообучения ИИ

Исследователи Amazon опубликовали ablation-исследование по технике LoRA — популярному методу эффективного дообучения больших языковых моделей.

Суть: вместо обновления миллиардов параметров LoRA вставляет лёгкие матрицы в отдельные слои модели. Но куда именно их вставлять — большой вопрос.

Тестировали на Nova 2.0 Lite. Вывод: модуль o_proj даёт лучший баланс между точностью и скоростью в одиночку. Для большинства задач оптимальна комбинация qkv + o_proj. Подключение слоёв fc1/fc2 даёт максимальную точность, но увеличивает задержку на 15–20%.

Почему важно: выбор модулей напрямую влияет на стоимость обучения и инференса. Правильная конфигурация позволяет сэкономить GPU-ресурсы без потери качества — особенно критично для продакшн-систем.

https://www.amazon.science/blog/optimizing-lora-target-module-selection-for-efficient-fine-tuning

PyTorch представил TorchSpec — фреймворк для обучения драфт-моделей при спекулятивном декодировании в больших масштабах.

Суть проблемы: при обучении драфт-моделей для гигантских LLM (например, Kimi K2.5 с 1 триллионом параметров) нужно передавать огромные объёмы скрытых состояний — один обучающий пример на 128K токенов весит ~7 ГБ. Хранить это на диске — дорого, держать всё на одних GPU — не хватает памяти.

TorchSpec разделяет инференс и обучение: целевая модель работает на отдельных GPU и стримит скрытые состояния напрямую через RDMA/TCP (без записи на диск) в обучающие GPU через хранилище Mooncake. Инференс и обучение масштабируются независимо.

Результат: обучили драфт-модель для Kimi K2.5 за 1500 часов на H200, 600K примеров, 6 млрд токенов. Прирост скорости генерации — до +60% при batch size 1.

Важно для тех, кто занимается production-деплоем больших моделей: спекулятивное декодирование становится практичным даже для триллионных моделей.

https://pytorch.org/blog/torchspec-speculative-decoding-training-at-scale/

SAMA: как разделить «что менять» и «как двигается» в видеоредактировании (by Baidu)

Главная проблема instruction-guided video editing: если агрессивно применяешь семантические правки — ломается временная согласованность, если осторожно — инструкция не выполняется.

Авторы предлагают SAMA: разделить задачу на два независимых компонента.

1. Semantic Anchoring — модель предсказывает семантические токены вместе с видеолатентами, планируя «что и где менять» через якорные кадры.

2. Motion Alignment — обучение на задачах восстановления видео (inpainting, speed shuffle) без парных данных, чтобы модель сама выучила физику движения.

Сначала факторизованный pretraining на обычных видео без разметки редактирования — и уже на этом этапе возникает zero-shot video editing! Потом fine-tuning на парных данных.

Результат: SOMA бьёт open-source конкурентов и догоняет коммерческие системы типа Kling-Omni на бенчмарке VIE-Bench.

https://arxiv.org/abs/2603.19228

Хочешь снять рекламу кроссовок с любого угла — просто сфоткай их с нескольких сторон.

3DreamBooth решает боль всех методов кастомизации видео: они работают с одной картинкой и не понимают 3D-структуру объекта. Результат — при смене угла объект "ломается".

Идея: берём несколько фото объекта с разных ракурсов и файн-тюним видео-диффузионную модель через LoRA. Хитрость в том, что обучение идёт на одиночных кадрах (T=1) — тогда temporal attention автоматически отключается, и модель учит только пространственную геометрию, не трогая motion-приоры. Дополнительно вводят 3Dapter — модуль мультивью-кондиционирования через dual-branch архитектуру. В итоге токен V впитывает полноценный 3D-prior объекта, и при инференсе модель генерирует видео с произвольных ракурсов, сохраняя идентичность.

https://arxiv.org/abs/2603.18524