Лучшее из двух миров: детерминированная глубина видео с генеративными приорами

Оценка глубины по видео — боль: генеративные диффузионные модели галлюцинируют геометрию, а дискриминативные модели путаются в размытых и однородных регионах. DVD решает эту дилемму радикально — берёт предобученную видео-диффузионную модель и превращает её в детерминированный регрессор глубины (без стохастического сэмплинга!).

Три ключевых трюка:
1. Timestep как структурный якорь — фиксированный шаг диффузии балансирует детали и стабильность геометрии
2. Latent Manifold Rectification — supervision на дифференциалах латентов устраняет "mean collapse" и возвращает чёткие границы
3. Global Affine Coherence — скользящее окно с аффинным выравниванием для длинных видео без сложного сшивания

Результат: state-of-the-art zero-shot качество на KITTI, ScanNet и Bonn, используя менее 1% обучающих данных конкурентов.

https://arxiv.org/abs/2603.12250

Один референс-аудио + одна картинка = полноценное видео с голосом в новом контексте

Большинство методов персонализации видео либо немые, либо используют каскадные пайплайны: сначала клонируют голос, потом генерируют видео. Проблема: голос клонируется без учёта текстового промпта — попросишь "кричать на ветру", а получишь студийную запись.

Авторы из Tel Aviv University предлагают ID-LoRA: единый диффузионный backbone (LTX-2), который генерирует аудио и видео совместно в одном латентном пространстве. Ключевые трюки:

1. Negative temporal positions — референсные аудио-токены помещаются в отрицательную область RoPE, чисто отделяя их от целевых токенов.

2. Identity guidance — аналог classifier-free guidance, применённый к аудио-потоку для усиления черт конкретного голоса.

Microsoft Research представила AgentRx — фреймворк для систематической отладки AI-агентов.

Главная проблема современных агентов: когда что-то идёт не так, разработчики не понимают почему. AgentRx решает это через мультимодальное обучение с подкреплением и специальный компонент — agentic verifier, который проверяет действия агента на каждом шаге.

Что это даёт на практике: агенты перестают "галлюцинировать" решения и начинают сами выявлять ошибки в своих цепочках рассуждений. Верификатор работает как внутренний критик — оценивает не только финальный результат, но и весь процесс.

Для разработчиков это означает меньше времени на ручную отладку и более надёжные агентные системы в продакшене. Особенно актуально для сложных многошаговых задач, где одна ошибка ломает всю цепочку.

Фреймворк появился 20 января 2026 года и пока описан в формате исследования.

https://www.microsoft.com/en-us/research/blog/systematic-debugging-for-ai-agents-introducing-the-agentrx-framework/

Nvidia выпустила обновление NVIDIA Warp — Python-фреймворка для GPU-ускоренного физического моделирования с поддержкой автодифференцирования.

Что нового: Warp позволяет писать высокопроизводительные симуляционные ядра на Python, которые JIT-компилируются под GPU. В отличие от тензорных фреймворков, каждый поток может независимо ветвиться и выходить — без громоздких масок. Встроенное автодифференцирование генерирует прямой и обратный проходы, что делает солверы совместимыми с PyTorch и JAX.

Почему важно: реальные кейсы впечатляют — ускорение до 669x по сравнению с CPU и более 250x по сравнению с JAX. Autodesk, Google DeepMind (MuJoCo) и C-Infinity уже используют Warp в продакшне для инженерного ПО, робототехники и пространственных вычислений.

Для кого: разработчики AI-моделей для физики, CFD и робототехники получают инструмент, где симуляция напрямую встраивается в ML-пайплайн без компромиссов по скорости.

https://developer.nvidia.com/blog/build-accelerated-differentiable-computational-physics-code-for-ai-with-nvidia-warp/

Nvidia обновила TensorRT Edge-LLM для физического ИИ

Nvidia выпустила крупное обновление TensorRT Edge-LLM — рантайма для запуска языковых и мультимодальных моделей прямо на бортовых чипах DRIVE AGX Thor и Jetson Thor.

Что нового: поддержка архитектуры MoE (активируются только нужные параметры — меньше вычислений, выше интеллект), модели Cosmos Reason 2 для пространственно-временного рассуждения роботов, и Qwen3-TTS/ASR для голосового диалога без задержек. Также добавлен Nemotron 2 Nano с гибридной архитектурой Mamba-Transformer.

Почему важно: автономные машины и роботы теперь могут рассуждать, слышать и отвечать голосом прямо на устройстве — без облака, в реальном времени, в рамках жёстких ограничений по энергопотреблению.

Для разработчиков это означает переход от модульных пайплайнов к единым производительным моделям для планирования маршрутов, диалога с водителем и навигации роботов.

https://developer.nvidia.com/blog/build-next-gen-physical-ai-with-edge%e2%80%91first-llms-for-autonomous-vehicles-and-robotics/

Деми Хассабис (глава Google DeepMind) в восторге от нового достижения AlphaEvolve — их ИИ-системы для научных открытий.

AlphaEvolve улучшил границы для 5 классических чисел Рэмси. Для тех, кто не в теме: числа Рэмси — это одна из самых сложных областей комбинаторики, где даже крошечный прогресс требует огромных усилий. Некоторые из этих результатов не удавалось улучшить более 10 лет.

Что особенно круто: ИИ не просто перебирал варианты по заданным правилам — он сам придумал процедуры поиска решений. То есть система фактически занималась математическим творчеством.

Хассабис называет это большой вехой в применении ИИ к математике. И сложно не согласиться.

https://x.com/demishassabis/status/2032267485735460867

Meta AI анонсировала Canopy Height Maps v2 — обновлённую версию открытой модели для картирования лесного покрова по всему миру. Проект создан совместно с World Resources Institute.

В основе CHMv2 — их собственная модель компьютерного зрения DINOv3 Sat-L, заточенная специально под спутниковые снимки. Она позволяет строить детальные карты высоты лесного полога с высоким разрешением в глобальном масштабе.

Проще говоря: ИИ смотрит на спутниковые фото и точно определяет, где и насколько высокие деревья. Это важно для мониторинга вырубки лесов, оценки запасов углерода и климатических исследований. Модель открытая — любой желающий может её использовать.

https://x.com/AIatMeta/status/2032135993436909874

Spatial-TTT: LLM учится понимать 3D-пространство прямо во время инференса (by Tencent Hunyuan)

Обычные мультимодальные LLM плохо понимают 3D-пространство — они обучались на 2D картинках без геометрических прiors. А если дать модели длинное видео (тысячи кадров) из движущейся камеры? Квадратичный attention просто умрёт.

Авторы предлагают Spatial-TTT: модель обновляет свои "быстрые веса" прямо на лету, пока смотрит видеопоток. Эти веса работают как компактная нелинейная память, накапливающая 3D-информацию из потока кадров.

Ключевые трюки:
— Гибридная архитектура: TTT-слои чередуются с обычным self-attention (3:1), чтобы не сломать предобученные знания
— Вместо точечных проекций Q/K/V — лёгкие 3D depth-wise свёртки, которые захватывают пространственно-временную структуру
— Специальный датасет плотных описаний сцен, чтобы модель училась правильно обновлять быстрые веса

Результат: state-of-the-art на видео-пространственных бенчмарках при работе с длинными потоками.

https://arxiv.org/abs/2603.12255

Агенты vs люди: кто лучше ищет ответы в корпусе PDF-документов? (by Snowflake)

Snowflake выпустили новый бенчмарк MADQA — 2250 вопросов по 800 разнородным PDF-документам, полностью написанных людьми. Задача: найти ответ в коллекции документов, причём одним запросом к поиску не обойтись — нужно итеративно искать, рассуждать и синтезировать данные из разных страниц и файлов.

Главный вопрос: агент реально планирует поиск или просто случайно бродит по документам? Сравнение с людьми показало принципиально разные стратегии и огромный разрыв в эффективности.

Ключевые выводы: constrained agency (агент с ограниченным бюджетом действий) бьёт статичный RAG, но при этом не улетает в бесконечный перебор как Recursive LM. Люди и агенты решают задачи принципиально по-разному.

https://arxiv.org/abs/2603.12180

IndexCache: как убрать 75% вычислений в sparse attention (by Z.ai)

Соседние слои трансформера выбирают почти одинаковые токены — зачем тогда каждый слой считает это заново?

В DeepSeek Sparse Attention есть лёгкий "indexer" — он для каждого слоя выбирает top-k нужных токенов из всей последовательности. Проблема: при длинных контекстах (200K токенов) этот indexer начинает занимать 80% времени prefill-стадии.

Авторы заметили: соседние слои совпадают по выбранным токенам на 70-100%. Значит, можно оставить indexer только в каждом 4-м слое, а остальные просто переиспользуют кэшированный результат.

Два варианта: без дообучения (greedy-поиск, какие слои оставить) и с дообучением (distillation-лосс, тогда хватает простого равномерного прореживания).

Результат на 30B модели: 1.82× ускорение prefill и 1.48× decode при 200K контексте без заметной потери качества. На 744B GLM-5 — минимум 1.3× ускорение.

https://arxiv.org/abs/2603.12201

DreamVideo-Omni: управляй движением каждого персонажа в видео (by Alibaba Tongyi Lab)

Хочешь сгенерировать видео, где конкретный мальчик гонится за мячом, а конкретная девочка играет с щенком — и всё это с контролем камеры? Существующие методы либо сохраняют внешность персонажей, либо управляют движением, но не вместе.

DreamVideo-Omni решает это двухэтапно:

Этап 1: обучают DiT-модель на триплетах ⟨Персонаж, Bounding Box, Траектория⟩. Специальные group/role embeddings явно привязывают сигналы движения к нужному персонажу, устраняя путаницу в сценах с несколькими людьми.

Этап 2: вместо стандартного reconstruction loss обучают Latent Identity Reward Model на базе видео-диффузии. Она оценивает сохранность личности с учётом динамики — и штрафует за "copy-paste" артефакты при больших движениях.

Бонус: модель сама научилась image-to-video без явного обучения этому.

https://arxiv.org/abs/2603.12257

Reward hacking убивает RL для генерации изображений — вот как это починить (by SJTU VisionXLab)

Когда обучаешь диффузионную модель через RL, качество всего пайплайна упирается в одно: насколько хорош reward model. Проблема — обычные MLLM как судьи ужасны: галлюцинируют, игнорируют детали, не умеют в пространственное мышление.

Авторы предложили FIRM — систему для обучения специализированных reward моделей. Ключевые трюки:

Для редактирования: вместо прямой оценки "хорошо ли отредактировано?" — сначала описываем разницу между картинками текстом, потом уже оцениваем. Модели лучше описывают, чем судят.

Для генерации: LLM заранее составляет чеклист из промпта, и MLLM проверяет каждый пункт явно.

Так собрали датасеты FIRM-Edit-370K и FIRM-Gen-293K, обучили reward модели на Qwen3-VL-8B.

Плюс придумали стратегию "Base-and-Bonus" против reward hacking при балансировке нескольких наград одновременно.

https://arxiv.org/abs/2603.12247

Nvidia Tech обновила платформу Cosmos — набор фундаментальных моделей для обучения роботов и автономных автомобилей.

Вышли три новые версии. Cosmos Transfer 2.5 превращает 3D-симуляции в фотореалистичное видео с разным освещением и условиями среды — это дешевле и быстрее, чем собирать реальные данные. Cosmos Predict 2.5 генерирует правдоподобные сценарии будущего длиной до 30 секунд и даёт в 10 раз выше точность при дообучении на собственных данных. Cosmos Reason 2 — модель с цепочкой рассуждений, которая понимает движение объектов, определяет их координаты в 2D/3D и поддерживает контекст до 256К токенов.

Главная проблема физического ИИ — нехватка разнообразных обучающих данных. Cosmos решает её синтетической генерацией, снижая стоимость и риски реальных испытаний. Полезно разработчикам роботов и беспилотников, которые хотят быстрее переходить от симуляции к реальному миру.

https://developer.nvidia.com/blog/scale-synthetic-data-and-physical-ai-reasoning-with-nvidia-cosmos-world-foundation-models/

Nvidia выпустила Nemotron 3 Super — открытую гибридную модель для агентного ИИ

120 миллиардов параметров суммарно, но только 12B активных — это ключевая фишка новой модели. Nemotron 3 Super создана специально для многоагентных систем, где обычные LLM буквально «тонут» в контексте и дорого обходятся при каждом шаге.

Что внутри: гибридная архитектура Mamba-Transformer + MoE, контекстное окно 1 миллион токенов, нативное обучение в формате NVFP4 для чипов Blackwell. Скорость — в 5 раз выше предыдущего Nemotron Super, память и вычисления эффективнее в 4 раза.

Почему важно: агентные системы генерируют в 15 раз больше токенов, чем обычный чат. Super решает два главных боли — «взрыв контекста» и «налог на мышление», когда мощная модель тратится на каждую мелкую подзадачу.

Модель полностью открытая: веса, датасеты и рецепты доступны всем. Доступна на build.nvidia.com.

https://developer.nvidia.com/blog/introducing-nemotron-3-super-an-open-hybrid-mamba-transformer-moe-for-agentic-reasoning/

Apple ML выпустила Multilingual Reasoning Gym — набор задач для обучения и оценки ИИ на 14 языках.

Это расширение популярного Reasoning Gym: исследователи перевели шаблоны 94 задач с валидацией от носителей языка в 10 из них. Задачи генерируются процедурно — то есть их количество практически неограничено, а сложность можно регулировать.

Главная фишка: задачи параллельны между языками. Это позволяет создавать огромные мультиязычные датасеты и обучать модели рассуждать не только по-английски. Набор совместим с методом обучения через подкрепление на верифицируемых наградах (RLVR) — тем самым, что стоит за успехами моделей вроде DeepSeek-R1.

Почему важно: большинство reasoning-моделей обучают на английском, а их качество на других языках резко падает. Этот инструмент даёт инфраструктуру для исправления этого перекоса. Код открыт на GitHub.

https://machinelearning.apple.com/research/multilingual-reasoning-gym

RubiCap: как научить модель писать подписи к картинкам лучше, чем GPT-4V (by Apple)

Главная проблема применения RL к описанию изображений — нет надёжного верификатора. CIDEr/ROUGE меряют n-граммы, а не смысл. VLM-as-a-Judge даёт один мутный скаляр.

Авторы придумали RubiCap: вместо скалярной оценки — набор рубрик, специфичных для каждого изображения. Схема такая: комитет из K разных VLM генерирует кандидатные подписи → LLM-писатель рубрик находит консенсус и диагностирует слабости студента → превращает это в конкретные проверяемые правила (есть ли объект X? правильный ли атрибут? корректны ли пространственные отношения?) → LLM-судья применяет рубрики и даёт структурированный reward для RL.

Результат: 7B-модель обходит 32B и 72B фронтиры в слепом ранжировании, меньше галлюцинирует, а 3B-модель работает лучше, чем GPT-4V как источник данных для pretraining VLM.

https://arxiv.org/abs/2603.09160

ShotVerse: Plan-then-Control для кино из текста (by Tencent)

Хочешь снять многоплановую сцену, просто написав "камера плавно панорамирует влево, затем зум на героя"? Звучит просто, но на деле — два отдельных ада: как автоматически спланировать кинематографические траектории камеры, и как потом видеомодель их точно выполнит?

ShotVerse решает это через "Plan-then-Control": сначала VLM (Qwen3-VL с LoRA) переводит текстовое описание в явные 3D-траектории камеры в едином глобальном координатном пространстве, а затем DiT-контроллер рендерит по этим траекториям видео с несколькими склейками.

Ключевая идея — обучение на тройках (Caption, Trajectory, Video), которые образуют единое распределение. Это позволяет оптимизировать планировщик и генератор раздельно, без нестабильности совместного обучения.

Отдельно собрали датасет ShotVerse-Bench из реальных съёмок с автоматической калибровкой траекторий разных планов в единую систему координат — первый такой датасет для multi-shot.

https://arxiv.org/abs/2603.11421

Агент учится на своих ошибках — без переобучения

Мультимодальные агенты часто тупят: тратят кучу шагов на простые задачи или не могут скомпоновать инструменты для сложных. XSkill решает это через два потока знаний без дообучения модели.

Идея простая: агент прогоняет задачи несколько раз, а система извлекает из траекторий (1) Skills — структурированные воркфлоу и шаблоны инструментов для класса задач, и (2) Experiences — короткие инсайты уровня действий, привязанные к визуальному контексту и паттернам ошибок.

Ключевое отличие от похожих подходов — визуальная привязка. Прошлые методы работали только с текстовыми логами, а здесь знания заземлены в визуальном состоянии задачи.

При инференсе: задача декомпозируется на подзадачи, релевантные знания достаются по семантическому сходству, адаптируются под текущий визуальный контекст и инжектируются в промпт.

Результат: +2.58–6.71 Average@4 над базовыми агентами, до +11 на сложных сценариях, работает поверх разных backbone-моделей.

Редактируем текст прямо в картинке — теперь по-арабски и хинди тоже

Современные диффузионные модели умеют переставлять объекты и менять стиль, но стоит попросить их поменять текст внутри изображения — особенно на нелатинских языках — и начинается каша из смазанных букв и галлюцинаций.

WeEdit решает это тремя ходами: сначала VLM предсказывает позицию и содержание нового текста и рендерит glyph-изображение как пространственный prior для диффузии (SFT-стадия). Затем RL-стадия с многокомпонентной наградой выравнивает результат под читаемость, точность и сохранность фона. Всё это обучено на автоматически синтезированном датасете через HTML-пайплайн с поддержкой 15 языков.

Итог: среди open-source моделей — лучший результат, обходят большинство проприетарных, уступая только Gemini-3-Pro-Image.

https://arxiv.org/abs/2603.11593

Могут ли AI-редакторы изображений решать задачи уровня PhD?

Большинство бенчмарков для image editing проверяют, насколько точно модель следует простым инструкциям типа "сделай небо розовым". Авторы решили поднять планку и создали GRADE — первый бенчмарк, где модели нужно редактировать научные изображения, требующие реальных дисциплинарных знаний.

520 задач из 10 областей: математика, химия, физика, CS, биология, музыка, экономика и др. Примеры: нарисовать кратчайший путь в графе, добавить энантиомер молекулы, отметить новое рыночное равновесие на графике спроса.

Результаты жёсткие: лучшая open-source модель набрала всего 2.7%, тогда как лучшая закрытая — 46.2%. Огромный разрыв показывает, что дисциплинарное рассуждение при редактировании изображений — нерешённая задача даже для топовых моделей.

https://arxiv.org/abs/2603.12264

Nvidia выпустила AI Cluster Runtime — открытый инструмент для стандартизации Kubernetes-кластеров под GPU-нагрузки.

Проблема знакома каждому ML-инженеру: настроил один кластер — потратил дни, чтобы повторить на другом. Обновил компонент — сломалось что-то ещё. Переехал в другое облако — начинай заново.

AI Cluster Runtime решает это через «рецепты» — версионированные YAML-файлы с точными версиями компонентов, порядком деплоя и проверенными настройками для конкретного железа (H100, Blackwell) и окружения (EKS, Ubuntu).

Что умеет инструмент: снять снапшот текущего кластера, сгенерировать рецепт под нужное окружение, провалидировать деплой по стандартам CNCF и собрать готовые Helm-чарты.

Проект открытый, принимает контрибьюции от облачных провайдеров и команд. Доступен на GitHub как альфа-релиз.

https://developer.nvidia.com/blog/validate-kubernetes-for-gpu-infrastructure-with-layered-reproducible-recipes/