DreamWorld: видеогенерация, которая понимает физику мира

Современные видеомодели (Wan2.1, Sora и т.д.) умеют делать красивую картинку, но не понимают физику и пространство. Авторы из USTC предлагают DreamWorld — фреймворк, который "вшивает" в генерацию три типа знаний о мире одновременно: оптический поток (движение), DINOv2 (семантика) и VGGT (3D-геометрия).

Проблема: если просто обучать модель на всех трёх задачах сразу — градиенты конфликтуют, возникают артефакты и нестабильность. Решение — Consistent Constraint Annealing (CCA): влияние "физических" потерь постепенно затухает по мере обучения, давая модели сначала усвоить мировые знания, а потом сосредоточиться на качестве картинки.

На инференсе работает Multi-Source Inner-Guidance: модель использует свои же предсказания физических фич как направляющий сигнал — что-то вроде classifier-free guidance, но для законов реального мира.

Результат: заметный прирост на VBench 2.0 и VideoPhy по сравнению с VideoJAM и VideoREPA.

https://arxiv.org/abs/2603.00466

PyTorch выпустил KernelAgent — агентную систему для автоматической оптимизации GPU-ядер.

Раньше настройка Triton-ядер под конкретное железо занимала у инженеров дни и недели. KernelAgent автоматизирует этот процесс: система профилирует ядро через NVIDIA Nsight Compute, диагностирует узкие места, предлагает оптимизации и итерирует — всё в закрытом цикле из нескольких агентов.

Результаты впечатляют: на 100 задачах KernelBench L1 система показала ускорение 2.02x по сравнению с предыдущей версией и 1.56x относительно стандартного torch.compile. На H100 достигается 89% от теоретического максимума производительности железа.

Для разработчиков это означает меньше ручной работы при оптимизации инференса — важно для снижения стоимости обслуживания больших моделей. Код открыт на GitHub.

https://pytorch.org/blog/kernelagent-hardware-guided-gpu-kernel-optimization-via-multi-agent-orchestration/

Андрей Карпати рассуждает о будущем автономных AI-исследований. По его мнению, следующий шаг — это не имитация одного аспиранта, а имитация целого научного сообщества.

Сейчас системы автоисследований работают синхронно — один поток мыслей, одна цепочка рассуждений. Карпати предлагает перейти к массово-параллельной асинхронной модели, как SETI@home — помните, когда миллионы компьютеров по всему миру совместно искали сигналы внеземных цивилизаций?

Идея в том, чтобы тысячи агентов одновременно исследовали разные гипотезы, делились результатами и строили знание коллективно — как настоящие учёные на конференциях и в препринтах.

Это принципиальный сдвиг: от "умного одиночки" к "умной толпе".

https://x.com/karpathy/status/2030705271627284816

Превратить обычное видео в полноценную 3D-карту сцены — без сенсоров и разметчиков

Главная боль пространственного AI — данные. ScanNet с его 50 классами и ручной разметкой не масштабируется. Авторы Holi-Spatial предлагают полностью автоматический конвейер: берём обычное видео, и на выходе получаем 3DGS-сцену с масками, 3D-боксами, описаниями объектов и QA-парами.

Пайплайн три шага: сначала Depth-Anything + 3D Gaussian Splatting строят геометрию, потом VLM + SAM3 режут сцену на объекты в 2D, потом всё это поднимается в 3D, фильтруется и подписывается агентом.

Результат — датасет Holi-Spatial-4M: 12K сцен, 1.2M масок, 1.3M QA-пар. Файнтюн Qwen3-VL на этих данных даёт +15% AP50 на ScanNet++ и +7.9% на MMSI-Bench. А аннотации оказались точнее официальных меток ScanNet.

https://arxiv.org/abs/2603.07660

LoGeR: 3D-реконструкция на 19к кадров без SLAM (by DeepMind)

Современные feedforward-модели для 3D-реконструкции упираются в "стену контекста": квадратичная сложность attention не позволяет обрабатывать длинные последовательности. SLAM справляется, но требует дорогого backend-оптимизатора.

LoGeR решает это через гибридную память из двух компонентов:
1. Sliding Window Attention — хранит последние чанки без потерь для точного локального выравнивания
2. Test-Time Training (TTT) — сжимает глобальный контекст в fast-weight матрицу для предотвращения дрейфа масштаба

Модель обучается на последовательностях из 128 кадров, а на инференсе обобщается до 19к кадров и траекторий длиной 11.5 км. На KITTI ошибка ATE снизилась с 72.86 до 18.65, на VBR benchmark — улучшение на 30.8% относительно SOTA.

Итог: линейная сложность по длине последовательности, лossless локальный контекст и глобальная согласованность одновременно.

https://arxiv.org/abs/2603.03269

Доверяй своей модели: как распределение уверенности улучшает выбор ответа

Когда LLM генерирует несколько рассуждений для одного вопроса, как выбрать лучший? Обычно — голосованием или внешней reward-моделью. Авторы предлагают DistriVoting: смотреть на распределение внутренней уверенности модели как на смесь двух гауссиан (правильные vs неправильные ответы) и фильтровать кандидатов в два шага.

Сначала GMM разделяет траектории на «позитивные» (высокая уверенность) и «негативные». Затем Reject Filter использует негативные ответы, чтобы выкинуть ложноположительные из пула голосования.

Дополнительно SelfStepConf мониторит уверенность пошагово прямо во время генерации — если она резко падает, принудительно вставляет токены рефлексии. Это раздвигает распределения правильных и неправильных ответов дальше друг от друга, что теоретически доказуемо улучшает точность голосования.

Проверено на DeepSeek и Qwen3 на AIME, GPQA-D и других бенчмарках — стабильный прирост без внешних моделей.

Планирование за 8 токенов: как сжать мир до 128 бит

Современные world models для планирования в RL страдают от одной проблемы: им нужны сотни токенов на кадр, а значит планирование занимает минуты. Авторы задались вопросом: а что если сжать изображение до предела — всего 8 токенов (128 бит)?

Так появился CompACT. Ключевые идеи:
1. Вместо обычного энкодера — frozen pretrained vision model (типа DINO), из которой через cross-attention извлекаются только семантически важные фичи.
2. Дискретное латентное пространство — предсказание будущего состояния делается через masked generative modeling (как MaskGIT), без диффузии.
3. Декодер не пытается восстановить пиксели напрямую из 8 токенов — он генерирует их условно, используя компактные токены как подсказку.

Результат: world model на навигации достигает точности модели с 784 токенами, но в 40 раз быстрее. А 8-токенная модель вообще обходит конкурента с 64 токенами!

https://arxiv.org/abs/2603.05438

WildActor: как заставить видеомодель не "забывать" лицо актёра при смене ракурса

Классическая проблема генерации видео с конкретным персонажем: стоит сменить угол камеры — и лицо "поплыло", одежда изменилась, а тело живёт своей жизнью. Авторы атакуют эту проблему сразу с двух сторон.

Во-первых, они собрали Actor-18M — 1.6M видео и 18M референсных изображений одних и тех же людей с разных ракурсов, в разных окружениях и позах. Часть данных сгенерирована: для каждого субъекта синтезируют вид спереди, сзади, сбоку и т.д.

Во-вторых, предложили WildActor с двумя ключевыми идеями: асимметричный attention (видео-токены смотрят на референс, но не наоборот — чтобы не "загрязнять" backbone), и Viewpoint-Adaptive Monte Carlo Sampling — выбор референсных изображений с максимальным разнообразием ракурсов.

Результат: стабильная идентичность персонажа при смене сцен, ракурсов и движений.

https://arxiv.org/abs/2603.00586

Nvidia Tech выпустила CUDA 13.2 — масштабное обновление для разработчиков GPU-приложений.

Главное: CUDA Tile теперь полноценно работает на архитектурах Ampere, Ada и Blackwell. Python-библиотека cuTile получила поддержку рекурсивных функций, замыканий, кастомных редукций и улучшенной работы с массивами. Установка теперь одной командой через pip.

Из важного для разработчиков: новые API cudaMemcpyWithAttributesAsync упрощают гибкое управление памятью, на Windows в режиме WDDM значительно снизился расход локальной памяти GPU, а дефолтный режим драйвера сменился с TCC на MCDM — это открывает поддержку WSL2, контейнеров и продвинутого управления памятью.

Для математических вычислений: экспериментальная поддержка Grouped GEMM с MXFP8 в cuBLAS для Blackwell, ускоренные FP64-эмулированные операции QR, LU и Cholesky на INT8-платформах.

Инструменты: NVIDIA Nsight Python для профилирования прямо из Python, отладка Numba-ядер, AI-ассистент Nsight Copilot для написания CUDA-кода.

https://developer.nvidia.com/blog/cuda-13-2-introduces-enhanced-cuda-tile-support-and-new-python-features/

Nvidia Tech — интеграция гибридной архитектуры Falcon-H1 в Megatron Core

Technology Innovation Institute (TII) внедрили архитектуру Falcon-H1 в NVIDIA Megatron Core. Главная особенность — параллельная работа Transformer-внимания и Mamba-2 SSM внутри каждого блока: оба компонента обрабатывают входные данные одновременно, а не последовательно. Это ускоряет работу и улучшает обработку длинных контекстов.

Дополнительно: интеграция BitNet позволяет обучать модели с троичными (1.58-бит) весами, что снижает потребление памяти и пропускной способности без потери производительности.

Для разработчиков это означает возможность гибко настраивать соотношение слоёв (Mamba, Attention, MLP) и масштабировать модели от 0.5B до 34B параметров. Вклад открыт в репозитории Megatron-LM на GitHub.

https://developer.nvidia.com/blog/implementing-falcon-h1-hybrid-architecture-in-nvidia-megatron-core/

Nvidia выпустила NIXL — открытую библиотеку для ускорения передачи данных в распределённых AI-системах.

Суть: когда большая языковая модель работает на десятках GPU одновременно, между ними постоянно гоняются огромные объёмы данных — кэши, веса, промежуточные результаты. NIXL делает этот процесс быстрее и проще.

Что важно: библиотека поддерживает RDMA, GPU-Direct Storage, облачные хранилища (S3, Azure Blob) и работает на оборудовании AWS, Azure и скоро Google Cloud. Уже интегрирована с vLLM, TensorRT-LLM, SGLang и другими фреймворками.

Главная фишка — динамичность: система умеет добавлять и убирать GPU-узлы на ходу, переживать сбои без остановки сервиса и автоматически перераспределять нагрузку. Это критично для продакшн-сервисов, работающих круглосуточно.

Для разработчиков AI-инфраструктуры — полезный инструмент, снимающий головную боль с низкоуровневой оптимизацией передачи данных.

https://developer.nvidia.com/blog/enhancing-distributed-inference-performance-with-the-nvidia-inference-transfer-library/

Андрей Карпати намекнул, что стоило бы сразу поделиться ссылкой на его проект AutoResearch — штуку, которую он придумал для автоматизации исследований с помощью ИИ-агентов.

Важный момент: это не готовый инструмент, который можно просто запустить. Это скорее рецепт или идея — берёшь её, передаёшь своему агенту и адаптируешь под свою задачу. Что-то вроде шаблона мышления для ИИ, который помогает ему самостоятельно копаться в теме и делать выводы.

На выходных твит об этом завирусился — видимо, идея зацепила многих разработчиков и исследователей. Карпати явно доволен реакцией, хоть и с лёгкой самоиронией признаёт, что мог бы сразу дать все нужные ссылки.

https://x.com/karpathy/status/2031137476438548874

Карпати поделился впечатляющим результатом авторесёрча — системы, которая сама ищет улучшения в нейросетях.

Он запустил её на небольшой модели (12 слоёв) и ушёл на два дня. Система нашла около 20 изменений, которые снизили validation loss. Когда Карпати проверил результаты, оказалось, что все улучшения складываются друг с другом и переносятся на более крупную модель (24 слоя).

Это важно: часто трюки, работающие на маленьких моделях, ломаются при масштабировании. Здесь — нет. По сути, ИИ сам улучшает ИИ, и результат реально работает.

https://x.com/karpathy/status/2031135152349524125

AutoResearch-RL: ИИ сам себе исследователь (by Anthropic)

Что если LLM-агент сам читает train.py, вносит правки, запускает обучение и учится на результатах — бесконечно? Именно это делает AutoResearch-RL.

Идея: формализовать "петлю автоисследования" как MDP. Агент на базе трансформера с PPO предлагает диффы к коду, запускает обучение на 5 минут, получает награду в виде улучшения val-bpb и обновляет политику. История экспериментов — рабочая память агента (скользящее окно из 32 запусков).

Ключевая фишка — модуль самооценки: каждые 30 секунд он фитит степенной закон на кривую лосса и предсказывает финальный bpb. Если прогноз плохой — обучение прерывается досрочно. Это даёт 2.4× больше экспериментов за то же время.

Теоретически доказана монотонная сходимость: лучший bpb — супермартингал, то есть гарантированно не ухудшается.

Результат: на одной GPU за ночь агент выходит на уровень hand-tuned SoTA по val-bpb на nanochat.

https://arxiv.org/abs/2603.07300

LLMs теряются в длинных историях — и теперь это можно измерить

Попросите любой LLM написать рассказ на 8–10 тысяч слов, и он неизбежно начнёт противоречить сам себе: персонаж был пятилетним, а через страницу стал подростком. Авторы собрали бенчмарк ConStory-Bench (2000 промптов) и пайплайн ConStory-Checker для автоматического поиска таких багов.

Таксономия включает 5 категорий и 19 подтипов ошибок: противоречия во временной логике, в характере персонажей, в правилах мира, в фактах и в стиле повествования. Пайплайн работает в 4 этапа: извлечение подозрительных фрагментов → попарное сравнение → построение цепочки доказательств с цитатами → JSON-отчёт.

Протестировали модели от OpenAI, Google, Anthropic, xAI, Qwen, DeepSeek и агентные системы. Спойлер: чем длиннее текст, тем больше ошибок у всех.

https://arxiv.org/abs/2603.05890

RL для 3D-редактирования сцен без парных данных (by AMAP-ML)

Главная боль 3D-редактирования: нужна мультивью-консистентность, но собрать парные данные почти нереально. Авторы решили это через RL — как в LLM, только вместо "правильного ответа" используют 3D-верификатор.

Идея: берём мощный 2D-редактор FLUX-Kontext, умеющий совместно редактировать несколько изображений, и дообучаем его через GRPO. Reward считает замороженная 3D-модель VGGT — она оценивает геометрическую консистентность по картам уверенности и предсказаниям камерных поз. Никаких парных 3D-данных не нужно!

Результат: метод RL3DEdit обучается на 5% данных по сравнению с конкурентами, работает за один проход (в 2х быстрее), справляется с геометрическими изменениями ("надень капюшон", "поклонись") и сохраняет качество 2D-редактирования.

По сути — это SDS, но вместо диффузионной модели как оракула качества используется 3D foundation model как оракул консистентности.

https://arxiv.org/abs/2603.03143

RLVR без разметки: красивая идея с неприятным потолком

Обычный RLVR (как в DeepSeek-R1) требует правильных ответов для обучения. А что если учить модель вообще без разметки — только на её собственных сигналах? Это и есть Unsupervised RLVR (URLVR).

Авторы провели масштабный анализ таких методов и обнаружили неприятную закономерность: все intrinsic-методы (majority voting, entropy-based rewards и т.п.) делают одно и то же — они "заостряют" (sharpening) исходное распределение модели. То есть усиливают то, во что модель уже верила, а не учат чему-то новому.

Следствие: если модель изначально была права — URLVR помогает. Если нет — коллапс неизбежен. Все методы следуют паттерну "рост, потом падение", различаясь лишь когда именно падают.

Что работает: intrinsic URLVR полезен для test-time training на маленьких доменных датасетах. А для масштабирования нужны внешние награды — например, через асимметрию генерации и верификации (self-verification).

https://arxiv.org/abs/2603.08660

Первая any-to-any мультимодальная модель без авторегрессии (by Nanjing University)

Omni-Diffusion — первая система, которая объединяет текст, изображения и речь через единую маскированную дискретную диффузию. Никакого авторегрессивного LLM в основе!

Идея проста: токенизируем все модальности в дискретные токены, случайно маскируем их и учим модель восстанавливать оригинал. На инференсе стартуем с полностью замаскированной последовательности и итеративно декодируем.

Ключевые трюки:
- трёхэтапный прогрессивный пайплайн обучения
- position penalty для улучшения качества изображений
- special token pre-infilling для речевой генерации
- attenuated tail-pad masking для переменной длины ответов

Результат: качество сравнимо с авторегрессивными мультимодальными системами, плюс параллельный декодинг и нативное управление структурой вывода. Диффузия наступает на пятки LLM-парадигме.

https://arxiv.org/abs/2603.06577

OpenAI улучшила иерархию инструкций в своих моделях

Компания представила IH-Challenge — подход к обучению, который учит модели правильно расставлять приоритеты между инструкциями от разных источников. Теперь модель чётче понимает, чьим командам доверять больше: системному промпту разработчика, запросу пользователя или внешнему тексту.

Главный практический эффект — повышенная устойчивость к prompt injection атакам. Это когда вредоносный текст в документе или на веб-странице пытается «перехватить» управление моделью и заставить её игнорировать исходные инструкции.

Для разработчиков это означает более предсказуемое поведение моделей в продакшене, а для бизнеса — меньше рисков при работе с пользовательским контентом. Безопасность и управляемость моделей растут — и это важный шаг для всей индустрии.

https://openai.com/index/instruction-hierarchy-challenge

Google Gemini обновил ИИ-помощника в Google Sheets

Gemini в Google Таблицах получил новые бета-функции: теперь можно создавать, редактировать и организовывать целые таблицы — от простых задач до сложного анализа данных. Просто описываешь, что нужно, и ИИ делает сам.

Главное достижение — результат 70,48% на бенчмарке SpreadsheetBench, который проверяет модели на реальных сценариях работы с таблицами. Это лучший показатель среди конкурентов и вплотную приближается к уровню эксперта-человека.

Для пользователей это значит: меньше ручной работы с формулами и форматированием, больше времени на реальные задачи. Обновления также коснулись Google Docs, Drive и Slides.

https://blog.google/products-and-platforms/products/workspace/gemini-google-sheets-state-of-the-art/

Google DeepMind отмечает 10 лет с момента создания AlphaGo — системы, которая впервые победила чемпиона мира по игре в го.

Но главное не сама победа, а то, что случилось потом. Подходы, отработанные на AlphaGo, легли в основу AlphaFold — инструмента, который предсказывает структуры белков и буквально изменил биологию и медицину. Сегодня эти методы применяются в разработке лекарств, изучении болезней и десятках других научных областей.

За 10 лет AlphaGo превратился из шахматного эксперимента в доказательство того, что ИИ способен решать реальные научные задачи. Google DeepMind использует этот юбилей как напоминание: игры были лишь полигоном, а настоящая цель — наука и польза для людей.

https://deepmind.google/blog/10-years-of-alphago/