AgentVista: лучшие модели решают лишь 27% задач

Хотите проверить, насколько умён ваш мультимодальный агент? Дайте ему фото пола из ремонта, попросите найти похожий материал на сайте магазина и посчитать стоимость укладки в комнате с другой фотографии. Именно такие задачи — в новом бенчмарке AgentVista от HKUST.

209 задач из 7 доменов: от шопинга и навигации до сборки LEGO и анализа чипов. Каждая задача требует длинной цепочки инструментов: поиск по изображению, веб-поиск, навигация по страницам, выполнение кода. Среднее число вызовов инструментов — 12.67 (для сравнения, у конкурентов 3-5).

Результат: даже Gemini 2.5 Pro набирает лишь 27.3%. Типичная схема провала: сначала агент неверно идентифицирует объект на фото, потом ищет не то, и дальше всё катится под откос.

https://arxiv.org/abs/2602.23166

Робот-эксперт в кармане — буквально

Чтобы обучить робота, обычно нужен целый зоопарк: один человек собирает данные, другой тренирует модель, третий тестирует на железе. И все трое должны быть PhD-уровня. RoboPocket из Shanghai Jiao Tong University предлагает упаковать всё это в смартфон.

Идея: iPhone используется не просто как камера, а как вычислительный хаб. Пользователь держит изоморфный захват (копию реального гриппера Robotiq), а телефон в реальном времени показывает через AR, куда "думает" идти политика робота. Видишь, что политика собирается облажаться — сразу собираешь корректирующие данные. Модель дообучается на лету, без физического робота.

Результат: 2× прирост эффективности данных по сравнению с чистым масштабированием датасета, и это работает у нескольких пользователей в разных локациях одновременно — всего 12 коррекций на человека дают заметный буст.

https://arxiv.org/abs/2603.05504

HiFi-Inpaint: вставить продукт в фото человека так, чтобы даже логотип не смазался (by ByteDance)

Задача: взять фото человека + референс продукта (бутылка, сумка, etc.) и seamlessly вставить продукт в нужное место. Звучит просто, но диффузионные модели постоянно "галлюцинируют" текстуры и текст на упаковке.

Авторы предложили HiFi-Inpaint на базе FLUX с тремя фишками:

1. Датасет HP-Image-40K — синтезирован через diptych-промпты (FLUX генерит пару: продукт слева, человек с продуктом справа), затем фильтруется по CLIP-similarity и совпадению текста на упаковке через InternVL.

2. Shared Enhancement Attention — параллельная ветка DiT, где токены продукта заменяются на high-frequency map токены. Это "прокачивает" детали в основной ветке.

3. Detail-Aware Loss — пиксельный лосс на высокочастотных картах (края, текстуры), дополняющий стандартный MSE в латентном пространстве.

Итог: буквы на этикетке читаются, паттерны ткани сохраняются. Актуально для e-commerce и рекламы.

https://arxiv.org/abs/2603.02210

Nvidia Tech обновила подход к Flash Attention через CUDA cuTile.

Инженеры Nvidia опубликовали детальный гайд по реализации Flash Attention на новом фреймворке cuTile с оптимизациями под архитектуру Blackwell (B200, RTX 50-й серии).

Что важно: стандартный attention при длине контекста 16к токенов создаёт 512 МБ промежуточных данных на каждый attention head. Flash Attention решает это тайловой обработкой прямо в быстрой памяти чипа — без записи огромной матрицы в HBM. Результат: ускорение в 2-4x и поддержка длинных контекстов.

Новый гайд показывает ловушки наивных оптимизаций (увеличение размера тайла может замедлить работу), и как их обходить через FMA-паттерны, fast math и адаптивное тайлование.

Требования: CUDA 13.1+, GPU Blackwell, Python 3.10+.

Актуально для разработчиков LLM-инференса — особенно с GQA и causal attention, которые используют LLaMA 3, Mistral, Qwen.

https://developer.nvidia.com/blog/tuning-flash-attention-for-peak-performance-in-nvidia-cuda-tile/

Nvidia Tech обновила CUDA Core Compute Libraries до версии 3.1.

В библиотеке CUB появился новый API для управления детерминизмом операций с плавающей точкой. Теперь разработчики могут явно выбирать один из трёх режимов: not_guaranteed (максимальная скорость, результаты могут отличаться между запусками), run_to_run (одинаковый результат на одном GPU, включён по умолчанию) и gpu_to_gpu (битово идентичный результат на любых GPU).

Последний режим использует алгоритм RFA — он группирует числа по диапазонам экспоненты, что устраняет проблему неассоциативности сложения. Платой за это становится снижение скорости на 20–30% для больших массивов данных.

Для кого это важно: для учёных и инженеров, которым критична воспроизводимость вычислений — в HPC, научных симуляциях и финансовых расчётах. Раньше добиться одинаковых результатов на разных GPU было крайне сложно. Теперь это одна строчка кода.

https://developer.nvidia.com/blog/controlling-floating-point-determinism-in-nvidia-cccl/

Apple ML выпустила исследование по обнаружению дипфейков в видео.

Исследователи показали, что не нужен огромный и сложный детектор фейковых лиц — достаточно умно скомбинировать два классических признака изображения. Новые модели LFWS и LFWL основаны на Xception (21,9 млн параметров) и добавляют всего 292 дополнительных параметра — это ничто.

При этом точность выросла: на датасете FaceForensics++ AUC улучшился с 74,8% до 78,6%, на DFDC-Preview — с 70,5% до 74,9%. Модели обошли конкурентов F3Net и SRM, которые весят в 2,5 раза больше.

Почему важно: детекторы дипфейков нужны везде — в соцсетях, мессенджерах, верификации личности. Компактные и точные модели проще запускать прямо на устройстве, без облака. Это намёк на то, что гонка за размером модели в CV — не всегда правильный путь.

https://machinelearning.apple.com/research/multi-frequency-fusion

Карпати выложил в открытый доступ проект autoresearch — компактный инструмент для обучения языковых моделей. Это урезанная версия его nanochat: всего один файл, около 630 строк кода, работает на одной видеокарте. Идея в том, что человек задаёт направление исследования, а модель сама итеративно его прорабатывает. Карпати предлагает поиграться с проектом на выходных — репозиторий уже доступен на GitHub.

https://x.com/karpathy/status/2030371219518931079

Сумит Чинтала (один из создателей PyTorch) отметил выход Qwen 3.5 — новой модели от китайской команды Alibaba. По его словам, модель огонь, и теперь она доступна на Hugging Face.

Qwen продолжает удивлять сообщество: каждая новая версия заметно поднимает планку среди открытых моделей и всё сильнее конкурирует с западными аналогами.

https://x.com/soumithchintala/status/2030048163239727507

BandPO: умный клиппинг для RL в LLM

Стандартный PPO-клиппинг в GRPO тихо убивает исследование пространства действий. Проблема: граница клиппинга линейно зависит от старой вероятности токена. Для редких токенов с высоким advantage — маржа на рост почти нулевая, градиент глушится, модель не учится новым стратегиям.

BandPO решает это элегантно: вместо фиксированных границ ε вводится оператор Band, который проецирует доверительную область (через f-дивергенции: KL, TV, χ²) в динамические вероятностно-зависимые границы клиппинга. Один интерпретируемый параметр δ вместо кучи ε.

Ключевой эффект: для низковероятных токенов граница расширяется адаптивно — модель может их усилить, если они действительно полезны. Энтропия не схлопывается.

Результат: стабильный прирост на math-бенчмарках для Qwen2.5 (3B, 7B) и Llama3 (8B) поверх GRPO и Clip-Higher.

https://arxiv.org/abs/2603.04918

Зачем учить визуальный энкодер с нуля, если можно взять LLM?

Большинство VLM-моделей используют CLIP/SigLIP как визуальный энкодер — но это архитектурное решение 2021 года, которое изначально не проектировалось под генеративные задачи. Авторы Penguin-VL предлагают радикальную идею: инициализировать визуальный энкодер прямо из весов текстового LLM (Qwen3-0.6B).

Логика простая: LLM уже содержит богатые семантические знания о мире. Зачем учить визуальные представления с нуля, если можно адаптировать то, что уже умеет понимать смысл? Для этого авторы заменяют causal attention на bidirectional и добавляют 2D-RoPE для работы с изображениями.

Дополнительно: специальный TRA (Temporal Redundancy-Aware) механизм сжимает токены видео, различая ключевые и промежуточные кадры.

Результат: Penguin-VL 2B бьёт InternVL-3.5-2B и Qwen3VL-2B на большинстве image/video бенчмарков.

https://arxiv.org/abs/2603.06569

LMM vs CLIP: кто лучше классифицирует изображения?

Принято считать, что CLIP и подобные контрастивные модели бьют большие мультимодальные модели (LMM) в задачах классификации. Авторы задались вопросом: а вдруг LMM просто плохо «подготовлены» к задаче, а не слабее по природе?

Оказывается — да! Если дать LMM несколько примеров в контексте (In-Context Learning), их точность резко растёт. Например, Qwen-2-VL 7B с 16 примерами прибавляет +17.7% и начинает обгонять CLIP ViT-L/14.

Для сложного open-world сценария (когда классы заранее неизвестны) авторы предложили метод CIRCLE: модель итеративно уточняет псевдо-метки для unlabeled примеров, постепенно самокорректируясь и подбирая нужную гранулярность описания. Никакой разметки не нужно.

Вывод: LMM — вполне конкурентоспособные классификаторы, просто им нужен правильный контекст.

https://arxiv.org/abs/2602.23229

Бенчмарки для LLM давно протухли — пора дать моделям право задавать вопросы самим

Большинство тестов для LLM устроены так: дай модели задачу, получи ответ, сравни с эталоном. Но реальный интеллект работает иначе — он активно собирает информацию, задаёт уточняющие вопросы и итеративно сужает пространство гипотез.

Авторы предлагают фреймворк Interactive Benchmarks с двумя режимами:

1. Interactive Proofs — модель задаёт вопросы судье (да/нет/оба/нерелевантно), чтобы угадать скрытый ответ (загадки-ситуации, математика). Без взаимодействия все модели — GPT-5, Gemini, DeepSeek и другие — дают 0% точности.

2. Interactive Games — модель максимизирует награду в стохастичной среде (покер, игра доверия).

Ключевая идея: тест должен проверять не только знания, но и стратегию сбора информации под бюджетным ограничением. Это гораздо ближе к тому, как интеллект работает в реальном мире.

https://arxiv.org/abs/2603.04737

DreamWorld: видеогенерация, которая понимает физику мира

Современные видеомодели (Wan2.1, Sora и т.д.) умеют делать красивую картинку, но не понимают физику и пространство. Авторы из USTC предлагают DreamWorld — фреймворк, который "вшивает" в генерацию три типа знаний о мире одновременно: оптический поток (движение), DINOv2 (семантика) и VGGT (3D-геометрия).

Проблема: если просто обучать модель на всех трёх задачах сразу — градиенты конфликтуют, возникают артефакты и нестабильность. Решение — Consistent Constraint Annealing (CCA): влияние "физических" потерь постепенно затухает по мере обучения, давая модели сначала усвоить мировые знания, а потом сосредоточиться на качестве картинки.

На инференсе работает Multi-Source Inner-Guidance: модель использует свои же предсказания физических фич как направляющий сигнал — что-то вроде classifier-free guidance, но для законов реального мира.

Результат: заметный прирост на VBench 2.0 и VideoPhy по сравнению с VideoJAM и VideoREPA.

https://arxiv.org/abs/2603.00466

PyTorch выпустил KernelAgent — агентную систему для автоматической оптимизации GPU-ядер.

Раньше настройка Triton-ядер под конкретное железо занимала у инженеров дни и недели. KernelAgent автоматизирует этот процесс: система профилирует ядро через NVIDIA Nsight Compute, диагностирует узкие места, предлагает оптимизации и итерирует — всё в закрытом цикле из нескольких агентов.

Результаты впечатляют: на 100 задачах KernelBench L1 система показала ускорение 2.02x по сравнению с предыдущей версией и 1.56x относительно стандартного torch.compile. На H100 достигается 89% от теоретического максимума производительности железа.

Для разработчиков это означает меньше ручной работы при оптимизации инференса — важно для снижения стоимости обслуживания больших моделей. Код открыт на GitHub.

https://pytorch.org/blog/kernelagent-hardware-guided-gpu-kernel-optimization-via-multi-agent-orchestration/

Андрей Карпати рассуждает о будущем автономных AI-исследований. По его мнению, следующий шаг — это не имитация одного аспиранта, а имитация целого научного сообщества.

Сейчас системы автоисследований работают синхронно — один поток мыслей, одна цепочка рассуждений. Карпати предлагает перейти к массово-параллельной асинхронной модели, как SETI@home — помните, когда миллионы компьютеров по всему миру совместно искали сигналы внеземных цивилизаций?

Идея в том, чтобы тысячи агентов одновременно исследовали разные гипотезы, делились результатами и строили знание коллективно — как настоящие учёные на конференциях и в препринтах.

Это принципиальный сдвиг: от "умного одиночки" к "умной толпе".

https://x.com/karpathy/status/2030705271627284816

Превратить обычное видео в полноценную 3D-карту сцены — без сенсоров и разметчиков

Главная боль пространственного AI — данные. ScanNet с его 50 классами и ручной разметкой не масштабируется. Авторы Holi-Spatial предлагают полностью автоматический конвейер: берём обычное видео, и на выходе получаем 3DGS-сцену с масками, 3D-боксами, описаниями объектов и QA-парами.

Пайплайн три шага: сначала Depth-Anything + 3D Gaussian Splatting строят геометрию, потом VLM + SAM3 режут сцену на объекты в 2D, потом всё это поднимается в 3D, фильтруется и подписывается агентом.

Результат — датасет Holi-Spatial-4M: 12K сцен, 1.2M масок, 1.3M QA-пар. Файнтюн Qwen3-VL на этих данных даёт +15% AP50 на ScanNet++ и +7.9% на MMSI-Bench. А аннотации оказались точнее официальных меток ScanNet.

https://arxiv.org/abs/2603.07660

LoGeR: 3D-реконструкция на 19к кадров без SLAM (by DeepMind)

Современные feedforward-модели для 3D-реконструкции упираются в "стену контекста": квадратичная сложность attention не позволяет обрабатывать длинные последовательности. SLAM справляется, но требует дорогого backend-оптимизатора.

LoGeR решает это через гибридную память из двух компонентов:
1. Sliding Window Attention — хранит последние чанки без потерь для точного локального выравнивания
2. Test-Time Training (TTT) — сжимает глобальный контекст в fast-weight матрицу для предотвращения дрейфа масштаба

Модель обучается на последовательностях из 128 кадров, а на инференсе обобщается до 19к кадров и траекторий длиной 11.5 км. На KITTI ошибка ATE снизилась с 72.86 до 18.65, на VBR benchmark — улучшение на 30.8% относительно SOTA.

Итог: линейная сложность по длине последовательности, лossless локальный контекст и глобальная согласованность одновременно.

https://arxiv.org/abs/2603.03269

Доверяй своей модели: как распределение уверенности улучшает выбор ответа

Когда LLM генерирует несколько рассуждений для одного вопроса, как выбрать лучший? Обычно — голосованием или внешней reward-моделью. Авторы предлагают DistriVoting: смотреть на распределение внутренней уверенности модели как на смесь двух гауссиан (правильные vs неправильные ответы) и фильтровать кандидатов в два шага.

Сначала GMM разделяет траектории на «позитивные» (высокая уверенность) и «негативные». Затем Reject Filter использует негативные ответы, чтобы выкинуть ложноположительные из пула голосования.

Дополнительно SelfStepConf мониторит уверенность пошагово прямо во время генерации — если она резко падает, принудительно вставляет токены рефлексии. Это раздвигает распределения правильных и неправильных ответов дальше друг от друга, что теоретически доказуемо улучшает точность голосования.

Проверено на DeepSeek и Qwen3 на AIME, GPQA-D и других бенчмарках — стабильный прирост без внешних моделей.

Планирование за 8 токенов: как сжать мир до 128 бит

Современные world models для планирования в RL страдают от одной проблемы: им нужны сотни токенов на кадр, а значит планирование занимает минуты. Авторы задались вопросом: а что если сжать изображение до предела — всего 8 токенов (128 бит)?

Так появился CompACT. Ключевые идеи:
1. Вместо обычного энкодера — frozen pretrained vision model (типа DINO), из которой через cross-attention извлекаются только семантически важные фичи.
2. Дискретное латентное пространство — предсказание будущего состояния делается через masked generative modeling (как MaskGIT), без диффузии.
3. Декодер не пытается восстановить пиксели напрямую из 8 токенов — он генерирует их условно, используя компактные токены как подсказку.

Результат: world model на навигации достигает точности модели с 784 токенами, но в 40 раз быстрее. А 8-токенная модель вообще обходит конкурента с 64 токенами!

https://arxiv.org/abs/2603.05438

WildActor: как заставить видеомодель не "забывать" лицо актёра при смене ракурса

Классическая проблема генерации видео с конкретным персонажем: стоит сменить угол камеры — и лицо "поплыло", одежда изменилась, а тело живёт своей жизнью. Авторы атакуют эту проблему сразу с двух сторон.

Во-первых, они собрали Actor-18M — 1.6M видео и 18M референсных изображений одних и тех же людей с разных ракурсов, в разных окружениях и позах. Часть данных сгенерирована: для каждого субъекта синтезируют вид спереди, сзади, сбоку и т.д.

Во-вторых, предложили WildActor с двумя ключевыми идеями: асимметричный attention (видео-токены смотрят на референс, но не наоборот — чтобы не "загрязнять" backbone), и Viewpoint-Adaptive Monte Carlo Sampling — выбор референсных изображений с максимальным разнообразием ракурсов.

Результат: стабильная идентичность персонажа при смене сцен, ракурсов и движений.

https://arxiv.org/abs/2603.00586

Nvidia Tech выпустила CUDA 13.2 — масштабное обновление для разработчиков GPU-приложений.

Главное: CUDA Tile теперь полноценно работает на архитектурах Ampere, Ada и Blackwell. Python-библиотека cuTile получила поддержку рекурсивных функций, замыканий, кастомных редукций и улучшенной работы с массивами. Установка теперь одной командой через pip.

Из важного для разработчиков: новые API cudaMemcpyWithAttributesAsync упрощают гибкое управление памятью, на Windows в режиме WDDM значительно снизился расход локальной памяти GPU, а дефолтный режим драйвера сменился с TCC на MCDM — это открывает поддержку WSL2, контейнеров и продвинутого управления памятью.

Для математических вычислений: экспериментальная поддержка Grouped GEMM с MXFP8 в cuBLAS для Blackwell, ускоренные FP64-эмулированные операции QR, LU и Cholesky на INT8-платформах.

Инструменты: NVIDIA Nsight Python для профилирования прямо из Python, отладка Numba-ядер, AI-ассистент Nsight Copilot для написания CUDA-кода.

https://developer.nvidia.com/blog/cuda-13-2-introduces-enhanced-cuda-tile-support-and-new-python-features/