Мультимодальное обучение с нуля: что реально важно? (by Meta)

Большинство мультимодальных моделей стартуют с уже обученного языкового бэкбона — и непонятно, что они реально выучили из картинок, а что унаследовали от текста. Meta решила разобраться и обучила модель с нуля на тексте, видео, парах картинка-текст и видео с действиями (Transfusion: next-token для текста + диффузия для визуала).

Главные находки:
— Модальности почти не мешают друг другу, а иногда даже помогают
— Визуал гораздо более data-hungry, чем текст (scaling asymmetry)
— MoE-архитектура с раздельными FFN для разных модальностей работает лучше общих слоёв
— World modeling (предсказание физики мира) возникает из общего видеопретрейна, а не из специальных данных
— Лучшее визуальное представление — RAE (Representation Autoencoder), а не VAE или сырые пиксели

https://arxiv.org/abs/2603.03276

Один энкодер для всех облаков точек — это реально?

Облака точек бывают очень разными: LiDAR на улице, сканы комнат, CAD-модели объектов. Обучить один энкодер на всём сразу не получалось — домены слишком разные по масштабу, плотности и доступным модальностям (цвет, нормали).

Авторы из Pointcept выяснили три главные причины провала наивного joint-обучения:
1. Разные пространственные масштабы — один и тот же grid-size покрывает сантиметры в одном домене и метры в другом
2. Гравитационный prior — сцены обычно выровнены по оси Z, объекты — нет
3. Непостоянство модальностей — цвет/нормали есть не везде

Решение — три простых фикса: Causal Modality Blinding (случайное маскирование цвета/нормалей при обучении), Perceptual Granularity Rescale (нормализация масштаба к единой "наблюдательной гранулярности") и RoPE на выровненных координатах.

Итог: один энкодер, обученный на 250k+1M облаках точек, работает лучше domain-specific моделей и даже улучшает VLM-рассуждения и робо-манипуляции.

SWE-rebench V2: 32 000 задач для обучения SWE-агентов на 20 языках (by Nebius)

Главная боль при обучении кодовых агентов — нехватка качественных исполняемых окружений. SWE-rebench V2 от Nebius решает это в промышленном масштабе.

Идея: единый pipeline, который майнит pull request'ы из реальных репозиториев, автоматически строит контейнеры, извлекает fail-to-pass тесты и фильтрует мусор — и всё это без ручной разметки на каждый инстанс.

Результат: 32 000+ контейнеризированных задач из 3 600+ репозиториев на 20 языках (Python, Java, JS, Go и хвост редких). Плюс 120 000+ задач с PR-описаниями в качестве условия — для ещё большего масштаба.

Ключевая фишка — instance-level диагностика: метаданные о флакающих тестах, внешних зависимостях, размытых спецификациях. Это позволяет строить curriculum и фильтровать задачи под конкретный эксперимент.

Всё это заточено под RL-обучение агентов, а не просто под бенчмаркинг — pre-built образы уже готовы к использованию.

https://arxiv.org/abs/2602.23866

OpenAutoNLU: AutoML для NLP, которому не нужно объяснять, сколько у тебя данных (by MTSAIR)

Главная боль NLP-практика: у тебя 3 примера на класс — одни методы, 500 примеров — другие, и каждый раз надо всё перенастраивать. OpenAutoNLU решает это автоматически.

Библиотека смотрит на минимальное число примеров на класс и сама выбирает стратегию: 2–5 примеров — AncSetFit с контрастивным обучением и описаниями классов, 5–80 — SetFit с sentence-transformers, больше 80 — полный файнтюн трансформера с Optuna HPO. Код клиента не меняется вообще.

Из приятного: встроенный OOD-детектор (Mahalanobis, MSP или logit-based), LLM-аугментация для малых датасетов, диагностика качества разметки через Dataset Cartography и V-Information, поддержка NER. Всё экспортируется в ONNX.

Сравнение с AutoGluon, H2O, LightAutoML и AutoIntent показывает конкурентный F1 при меньших затратах времени.

Код: github.com/mts-ai/OpenAutoNLU

https://arxiv.org/abs/2603.01824

GPT-5 и Gemini-2.5-Pro не справляются с бытовыми задачами на здравый смысл

Мы привыкли тестировать мультимодальные модели на экспертных задачах — олимпиадные задачи, научные вопросы. Но насколько они справляются с тем, с чем сталкивается любой человек в жизни?

Авторы из UCAS создали бенчмарк MMR-Life: 2646 вопросов по 19 тысячам реальных изображений. Задачи — бытовые: определить порядок шагов рецепта, понять почему человек открыл холодильник, предсказать следующий кадр с дороги. Никакой экспертизы — только здравый смысл и работа с несколькими картинками одновременно.

Охвачены 7 типов рассуждений: абдуктивное, аналогическое, каузальное, дедуктивное, индуктивное, пространственное и временное.

Результат: GPT-5 — 58.69%, Gemini-2.5-Pro — 56.86%. Люди — ~73%. Хуже всего модели справляются с причинно-следственными, пространственными и временными задачами. Длинный CoT помогает лишь в части типов задач.

https://arxiv.org/abs/2603.02024

OpenAI выпустила системную карточку для GPT-5.3 Instant — облегчённой версии модели, заточенной под скорость.

Что внутри: модель прошла стандартные проверки безопасности, показала низкий риск по ключевым категориям угроз. Особый акцент — на устойчивость к джейлbreaking-атакам и генерации вредоносного контента.

Почему важно: системные карточки — это своего рода паспорт модели. Они показывают, как OpenAI тестировала поведение ИИ до релиза. Для разработчиков это сигнал: модель готова к продакшену.

Для пользователей: GPT-5.3 Instant — это быстрые ответы при сохранении базовых стандартов безопасности. Идеально для приложений, где важна скорость, а не максимальная глубина рассуждений.

https://openai.com/index/gpt-5-3-instant-system-card

Nvidia Tech — новый способ снизить нагрузку на GPU в играх с помощью ИИ-агентов

NVIDIA обновила In-Game Inferencing SDK до версии 1.5, добавив поддержку code agents — ИИ-агентов, которые пишут и выполняют код прямо во время игры.

Суть проблемы: обычные ИИ-агенты в играх работают через tool-calling — модель вызывает функции по одной, каждый раз делая отдельный запрос к GPU. Это создаёт конкуренцию с графическим рендерингом и замедляет игру.

Решение: code agents генерируют весь код за один вызов. Вместо трёх запросов к модели — один, а дальше обычный код сам выполняет нужную логику: циклы, фильтрацию, расчёты.

В качестве языка выбран Lua — лёгкий и с хорошей изоляцией, чтобы ИИ не мог навредить системе.

Для геймеров и разработчиков это означает более умных NPC с меньшими тормозами и новые возможности для динамичного поведения персонажей без просадок FPS.

https://developer.nvidia.com/blog/how-to-minimize-game-runtime-inference-costs-with-coding-agents/

Nvidia представила cuTile.jl — пакет, который переносит тайловую модель программирования CUDA на язык Julia.

Раньше писать высокопроизводительные GPU-ядра означало вручную управлять потоками, варпами и памятью. CUDA Tile меняет подход: разработчик описывает операции над блоками данных, а компилятор сам разбирается с железом. До этого такой подход был доступен только в Python.

Теперь то же самое работает в Julia. Код получается почти идентичным Python-версии, но с поддержкой Julia-идиом: индексация с единицы, broadcasting-синтаксис с точками. GPU-ядра читаются как обычный Julia-код для работы с массивами.

По производительности: векторное сложение — 99% от Python, матричное умножение — 100%. Некоторые сложные ядра пока отстают, компилятор дорабатывается.

Требования: GPU на архитектуре Blackwell, драйвер CUDA 13+, Julia 1.11+. Пакет открытый, доступен через менеджер пакетов Julia.

https://developer.nvidia.com/blog/cutile-jl-brings-nvidia-cuda-tile-based-programming-to-julia/

Демис Хассабис, глава Google DeepMind, похвастался новой моделью Gemini 2.5 Flash-Lite. По его словам, она маленькая, но мощная — невероятно быстрая и дешёвая в использовании при высоком качестве ответов. Это так называемые "лайт"-модели, заточенные под массовые задачи, где важна скорость и стоимость, а не максимальное качество. Google явно метит в сегмент разработчиков и компаний, которым нужен AI без огромных затрат.

https://x.com/demishassabis/status/2029047252275060895

Helios (by ByteDance): 14B видеогенерация в реальном времени — быстрее, чем модели в 10 раз меньше

Генерировать длинные видео в реальном времени было невозможно: 14B модели тратили десятки минут на 5 секунд. Helios ломает это правило — 19.5 FPS на одном H100, быстрее некоторых дистиллированных 1.3B моделей, и при этом лучше по качеству.

Ключевые идеи:
1. Unified History Injection — исторический контекст инжектируется без causal masking, сохраняя bidirectional inference
2. Easy Anti-Drifting — явная симуляция дрейфа при обучении вместо дорогого self-forcing
3. Multi-Term Memory Patchification + Pyramid Predictor-Corrector — агрессивное сжатие токенов
4. Adversarial Hierarchical Distillation — 50 шагов → 3, без self-forcing роллаутов

Итог: 128× ускорение при сопоставимом качестве с базовыми моделями. Плюс открытый бенчмарк HeliosBench для длинных видео.

https://arxiv.org/abs/2603.04379

Генерация мешает пониманию? Новый бенчмарк проверил это на 30+ моделях

Все думали: если модель умеет генерировать изображения, это поможет ей лучше рассуждать. Авторы UniG2U решили проверить это строго — и результаты неожиданные.

Они создали бенчмарк на 3000 задач в 7 категориях (геометрия, пространственное мышление, иллюзии, паззлы и др.) и сравнили unified-модели (умеющие и понимать, и генерировать) с их базовыми VLM-аналогами.

Главный вывод: генерация чаще вредит, чем помогает. Режим "сначала нарисуй, потом ответь" (Generate-then-Answer) в среднем ухудшает результаты — ошибки в генерации распространяются дальше.

Но есть исключения: в задачах на пространственные трансформации, визуальные иллюзии и многошаговое рассуждение генерация реально помогает.

Вывод: объединение понимания и генерации в одной модели — не бесплатный обед. Архитектурные компромиссы реальны.

https://arxiv.org/abs/2603.03241

Код-агенты умеют чинить баги в одном репо — но что если задача сложнее?

SWE-bench стал стандартом оценки code agents, но все существующие бенчмарки тестируют одно и то же: починить баг в одном репозитории. Реальная разработка куда сложнее.

Авторы предлагают BeyondSWE — бенчмарк из 500 задач по 4 категориям:
1. CrossRepo — исправить баг, используя код из внешних репозиториев
2. DomainFix — нужны знания из биоинформатики, квантовой физики и т.п.
3. DepMigrate — мигрировать весь кодбейс (например NumPy 1.x → 2.x)
4. Doc2Repo — создать репозиторий с нуля по спецификации

Результат: лучшие агенты решают лишь 45% задач. Особенно больно с миграциями и генерацией репо.

Авторы также предлагают SearchSWE — агентский фреймворк с веб-поиском поверх OpenHands. Вывод неутешительный: поиск помогает, но текущие LLM плохо интегрируют найденные знания с кодингом — это два разных навыка, которые пока не умеют работать вместе.

https://arxiv.org/abs/2603.03194

Qwen3-Coder-Next: 80B параметров, но работает как 3B (by Qwen)

MoE-архитектура с гибридным вниманием: 80B параметров всего, но активируется лишь 3B на каждый forward pass. При этом модель бьёт или догоняет модели на порядок тяжелее по SWE-Bench Pro.

Главная фишка — масштабирование агентного обучения, а не размера модели. Авторы построили пайплайн синтеза задач: майнят GitHub PR, строят воспроизводимые Docker-среды, инжектируют баги через AST-трансформации и получают ~800K верифицируемых задач на 9+ языках. Модель учится напрямую из фидбека реального выполнения кода.

Инфраструктура MegaFlow на Kubernetes запускает агентные роллауты параллельно в облаке — каждая задача это Argo workflow из трёх стадий: роллаут, оценка, постобработка.

Контекст вырос до 262K токенов, покрытие языков — с 92 до 370. Вывод авторов: масштабировать агентный тренинг эффективнее, чем просто увеличивать модель.

https://arxiv.org/abs/2603.00729

Зачем каждой LLM тренироваться в одиночку, если можно учиться друг у друга? (by ByteDance)

RLVR-обучение LLM дорого: модель сама генерирует траектории, сама их проверяет, и всё это только для себя. А если рядом тренируется другая модель на той же задаче — её роллауты просто выбрасываются.

Авторы предлагают HACRL: несколько гетерогенных агентов (разные размеры, архитектуры, веса) тренируются совместно, переиспользуя роллауты друг друга. При n агентах каждый роллаут используется до n раз — экономия огромная.

Главная проблема — агенты разные по силе и распределению политик. Для этого придумали HACPO с четырьмя трюками: capability-aware advantage estimation, коэффициент дискрепанса возможностей, экспоненциальное importance sampling и пошаговый клиппинг.

Результат: +3.3% на математических бенчмарках против GSPO при вдвое меньших затратах на роллауты. Qwen3-1.7B и Qwen3-4B оба выигрывают от совместного обучения.

https://arxiv.org/abs/2603.02604

Microsoft Research выпустила Phi-4-reasoning-vision — мультимодальную модель с усиленным рассуждением, обученную через reinforcement learning.

Главная фишка — специальный "агентский верификатор": модель не просто генерирует ответ, а проверяет собственные шаги рассуждения при работе с изображениями. Это позволяет ей решать сложные визуальные задачи — графики, схемы, математика с картинками — значительно точнее, чем раньше.

Почему важно: большинство reasoning-моделей работают только с текстом. Phi-4-reasoning-vision делает шаг к полноценным AI-агентам, которые могут "думать" над визуальным контентом, а не просто его описывать.

Для пользователей это значит более надёжных агентов в реальных задачах — анализ документов, работа с таблицами и изображениями без потери логики рассуждений.

https://www.microsoft.com/en-us/research/blog/phi-4-reasoning-vision-and-the-lessons-of-training-a-multimodal-reasoning-model/

Apple ML представила RL4HS — фреймворк для точного обнаружения галлюцинаций в текстах языковых моделей.

Проблема: LLM часто генерируют непроверенные утверждения. Большинство систем лишь помечают ответ целиком как "галлюцинация/не галлюцинация". Но на практике нужно находить конкретные проблемные фрагменты — это куда сложнее.

Решение: RL4HS использует обучение с подкреплением, где модель получает награду за точное определение галлюцинированных спанов (отрезков текста). В основе — алгоритм GRPO с авторским дополнением Class-Aware Policy Optimization, которое устраняет дисбаланс наград между классами.

На бенчмарке RAGTruth (резюмирование, ответы на вопросы, генерация по данным) RL4HS превзошёл как предобученные reasoning-модели, так и классический файн-тюнинг.

Почему важно: точное указание на галлюцинации — ключ к надёжным RAG-системам и доверию пользователей к AI-ответам. Статья принята на ICLR 2026.

https://machinelearning.apple.com/research/hallucination-span-detection

Apple ML представила EMBridge — систему распознавания жестов по мышечным сигналам без предварительного обучения на конкретных жестах.

Суть: носимые устройства считывают сигналы ЭМГ (электромиографию) с поверхности кожи. Проблема — такие сигналы грубее и беднее, чем видео или скелетная анимация. EMBridge «выравнивает» ЭМГ-данные с позными эмбеддингами через специальный трансформер, обучая систему понимать жесты, которых она никогда не видела — то есть работает в zero-shot режиме.

Почему важно: это первый фреймворк кросс-модального обучения, достигающий zero-shot классификации жестов прямо с носимых ЭМГ-датчиков. Для умных часов, AR-очков и других гаджетов это открывает путь к управлению жестами без громоздкой камеры и без необходимости долго «дрессировать» устройство под конкретного пользователя.

Работа принята на ICLR 2026.

https://machinelearning.apple.com/research/embridge

(by UC Berkeley)

Как заставить LLM выбирать лучший ответ из нескольких — без внешнего верификатора?

Параллельный reasoning (сэмплируем N цепочек рассуждений) упирается в проблему: как выбрать правильный ответ? Majority voting не работает в общем случае, а pointwise self-verification плохо откалиброван — модель не может оценить ответы без сравнительного контекста.

Авторы предлагают V1: вместо оценки каждого ответа по отдельности — попарное сравнение кандидатов через Swiss-tournament (сначала сравниваем все пары, потом фокусируемся на самых неопределённых).

Плюс RL-фреймворк V1-PairRL, который совместно обучает модель и генерировать решения, и попарно их верифицировать — на своих же текущих генерациях.

Результат: +10% к Pass@1 над pointwise верификацией, +8.7% над стандартным RL на code/math бенчмарках.

https://arxiv.org/abs/2603.04304

(by Tencent) Как сгенерировать 4K 360° видео, не взорвав видеопамять?

Обычные методы генерации 360° видео упираются в потолок ~1K разрешения — полное внимание по всему видео просто не влезает в память. Дальше добавляют суперрезолюцию, но это костыль: детали теряются, артефакты копятся.

CubeComposer решает это авторегрессией по кубической карте. 360° видео разбивается на 6 граней куба (F/R/B/L/U/D), и модель генерирует их по одной — сначала те, что лучше покрыты входным видео (coverage-guided order), потом остальные. Временное окно тоже фиксировано. Итог: память растёт линейно, а не квадратично.

Три ключевых трюка: coverage-guided порядок граней, sparse context attention с диагональной маской, и cube-aware padding/blending чтобы швы между гранями не были видны.

Результат — нативная генерация 4K 360° видео из обычной перспективной камеры.

https://arxiv.org/abs/2603.04291

Structure of Thought: заставь модель думать графами, а не текстом

Когда человек читает длинный документ, он мысленно строит схему: узлы и связи. Почему бы не заставить LLM делать то же самое?

Авторы предлагают Structure of Thought (SoT) — промпт-стратегию, где модель сначала извлекает из текста ключевые узлы и связи в виде JSON-графа, и только потом отвечает на вопрос. Это универсальное промежуточное представление вместо бесструктурного Chain-of-Thought.

Результат: на 8 бенчмарках по работе с текстом SoT стабильно даёт +5% и более. На 2WikiMultiHopQA и MuSiQue — более +10%. CoT при этом часто не помогает или даже вредит.

Ещё авторы собрали T2S-Bench — датасет из 1.8k примеров для оценки и обучения структуризации текста. Протестировали 45 моделей: средний EM всего 52.1%, даже Gemini 2.5 Pro набирает лишь 58.1%. Файнтюнинг на их данных даёт +8.5% на downstream-задачах.

https://arxiv.org/abs/2603.03790

MOOSE-Star: как научить LLM генерировать гипотезы, не сойдя с ума от комбинаторики (by MiroMind AI)

Обучить LLM генерировать научные гипотезы напрямую — задача математически неразрешимая. Почему? Гипотеза — это композиция фона исследования и k "вдохновений" из базы из N≈10^7 статей. Пространство поиска O(N^k) — просто взрывается.

MOOSE-Star ломает этот барьер тремя трюками:
1. Декомпозиция: разбить P(h|b) на k последовательных шагов — сложность падает с O(N^k) до O(k×N)
2. Иерархический поиск по семантическому дереву: O(N) → O(log N)
3. Явное моделирование "Мотивации" — обрезает нерелевантные ветки поиска

Для обучения авторы обработали 108 717 статей (38 400 GPU-часов!), получив датасет TOMATO-STAR с тройками (фон, гипотеза, вдохновения).

Бонус: метод лучше масштабируется при инференсе — там, где brute-force упирается в стену, иерархический поиск продолжает улучшаться с ростом бюджета.

https://arxiv.org/abs/2603.03756