Nvidia выпустила Nemotron 3 Super — открытую гибридную модель для агентного ИИ
120 миллиардов параметров суммарно, но только 12B активных — это ключевая фишка новой модели. Nemotron 3 Super создана специально для многоагентных систем, где обычные LLM буквально «тонут» в контексте и дорого обходятся при каждом шаге.
Что внутри: гибридная архитектура Mamba-Transformer + MoE, контекстное окно 1 миллион токенов, нативное обучение в формате NVFP4 для чипов Blackwell. Скорость — в 5 раз выше предыдущего Nemotron Super, память и вычисления эффективнее в 4 раза.
Почему важно: агентные системы генерируют в 15 раз больше токенов, чем обычный чат. Super решает два главных боли — «взрыв контекста» и «налог на мышление», когда мощная модель тратится на каждую мелкую подзадачу.
Модель полностью открытая: веса, датасеты и рецепты доступны всем. Доступна на build.nvidia.com.
https://developer.nvidia.com/blog/introducing-nemotron-3-super-an-open-hybrid-mamba-transformer-moe-for-agentic-reasoning/
120 миллиардов параметров суммарно, но только 12B активных — это ключевая фишка новой модели. Nemotron 3 Super создана специально для многоагентных систем, где обычные LLM буквально «тонут» в контексте и дорого обходятся при каждом шаге.
Что внутри: гибридная архитектура Mamba-Transformer + MoE, контекстное окно 1 миллион токенов, нативное обучение в формате NVFP4 для чипов Blackwell. Скорость — в 5 раз выше предыдущего Nemotron Super, память и вычисления эффективнее в 4 раза.
Почему важно: агентные системы генерируют в 15 раз больше токенов, чем обычный чат. Super решает два главных боли — «взрыв контекста» и «налог на мышление», когда мощная модель тратится на каждую мелкую подзадачу.
Модель полностью открытая: веса, датасеты и рецепты доступны всем. Доступна на build.nvidia.com.
https://developer.nvidia.com/blog/introducing-nemotron-3-super-an-open-hybrid-mamba-transformer-moe-for-agentic-reasoning/
NVIDIA Technical Blog
Introducing Nemotron 3 Super: An Open Hybrid Mamba-Transformer MoE for Agentic Reasoning
Agentic AI systems need models with the specialized depth to solve dense technical problems autonomously. They must excel at reasoning, coding, and long-context analysis…
Apple ML выпустила Multilingual Reasoning Gym — набор задач для обучения и оценки ИИ на 14 языках.
Это расширение популярного Reasoning Gym: исследователи перевели шаблоны 94 задач с валидацией от носителей языка в 10 из них. Задачи генерируются процедурно — то есть их количество практически неограничено, а сложность можно регулировать.
Главная фишка: задачи параллельны между языками. Это позволяет создавать огромные мультиязычные датасеты и обучать модели рассуждать не только по-английски. Набор совместим с методом обучения через подкрепление на верифицируемых наградах (RLVR) — тем самым, что стоит за успехами моделей вроде DeepSeek-R1.
Почему важно: большинство reasoning-моделей обучают на английском, а их качество на других языках резко падает. Этот инструмент даёт инфраструктуру для исправления этого перекоса. Код открыт на GitHub.
https://machinelearning.apple.com/research/multilingual-reasoning-gym
Это расширение популярного Reasoning Gym: исследователи перевели шаблоны 94 задач с валидацией от носителей языка в 10 из них. Задачи генерируются процедурно — то есть их количество практически неограничено, а сложность можно регулировать.
Главная фишка: задачи параллельны между языками. Это позволяет создавать огромные мультиязычные датасеты и обучать модели рассуждать не только по-английски. Набор совместим с методом обучения через подкрепление на верифицируемых наградах (RLVR) — тем самым, что стоит за успехами моделей вроде DeepSeek-R1.
Почему важно: большинство reasoning-моделей обучают на английском, а их качество на других языках резко падает. Этот инструмент даёт инфраструктуру для исправления этого перекоса. Код открыт на GitHub.
https://machinelearning.apple.com/research/multilingual-reasoning-gym
Apple Machine Learning Research
Multilingual Reasoning Gym: Multilingual Scaling of Procedural Reasoning Environments
We present the Multilingual Reasoning Gym, an extension of Reasoning Gym (Stojanovski et al., 2025), that procedurally generates verifiable…
RubiCap: как научить модель писать подписи к картинкам лучше, чем GPT-4V (by Apple)
Главная проблема применения RL к описанию изображений — нет надёжного верификатора. CIDEr/ROUGE меряют n-граммы, а не смысл. VLM-as-a-Judge даёт один мутный скаляр.
Авторы придумали RubiCap: вместо скалярной оценки — набор рубрик, специфичных для каждого изображения. Схема такая: комитет из K разных VLM генерирует кандидатные подписи → LLM-писатель рубрик находит консенсус и диагностирует слабости студента → превращает это в конкретные проверяемые правила (есть ли объект X? правильный ли атрибут? корректны ли пространственные отношения?) → LLM-судья применяет рубрики и даёт структурированный reward для RL.
Результат: 7B-модель обходит 32B и 72B фронтиры в слепом ранжировании, меньше галлюцинирует, а 3B-модель работает лучше, чем GPT-4V как источник данных для pretraining VLM.
https://arxiv.org/abs/2603.09160
Главная проблема применения RL к описанию изображений — нет надёжного верификатора. CIDEr/ROUGE меряют n-граммы, а не смысл. VLM-as-a-Judge даёт один мутный скаляр.
Авторы придумали RubiCap: вместо скалярной оценки — набор рубрик, специфичных для каждого изображения. Схема такая: комитет из K разных VLM генерирует кандидатные подписи → LLM-писатель рубрик находит консенсус и диагностирует слабости студента → превращает это в конкретные проверяемые правила (есть ли объект X? правильный ли атрибут? корректны ли пространственные отношения?) → LLM-судья применяет рубрики и даёт структурированный reward для RL.
Результат: 7B-модель обходит 32B и 72B фронтиры в слепом ранжировании, меньше галлюцинирует, а 3B-модель работает лучше, чем GPT-4V как источник данных для pretraining VLM.
https://arxiv.org/abs/2603.09160
ShotVerse: Plan-then-Control для кино из текста (by Tencent)
Хочешь снять многоплановую сцену, просто написав "камера плавно панорамирует влево, затем зум на героя"? Звучит просто, но на деле — два отдельных ада: как автоматически спланировать кинематографические траектории камеры, и как потом видеомодель их точно выполнит?
ShotVerse решает это через "Plan-then-Control": сначала VLM (Qwen3-VL с LoRA) переводит текстовое описание в явные 3D-траектории камеры в едином глобальном координатном пространстве, а затем DiT-контроллер рендерит по этим траекториям видео с несколькими склейками.
Ключевая идея — обучение на тройках (Caption, Trajectory, Video), которые образуют единое распределение. Это позволяет оптимизировать планировщик и генератор раздельно, без нестабильности совместного обучения.
Отдельно собрали датасет ShotVerse-Bench из реальных съёмок с автоматической калибровкой траекторий разных планов в единую систему координат — первый такой датасет для multi-shot.
https://arxiv.org/abs/2603.11421
Хочешь снять многоплановую сцену, просто написав "камера плавно панорамирует влево, затем зум на героя"? Звучит просто, но на деле — два отдельных ада: как автоматически спланировать кинематографические траектории камеры, и как потом видеомодель их точно выполнит?
ShotVerse решает это через "Plan-then-Control": сначала VLM (Qwen3-VL с LoRA) переводит текстовое описание в явные 3D-траектории камеры в едином глобальном координатном пространстве, а затем DiT-контроллер рендерит по этим траекториям видео с несколькими склейками.
Ключевая идея — обучение на тройках (Caption, Trajectory, Video), которые образуют единое распределение. Это позволяет оптимизировать планировщик и генератор раздельно, без нестабильности совместного обучения.
Отдельно собрали датасет ShotVerse-Bench из реальных съёмок с автоматической калибровкой траекторий разных планов в единую систему координат — первый такой датасет для multi-shot.
https://arxiv.org/abs/2603.11421
Агент учится на своих ошибках — без переобучения
Мультимодальные агенты часто тупят: тратят кучу шагов на простые задачи или не могут скомпоновать инструменты для сложных. XSkill решает это через два потока знаний без дообучения модели.
Идея простая: агент прогоняет задачи несколько раз, а система извлекает из траекторий (1) Skills — структурированные воркфлоу и шаблоны инструментов для класса задач, и (2) Experiences — короткие инсайты уровня действий, привязанные к визуальному контексту и паттернам ошибок.
Ключевое отличие от похожих подходов — визуальная привязка. Прошлые методы работали только с текстовыми логами, а здесь знания заземлены в визуальном состоянии задачи.
При инференсе: задача декомпозируется на подзадачи, релевантные знания достаются по семантическому сходству, адаптируются под текущий визуальный контекст и инжектируются в промпт.
Результат: +2.58–6.71 Average@4 над базовыми агентами, до +11 на сложных сценариях, работает поверх разных backbone-моделей.
Мультимодальные агенты часто тупят: тратят кучу шагов на простые задачи или не могут скомпоновать инструменты для сложных. XSkill решает это через два потока знаний без дообучения модели.
Идея простая: агент прогоняет задачи несколько раз, а система извлекает из траекторий (1) Skills — структурированные воркфлоу и шаблоны инструментов для класса задач, и (2) Experiences — короткие инсайты уровня действий, привязанные к визуальному контексту и паттернам ошибок.
Ключевое отличие от похожих подходов — визуальная привязка. Прошлые методы работали только с текстовыми логами, а здесь знания заземлены в визуальном состоянии задачи.
При инференсе: задача декомпозируется на подзадачи, релевантные знания достаются по семантическому сходству, адаптируются под текущий визуальный контекст и инжектируются в промпт.
Результат: +2.58–6.71 Average@4 над базовыми агентами, до +11 на сложных сценариях, работает поверх разных backbone-моделей.
Редактируем текст прямо в картинке — теперь по-арабски и хинди тоже
Современные диффузионные модели умеют переставлять объекты и менять стиль, но стоит попросить их поменять текст внутри изображения — особенно на нелатинских языках — и начинается каша из смазанных букв и галлюцинаций.
WeEdit решает это тремя ходами: сначала VLM предсказывает позицию и содержание нового текста и рендерит glyph-изображение как пространственный prior для диффузии (SFT-стадия). Затем RL-стадия с многокомпонентной наградой выравнивает результат под читаемость, точность и сохранность фона. Всё это обучено на автоматически синтезированном датасете через HTML-пайплайн с поддержкой 15 языков.
Итог: среди open-source моделей — лучший результат, обходят большинство проприетарных, уступая только Gemini-3-Pro-Image.
https://arxiv.org/abs/2603.11593
Современные диффузионные модели умеют переставлять объекты и менять стиль, но стоит попросить их поменять текст внутри изображения — особенно на нелатинских языках — и начинается каша из смазанных букв и галлюцинаций.
WeEdit решает это тремя ходами: сначала VLM предсказывает позицию и содержание нового текста и рендерит glyph-изображение как пространственный prior для диффузии (SFT-стадия). Затем RL-стадия с многокомпонентной наградой выравнивает результат под читаемость, точность и сохранность фона. Всё это обучено на автоматически синтезированном датасете через HTML-пайплайн с поддержкой 15 языков.
Итог: среди open-source моделей — лучший результат, обходят большинство проприетарных, уступая только Gemini-3-Pro-Image.
https://arxiv.org/abs/2603.11593
Могут ли AI-редакторы изображений решать задачи уровня PhD?
Большинство бенчмарков для image editing проверяют, насколько точно модель следует простым инструкциям типа "сделай небо розовым". Авторы решили поднять планку и создали GRADE — первый бенчмарк, где модели нужно редактировать научные изображения, требующие реальных дисциплинарных знаний.
520 задач из 10 областей: математика, химия, физика, CS, биология, музыка, экономика и др. Примеры: нарисовать кратчайший путь в графе, добавить энантиомер молекулы, отметить новое рыночное равновесие на графике спроса.
Результаты жёсткие: лучшая open-source модель набрала всего 2.7%, тогда как лучшая закрытая — 46.2%. Огромный разрыв показывает, что дисциплинарное рассуждение при редактировании изображений — нерешённая задача даже для топовых моделей.
https://arxiv.org/abs/2603.12264
Большинство бенчмарков для image editing проверяют, насколько точно модель следует простым инструкциям типа "сделай небо розовым". Авторы решили поднять планку и создали GRADE — первый бенчмарк, где модели нужно редактировать научные изображения, требующие реальных дисциплинарных знаний.
520 задач из 10 областей: математика, химия, физика, CS, биология, музыка, экономика и др. Примеры: нарисовать кратчайший путь в графе, добавить энантиомер молекулы, отметить новое рыночное равновесие на графике спроса.
Результаты жёсткие: лучшая open-source модель набрала всего 2.7%, тогда как лучшая закрытая — 46.2%. Огромный разрыв показывает, что дисциплинарное рассуждение при редактировании изображений — нерешённая задача даже для топовых моделей.
https://arxiv.org/abs/2603.12264
Nvidia выпустила AI Cluster Runtime — открытый инструмент для стандартизации Kubernetes-кластеров под GPU-нагрузки.
Проблема знакома каждому ML-инженеру: настроил один кластер — потратил дни, чтобы повторить на другом. Обновил компонент — сломалось что-то ещё. Переехал в другое облако — начинай заново.
AI Cluster Runtime решает это через «рецепты» — версионированные YAML-файлы с точными версиями компонентов, порядком деплоя и проверенными настройками для конкретного железа (H100, Blackwell) и окружения (EKS, Ubuntu).
Что умеет инструмент: снять снапшот текущего кластера, сгенерировать рецепт под нужное окружение, провалидировать деплой по стандартам CNCF и собрать готовые Helm-чарты.
Проект открытый, принимает контрибьюции от облачных провайдеров и команд. Доступен на GitHub как альфа-релиз.
https://developer.nvidia.com/blog/validate-kubernetes-for-gpu-infrastructure-with-layered-reproducible-recipes/
Проблема знакома каждому ML-инженеру: настроил один кластер — потратил дни, чтобы повторить на другом. Обновил компонент — сломалось что-то ещё. Переехал в другое облако — начинай заново.
AI Cluster Runtime решает это через «рецепты» — версионированные YAML-файлы с точными версиями компонентов, порядком деплоя и проверенными настройками для конкретного железа (H100, Blackwell) и окружения (EKS, Ubuntu).
Что умеет инструмент: снять снапшот текущего кластера, сгенерировать рецепт под нужное окружение, провалидировать деплой по стандартам CNCF и собрать готовые Helm-чарты.
Проект открытый, принимает контрибьюции от облачных провайдеров и команд. Доступен на GitHub как альфа-релиз.
https://developer.nvidia.com/blog/validate-kubernetes-for-gpu-infrastructure-with-layered-reproducible-recipes/
NVIDIA Technical Blog
Validate Kubernetes for GPU Infrastructure with Layered, Reproducible Recipes
Every AI cluster running on Kubernetes requires a full software stack that works together, from low-level driver and kernel settings to high-level operator and workload configurations.
Apple ML выпустила mAceReason-Math — датасет для многоязычного обучения математических моделей через RLVR.
Проблема была простой: почти все датасеты для обучения ИИ решению математических задач — на английском. Существующие многоязычные наборы данных либо устарели, либо слишком простые для современных моделей.
Apple ML перевела сложные задачи из корпуса AceReason-Math на 14 языков, тщательно почистила переводы и собрала более 10 000 примеров на каждый язык. Датасет открыт для исследователей.
Почему это важно: RLVR — один из ключевых методов прокачки LLM в математике и логике. Теперь его можно применять не только к англоязычным моделям. Это шаг к тому, чтобы сильные математические рассуждения работали на русском, китайском и других языках так же хорошо, как на английском.
https://machinelearning.apple.com/research/macereason-math
Проблема была простой: почти все датасеты для обучения ИИ решению математических задач — на английском. Существующие многоязычные наборы данных либо устарели, либо слишком простые для современных моделей.
Apple ML перевела сложные задачи из корпуса AceReason-Math на 14 языков, тщательно почистила переводы и собрала более 10 000 примеров на каждый язык. Датасет открыт для исследователей.
Почему это важно: RLVR — один из ключевых методов прокачки LLM в математике и логике. Теперь его можно применять не только к англоязычным моделям. Это шаг к тому, чтобы сильные математические рассуждения работали на русском, китайском и других языках так же хорошо, как на английском.
https://machinelearning.apple.com/research/macereason-math
Apple Machine Learning Research
mAceReason-Math: A Dataset of High-Quality Multilingual Math Problems Ready For RLVR
Reinforcement Learning with Verifiable Rewards (RLVR) has been successfully applied to significantly boost the capabilities of pretrained…
PyTorch: MXFP8 ускоряет обучение MoE-моделей на 30%
Команда PyTorch показала впечатляющий результат: обучение Llama4 Scout с использованием MXFP8 стало на 30,2% быстрее по сравнению с BF16 — при этом качество сходимости не пострадало.
Эксперименты проводились на кластере из 256 GPU NVIDIA GB200. Скорость выросла с 5317 до 6921 токенов/сек. Ключевой инструмент — новый примитив _to_mxfp8_then_scaled_grouped_mm в TorchAO, который работает в 1,8 раза быстрее BF16 для матричных умножений в MoE-слоях.
Почему это важно: MoE-архитектуры (как в Llama4) активируют только часть параметров, и оптимизация именно этих вычислений даёт максимальный эффект. MXFP8 позволяет вдвое увеличить пропускную способность тензорных ядер.
Для воспроизведения достаточно TorchTitan + TorchAO — конфиги и документация уже доступны.
https://pytorch.org/blog/mxfp8-training-for-moes-1-3x-training-speedup-vs-bf16-for-llama4-scout-on-gb200-cluster-using-torchao-and-torchtitan/
Команда PyTorch показала впечатляющий результат: обучение Llama4 Scout с использованием MXFP8 стало на 30,2% быстрее по сравнению с BF16 — при этом качество сходимости не пострадало.
Эксперименты проводились на кластере из 256 GPU NVIDIA GB200. Скорость выросла с 5317 до 6921 токенов/сек. Ключевой инструмент — новый примитив _to_mxfp8_then_scaled_grouped_mm в TorchAO, который работает в 1,8 раза быстрее BF16 для матричных умножений в MoE-слоях.
Почему это важно: MoE-архитектуры (как в Llama4) активируют только часть параметров, и оптимизация именно этих вычислений даёт максимальный эффект. MXFP8 позволяет вдвое увеличить пропускную способность тензорных ядер.
Для воспроизведения достаточно TorchTitan + TorchAO — конфиги и документация уже доступны.
https://pytorch.org/blog/mxfp8-training-for-moes-1-3x-training-speedup-vs-bf16-for-llama4-scout-on-gb200-cluster-using-torchao-and-torchtitan/
Демис Хассабис (DeepMind) поделился очередным крутым применением AlphaFold — их революционной системы предсказания структуры белков. По его словам, это лишь начало эпохи "цифровой биологии".
AlphaFold уже перевернул науку, предсказав структуры сотен миллионов белков — задачу, над которой биологи бились десятилетиями. Теперь исследователи по всему миру используют эти данные для разработки лекарств, изучения болезней и создания новых материалов. Хассабис явно намекает: самое интересное впереди.
https://x.com/demishassabis/status/2033010713413754987
AlphaFold уже перевернул науку, предсказав структуры сотен миллионов белков — задачу, над которой биологи бились десятилетиями. Теперь исследователи по всему миру используют эти данные для разработки лекарств, изучения болезней и создания новых материалов. Хассабис явно намекает: самое интересное впереди.
https://x.com/demishassabis/status/2033010713413754987
X (formerly Twitter)
Demis Hassabis (@demishassabis) on X
Cool use case of AlphaFold, this is just the beginning of digital biology!
Создать 45 тысяч сред для обучения SWE-агентов? Дорого, но окупается.
Главная боль при обучении агентов для автоматического решения GitHub-issue — нехватка качественных исполняемых сред. Их создание стоит огромных денег и вычислительных ресурсов.
Авторы выпустили OpenSWE: 45 320 Docker-окружений из 12.8k репозиториев, потратив $891K на сборку и ещё $576K на отбор траекторий. Всё полностью открыто: Dockerfile'ы, скрипты оценки, пайплайн на 64 нодах.
Ключевая идея — не просто масштаб, а difficulty-aware фильтрация. Среды бывают бесполезны по двум причинам: PR не решает issue (misalignment) или issue напрямую подсказывает решение (triviality). Авторы отсеивают и то, и другое, оставляя ~9k сред с нужным уровнем сложности.
Результат: модели на Qwen2.5 достигают 62.4% (32B) и 66.0% (72B) на SWE-Bench Verified — SOTA среди SFT-методов. Бонус: +12 пунктов на математических бенчмарках без деградации.
https://arxiv.org/abs/2603.13023
Главная боль при обучении агентов для автоматического решения GitHub-issue — нехватка качественных исполняемых сред. Их создание стоит огромных денег и вычислительных ресурсов.
Авторы выпустили OpenSWE: 45 320 Docker-окружений из 12.8k репозиториев, потратив $891K на сборку и ещё $576K на отбор траекторий. Всё полностью открыто: Dockerfile'ы, скрипты оценки, пайплайн на 64 нодах.
Ключевая идея — не просто масштаб, а difficulty-aware фильтрация. Среды бывают бесполезны по двум причинам: PR не решает issue (misalignment) или issue напрямую подсказывает решение (triviality). Авторы отсеивают и то, и другое, оставляя ~9k сред с нужным уровнем сложности.
Результат: модели на Qwen2.5 достигают 62.4% (32B) и 66.0% (72B) на SWE-Bench Verified — SOTA среди SFT-методов. Бонус: +12 пунктов на математических бенчмарках без деградации.
https://arxiv.org/abs/2603.13023
Как понять, умеет ли embedding-модель по-настоящему "помнить"?
Существующие бенчмарки для эмбеддингов (MTEB и подобные) тестируют поиск по хорошо структурированным текстам. Но в агентных системах и AI-ассистентах всё иначе: нужно вспоминать фрагментарные, контекстно-зависимые воспоминания из далёкого прошлого.
Авторы из KaLM-Embedding предложили LMEB — новый бенчмарк специально для long-horizon memory retrieval. Он охватывает 4 типа памяти: эпизодическую (события с временными метками), диалоговую (многоходовые разговоры), семантическую (факты и знания) и процедурную (навыки и последовательности действий). Итого: 22 датасета, 193 задачи.
Ключевые находки после тестирования 15 моделей: больший размер модели не гарантирует лучший результат, а LMEB и MTEB практически ортогональны (корреляция близка к нулю) — то есть хорошо искать по пассажам и хорошо "помнить" это разные навыки.
https://arxiv.org/abs/2603.12572
Существующие бенчмарки для эмбеддингов (MTEB и подобные) тестируют поиск по хорошо структурированным текстам. Но в агентных системах и AI-ассистентах всё иначе: нужно вспоминать фрагментарные, контекстно-зависимые воспоминания из далёкого прошлого.
Авторы из KaLM-Embedding предложили LMEB — новый бенчмарк специально для long-horizon memory retrieval. Он охватывает 4 типа памяти: эпизодическую (события с временными метками), диалоговую (многоходовые разговоры), семантическую (факты и знания) и процедурную (навыки и последовательности действий). Итого: 22 датасета, 193 задачи.
Ключевые находки после тестирования 15 моделей: больший размер модели не гарантирует лучший результат, а LMEB и MTEB практически ортогональны (корреляция близка к нулю) — то есть хорошо искать по пассажам и хорошо "помнить" это разные навыки.
https://arxiv.org/abs/2603.12572
Как рисовать картину: сначала набросок, потом детали — и это работает в мультимодальных LLM
Главная проблема объединённых моделей (понимание + генерация изображений) — конфликт между семантическими фичами для понимания и детализированными латентами для генерации. Одно мешает другому.
CHEERS решает это через явное разделение: сначала LLM работает только с семантическими токенами (SigLIP2 поверх VAE-латентов), а высокочастотные детали вводятся позже, на этапе генерации через cascaded flow matching head с двумя стадиями.
Стадия 1: генерируем низкочастотную семантику на малом разрешении. Стадия 2: адаптивно подмешиваем высокочастотные детали через gating-сеть. Причём интенсивность инъекции деталей сама регулируется в зависимости от шага диффузии — без явного supervision.
Бонус: 4x сжатие токенов через Pixel-Unshuffle. Модель обгоняет конкурентов при 20% от их вычислительных затрат.
https://arxiv.org/abs/2603.12793
Главная проблема объединённых моделей (понимание + генерация изображений) — конфликт между семантическими фичами для понимания и детализированными латентами для генерации. Одно мешает другому.
CHEERS решает это через явное разделение: сначала LLM работает только с семантическими токенами (SigLIP2 поверх VAE-латентов), а высокочастотные детали вводятся позже, на этапе генерации через cascaded flow matching head с двумя стадиями.
Стадия 1: генерируем низкочастотную семантику на малом разрешении. Стадия 2: адаптивно подмешиваем высокочастотные детали через gating-сеть. Причём интенсивность инъекции деталей сама регулируется в зависимости от шага диффузии — без явного supervision.
Бонус: 4x сжатие токенов через Pixel-Unshuffle. Модель обгоняет конкурентов при 20% от их вычислительных затрат.
https://arxiv.org/abs/2603.12793
CREATE: тест на ассоциативную креативность LLM (by NYU)
Насколько креативны языковые модели? Не в смысле "напиши стихотворение", а по-настоящему: могут ли они находить неочевидные, но меткие связи между реальными концептами?
Авторы из NYU предложили бенчмарк CREATE. Задача: найти нетривиальные пути между сущностями через граф знаний. Например, как Дакота Джонсон связана с актёрами фэнтези? Через Криса Эванса (снимались вместе) или через Антонио Бандераса (её отчим, снимался в Шреке). Оба пути верны, но второй — куда интереснее.
Метрика оценивает сразу качество и разнообразность найденных путей. Frontier-модели справляются неплохо, но проваливаются на distinctive решениях — тех, что реально выбиваются из общей массы ответов.
Главный сюрприз: больше токенов на рассуждение ≠ больше креативности. Модели просто топчутся в одном углу концептуального пространства.
https://arxiv.org/abs/2603.09970
Насколько креативны языковые модели? Не в смысле "напиши стихотворение", а по-настоящему: могут ли они находить неочевидные, но меткие связи между реальными концептами?
Авторы из NYU предложили бенчмарк CREATE. Задача: найти нетривиальные пути между сущностями через граф знаний. Например, как Дакота Джонсон связана с актёрами фэнтези? Через Криса Эванса (снимались вместе) или через Антонио Бандераса (её отчим, снимался в Шреке). Оба пути верны, но второй — куда интереснее.
Метрика оценивает сразу качество и разнообразность найденных путей. Frontier-модели справляются неплохо, но проваливаются на distinctive решениях — тех, что реально выбиваются из общей массы ответов.
Главный сюрприз: больше токенов на рассуждение ≠ больше креативности. Модели просто топчутся в одном углу концептуального пространства.
https://arxiv.org/abs/2603.09970
Зачем тратить одинаковое число токенов на скучные и динамичные кадры?
EVATok — адаптивный видеотокенизатор, который умно распределяет токены по временным блокам видео: статичным и повторяющимся сценам — меньше токенов, динамичным и сложным — больше.
Как это работает? Четыре стадии:
1. Обучается proxy-токенизатор, способный реконструировать видео при любом распределении токенов
2. С его помощью для каждого видео ищется оптимальное распределение (максимум proxy reward — метрики quality-cost)
3. Обучается лёгкий роутер, который быстро предсказывает оптимальное распределение
4. Финальный адаптивный токенизатор обучается уже с предсказаниями роутера
Результат: при сопоставимом или лучшем качестве — экономия токенов от 24% и выше по сравнению с фиксированными токенизаторами. Подход от HKU, работает поверх Q-Former архитектуры.
https://arxiv.org/abs/2603.12267
EVATok — адаптивный видеотокенизатор, который умно распределяет токены по временным блокам видео: статичным и повторяющимся сценам — меньше токенов, динамичным и сложным — больше.
Как это работает? Четыре стадии:
1. Обучается proxy-токенизатор, способный реконструировать видео при любом распределении токенов
2. С его помощью для каждого видео ищется оптимальное распределение (максимум proxy reward — метрики quality-cost)
3. Обучается лёгкий роутер, который быстро предсказывает оптимальное распределение
4. Финальный адаптивный токенизатор обучается уже с предсказаниями роутера
Результат: при сопоставимом или лучшем качестве — экономия токенов от 24% и выше по сравнению с фиксированными токенизаторами. Подход от HKU, работает поверх Q-Former архитектуры.
https://arxiv.org/abs/2603.12267
PyTorch выпустил ExecuTorch для голосовых агентов на устройствах
PyTorch представил расширение ExecuTorch — платформы для запуска голосовых AI-моделей прямо на устройстве, без облака и Python-рантайма.
Что внутри: поддержка пяти моделей — Voxtral Realtime (стриминг-транскрипция, 4B), Parakeet TDT (офлайн-распознавание), Sortformer (диаризация), Whisper и Silero VAD. Работает на CPU, GPU и NPU под Linux, macOS, Windows, Android и iOS.
Главная фишка — модели экспортируются напрямую из PyTorch-кода без переписывания на C++. Один экспорт — любой бэкенд: XNNPACK, Metal, CUDA или Qualcomm. Int4-квантизация сжимает модели в 3-4 раза.
LM Studio уже использует ExecuTorch в продакшне для голосовой транскрипции.
Для разработчиков доступны готовые C++ application layers и мобильные приложения как стартовая точка.
https://pytorch.org/blog/building-voice-agents-with-executorch-a-cross-platform-foundation-for-on-device-audio/
PyTorch представил расширение ExecuTorch — платформы для запуска голосовых AI-моделей прямо на устройстве, без облака и Python-рантайма.
Что внутри: поддержка пяти моделей — Voxtral Realtime (стриминг-транскрипция, 4B), Parakeet TDT (офлайн-распознавание), Sortformer (диаризация), Whisper и Silero VAD. Работает на CPU, GPU и NPU под Linux, macOS, Windows, Android и iOS.
Главная фишка — модели экспортируются напрямую из PyTorch-кода без переписывания на C++. Один экспорт — любой бэкенд: XNNPACK, Metal, CUDA или Qualcomm. Int4-квантизация сжимает модели в 3-4 раза.
LM Studio уже использует ExecuTorch в продакшне для голосовой транскрипции.
Для разработчиков доступны готовые C++ application layers и мобильные приложения как стартовая точка.
https://pytorch.org/blog/building-voice-agents-with-executorch-a-cross-platform-foundation-for-on-device-audio/
Первый полностью открытый поисковый агент от академиков, который бьёт корпоративные модели
Год назад топовые LLM набирали меньше 10 баллов на BrowseComp. Сегодня — уже десятки агентов переваливают за 50. Но весь прогресс закрыт: Google, OpenAI, Kimi молчат о своих данных. Академики из OpenSeeker решили сломать эту монополию.
Ключевые идеи:
1. QA-синтез через веб-граф: берут случайные страницы, строят граф связей, извлекают сущности и намеренно "замутняют" их — получают сложные многошаговые вопросы, которые нельзя решить поверхностным паттерн-матчингом.
2. Denoised trajectory synthesis: при генерации траекторий вспомогательный LLM "чистит" историю инструментов для учителя, но модель обучается на сырых, зашумлённых данных — учится сама фильтровать шум.
Результат: Qwen3-30B с SFT на 11.7k примерах набирает 29.5% на BrowseComp и 48.4% на BrowseComp-ZH — обходя Alibaba Tongyi DeepResearch (46.7%), обученный с RL. Всё открыто: данные, траектории, веса.
https://arxiv.org/abs/2603.15594
Год назад топовые LLM набирали меньше 10 баллов на BrowseComp. Сегодня — уже десятки агентов переваливают за 50. Но весь прогресс закрыт: Google, OpenAI, Kimi молчат о своих данных. Академики из OpenSeeker решили сломать эту монополию.
Ключевые идеи:
1. QA-синтез через веб-граф: берут случайные страницы, строят граф связей, извлекают сущности и намеренно "замутняют" их — получают сложные многошаговые вопросы, которые нельзя решить поверхностным паттерн-матчингом.
2. Denoised trajectory synthesis: при генерации траекторий вспомогательный LLM "чистит" историю инструментов для учителя, но модель обучается на сырых, зашумлённых данных — учится сама фильтровать шум.
Результат: Qwen3-30B с SFT на 11.7k примерах набирает 29.5% на BrowseComp и 48.4% на BrowseComp-ZH — обходя Alibaba Tongyi DeepResearch (46.7%), обученный с RL. Всё открыто: данные, траектории, веса.
https://arxiv.org/abs/2603.15594
World model для реального города — это уже не фантастика (by NAVER AI Lab)
Что если бы симулятор мира работал не в воображаемом пространстве, а в реальном городе? NAVER AI Lab сделали именно это: Seoul World Model (SWM) генерирует видео на километры вперёд, привязанное к реальной карте Сеула.
Ключевая идея — retrieval-augmented generation: по GPS-координатам и траектории камеры модель достаёт реальные стрит-вью фотографии и использует их как визуальные якоря при генерации.
Три главные проблемы и решения:
1. Временное рассогласование → cross-temporal pairing (референсы из другого времени, чтобы модель не копировала случайных пешеходов)
2. Редкие кадры стрит-вью → интерполяция через видеодиффузию между ключевыми кадрами
3. Дрейф при долгой генерации → virtual lookahead sink: вставка будущего референса как "виртуальной цели" впереди по маршруту
Модель обобщается на Пусан и Энн-Арбор без дообучения. Можно попросить: "поджечь машину" или "добавить Годзиллу между небоскрёбами".
https://arxiv.org/abs/2603.15583
Что если бы симулятор мира работал не в воображаемом пространстве, а в реальном городе? NAVER AI Lab сделали именно это: Seoul World Model (SWM) генерирует видео на километры вперёд, привязанное к реальной карте Сеула.
Ключевая идея — retrieval-augmented generation: по GPS-координатам и траектории камеры модель достаёт реальные стрит-вью фотографии и использует их как визуальные якоря при генерации.
Три главные проблемы и решения:
1. Временное рассогласование → cross-temporal pairing (референсы из другого времени, чтобы модель не копировала случайных пешеходов)
2. Редкие кадры стрит-вью → интерполяция через видеодиффузию между ключевыми кадрами
3. Дрейф при долгой генерации → virtual lookahead sink: вставка будущего референса как "виртуальной цели" впереди по маршруту
Модель обобщается на Пусан и Энн-Арбор без дообучения. Можно попросить: "поджечь машину" или "добавить Годзиллу между небоскрёбами".
https://arxiv.org/abs/2603.15583
Топовые VLM не могут отследить мячик под стаканчиком (by NUS)
Помните игру в напёрсток? Оказывается, это непосильная задача для современных видео-моделей. Авторы из NUS проверили: Gemini-3-Pro, GPT-4o и другие топовые VLM справляются с задачей отслеживания объекта не лучше случайного угадывания (33%).
Хитрость в том, что существующие бенчмарки содержат "читы" — различимые стаканчики или прозрачные чашки, по которым модель угадывает ответ по одному кадру без реального трекинга. Авторы создали VET-Bench с визуально идентичными объектами, где единственный способ решить задачу — отследить движение во времени.
Результат: все модели падают до случайного уровня. Теоретически доказано, что задача NC1-complete, то есть трансформеры фиксированной глубины принципиально ограничены без промежуточных вычислений.
Решение — SGCoT (Spatiotemporal Grounded Chain-of-Thought): модель явно генерирует траектории объектов как цепочку рассуждений. Итог: 91% точности против 34% у лучшей базовой модели.
Помните игру в напёрсток? Оказывается, это непосильная задача для современных видео-моделей. Авторы из NUS проверили: Gemini-3-Pro, GPT-4o и другие топовые VLM справляются с задачей отслеживания объекта не лучше случайного угадывания (33%).
Хитрость в том, что существующие бенчмарки содержат "читы" — различимые стаканчики или прозрачные чашки, по которым модель угадывает ответ по одному кадру без реального трекинга. Авторы создали VET-Bench с визуально идентичными объектами, где единственный способ решить задачу — отследить движение во времени.
Результат: все модели падают до случайного уровня. Теоретически доказано, что задача NC1-complete, то есть трансформеры фиксированной глубины принципиально ограничены без промежуточных вычислений.
Решение — SGCoT (Spatiotemporal Grounded Chain-of-Thought): модель явно генерирует траектории объектов как цепочку рассуждений. Итог: 91% точности против 34% у лучшей базовой модели.
AI учится чувствовать "научный вкус" — что стоит исследовать, а что нет
Умение выбирать перспективные направления в науке — это то, что отличает великих учёных. Можно ли этому научить AI?
Авторы из OpenMOSS предлагают RLCF (Reinforcement Learning from Community Feedback): вместо отзывов людей используют цитирования как сигнал "вкуса" научного сообщества. Собрали 700K пар абстрактов из одной области и эпохи, где один из них цитируется больше — это и есть предпочтение.
Обучили два агента:
Scientific Judge — оценивает пары статей и предсказывает, какая наберёт больше цитат (обгоняет GPT-4.5 и Gemini 3 Pro)
Scientific Thinker — по статье предлагает перспективную идею для продолжения, используя Judge как reward model
Ключевой результат: Judge обобщается на будущие годы и незнакомые области — значит, он уловил что-то реальное, а не просто запомнил паттерны.
Вывод авторов: научный вкус — не мистическая черта гениев, а обучаемый навык.
https://arxiv.org/abs/2603.14473
Умение выбирать перспективные направления в науке — это то, что отличает великих учёных. Можно ли этому научить AI?
Авторы из OpenMOSS предлагают RLCF (Reinforcement Learning from Community Feedback): вместо отзывов людей используют цитирования как сигнал "вкуса" научного сообщества. Собрали 700K пар абстрактов из одной области и эпохи, где один из них цитируется больше — это и есть предпочтение.
Обучили два агента:
Scientific Judge — оценивает пары статей и предсказывает, какая наберёт больше цитат (обгоняет GPT-4.5 и Gemini 3 Pro)
Scientific Thinker — по статье предлагает перспективную идею для продолжения, используя Judge как reward model
Ключевой результат: Judge обобщается на будущие годы и незнакомые области — значит, он уловил что-то реальное, а не просто запомнил паттерны.
Вывод авторов: научный вкус — не мистическая черта гениев, а обучаемый навык.
https://arxiv.org/abs/2603.14473
👍2