IndexCache: как убрать 75% вычислений в sparse attention (by Z.ai)
Соседние слои трансформера выбирают почти одинаковые токены — зачем тогда каждый слой считает это заново?
В DeepSeek Sparse Attention есть лёгкий "indexer" — он для каждого слоя выбирает top-k нужных токенов из всей последовательности. Проблема: при длинных контекстах (200K токенов) этот indexer начинает занимать 80% времени prefill-стадии.
Авторы заметили: соседние слои совпадают по выбранным токенам на 70-100%. Значит, можно оставить indexer только в каждом 4-м слое, а остальные просто переиспользуют кэшированный результат.
Два варианта: без дообучения (greedy-поиск, какие слои оставить) и с дообучением (distillation-лосс, тогда хватает простого равномерного прореживания).
Результат на 30B модели: 1.82× ускорение prefill и 1.48× decode при 200K контексте без заметной потери качества. На 744B GLM-5 — минимум 1.3× ускорение.
https://arxiv.org/abs/2603.12201
Соседние слои трансформера выбирают почти одинаковые токены — зачем тогда каждый слой считает это заново?
В DeepSeek Sparse Attention есть лёгкий "indexer" — он для каждого слоя выбирает top-k нужных токенов из всей последовательности. Проблема: при длинных контекстах (200K токенов) этот indexer начинает занимать 80% времени prefill-стадии.
Авторы заметили: соседние слои совпадают по выбранным токенам на 70-100%. Значит, можно оставить indexer только в каждом 4-м слое, а остальные просто переиспользуют кэшированный результат.
Два варианта: без дообучения (greedy-поиск, какие слои оставить) и с дообучением (distillation-лосс, тогда хватает простого равномерного прореживания).
Результат на 30B модели: 1.82× ускорение prefill и 1.48× decode при 200K контексте без заметной потери качества. На 744B GLM-5 — минимум 1.3× ускорение.
https://arxiv.org/abs/2603.12201
DreamVideo-Omni: управляй движением каждого персонажа в видео (by Alibaba Tongyi Lab)
Хочешь сгенерировать видео, где конкретный мальчик гонится за мячом, а конкретная девочка играет с щенком — и всё это с контролем камеры? Существующие методы либо сохраняют внешность персонажей, либо управляют движением, но не вместе.
DreamVideo-Omni решает это двухэтапно:
Этап 1: обучают DiT-модель на триплетах ⟨Персонаж, Bounding Box, Траектория⟩. Специальные group/role embeddings явно привязывают сигналы движения к нужному персонажу, устраняя путаницу в сценах с несколькими людьми.
Этап 2: вместо стандартного reconstruction loss обучают Latent Identity Reward Model на базе видео-диффузии. Она оценивает сохранность личности с учётом динамики — и штрафует за "copy-paste" артефакты при больших движениях.
Бонус: модель сама научилась image-to-video без явного обучения этому.
https://arxiv.org/abs/2603.12257
Хочешь сгенерировать видео, где конкретный мальчик гонится за мячом, а конкретная девочка играет с щенком — и всё это с контролем камеры? Существующие методы либо сохраняют внешность персонажей, либо управляют движением, но не вместе.
DreamVideo-Omni решает это двухэтапно:
Этап 1: обучают DiT-модель на триплетах ⟨Персонаж, Bounding Box, Траектория⟩. Специальные group/role embeddings явно привязывают сигналы движения к нужному персонажу, устраняя путаницу в сценах с несколькими людьми.
Этап 2: вместо стандартного reconstruction loss обучают Latent Identity Reward Model на базе видео-диффузии. Она оценивает сохранность личности с учётом динамики — и штрафует за "copy-paste" артефакты при больших движениях.
Бонус: модель сама научилась image-to-video без явного обучения этому.
https://arxiv.org/abs/2603.12257
Reward hacking убивает RL для генерации изображений — вот как это починить (by SJTU VisionXLab)
Когда обучаешь диффузионную модель через RL, качество всего пайплайна упирается в одно: насколько хорош reward model. Проблема — обычные MLLM как судьи ужасны: галлюцинируют, игнорируют детали, не умеют в пространственное мышление.
Авторы предложили FIRM — систему для обучения специализированных reward моделей. Ключевые трюки:
Для редактирования: вместо прямой оценки "хорошо ли отредактировано?" — сначала описываем разницу между картинками текстом, потом уже оцениваем. Модели лучше описывают, чем судят.
Для генерации: LLM заранее составляет чеклист из промпта, и MLLM проверяет каждый пункт явно.
Так собрали датасеты FIRM-Edit-370K и FIRM-Gen-293K, обучили reward модели на Qwen3-VL-8B.
Плюс придумали стратегию "Base-and-Bonus" против reward hacking при балансировке нескольких наград одновременно.
https://arxiv.org/abs/2603.12247
Когда обучаешь диффузионную модель через RL, качество всего пайплайна упирается в одно: насколько хорош reward model. Проблема — обычные MLLM как судьи ужасны: галлюцинируют, игнорируют детали, не умеют в пространственное мышление.
Авторы предложили FIRM — систему для обучения специализированных reward моделей. Ключевые трюки:
Для редактирования: вместо прямой оценки "хорошо ли отредактировано?" — сначала описываем разницу между картинками текстом, потом уже оцениваем. Модели лучше описывают, чем судят.
Для генерации: LLM заранее составляет чеклист из промпта, и MLLM проверяет каждый пункт явно.
Так собрали датасеты FIRM-Edit-370K и FIRM-Gen-293K, обучили reward модели на Qwen3-VL-8B.
Плюс придумали стратегию "Base-and-Bonus" против reward hacking при балансировке нескольких наград одновременно.
https://arxiv.org/abs/2603.12247
Nvidia Tech обновила платформу Cosmos — набор фундаментальных моделей для обучения роботов и автономных автомобилей.
Вышли три новые версии. Cosmos Transfer 2.5 превращает 3D-симуляции в фотореалистичное видео с разным освещением и условиями среды — это дешевле и быстрее, чем собирать реальные данные. Cosmos Predict 2.5 генерирует правдоподобные сценарии будущего длиной до 30 секунд и даёт в 10 раз выше точность при дообучении на собственных данных. Cosmos Reason 2 — модель с цепочкой рассуждений, которая понимает движение объектов, определяет их координаты в 2D/3D и поддерживает контекст до 256К токенов.
Главная проблема физического ИИ — нехватка разнообразных обучающих данных. Cosmos решает её синтетической генерацией, снижая стоимость и риски реальных испытаний. Полезно разработчикам роботов и беспилотников, которые хотят быстрее переходить от симуляции к реальному миру.
https://developer.nvidia.com/blog/scale-synthetic-data-and-physical-ai-reasoning-with-nvidia-cosmos-world-foundation-models/
Вышли три новые версии. Cosmos Transfer 2.5 превращает 3D-симуляции в фотореалистичное видео с разным освещением и условиями среды — это дешевле и быстрее, чем собирать реальные данные. Cosmos Predict 2.5 генерирует правдоподобные сценарии будущего длиной до 30 секунд и даёт в 10 раз выше точность при дообучении на собственных данных. Cosmos Reason 2 — модель с цепочкой рассуждений, которая понимает движение объектов, определяет их координаты в 2D/3D и поддерживает контекст до 256К токенов.
Главная проблема физического ИИ — нехватка разнообразных обучающих данных. Cosmos решает её синтетической генерацией, снижая стоимость и риски реальных испытаний. Полезно разработчикам роботов и беспилотников, которые хотят быстрее переходить от симуляции к реальному миру.
https://developer.nvidia.com/blog/scale-synthetic-data-and-physical-ai-reasoning-with-nvidia-cosmos-world-foundation-models/
NVIDIA Technical Blog
Scale Synthetic Data and Physical AI Reasoning with NVIDIA Cosmos World Foundation Models
The next generation of AI-driven robots like humanoids and autonomous vehicles depends on high-fidelity, physics-aware training data. Without diverse and representative datasets, these systems don’t…
Nvidia выпустила Nemotron 3 Super — открытую гибридную модель для агентного ИИ
120 миллиардов параметров суммарно, но только 12B активных — это ключевая фишка новой модели. Nemotron 3 Super создана специально для многоагентных систем, где обычные LLM буквально «тонут» в контексте и дорого обходятся при каждом шаге.
Что внутри: гибридная архитектура Mamba-Transformer + MoE, контекстное окно 1 миллион токенов, нативное обучение в формате NVFP4 для чипов Blackwell. Скорость — в 5 раз выше предыдущего Nemotron Super, память и вычисления эффективнее в 4 раза.
Почему важно: агентные системы генерируют в 15 раз больше токенов, чем обычный чат. Super решает два главных боли — «взрыв контекста» и «налог на мышление», когда мощная модель тратится на каждую мелкую подзадачу.
Модель полностью открытая: веса, датасеты и рецепты доступны всем. Доступна на build.nvidia.com.
https://developer.nvidia.com/blog/introducing-nemotron-3-super-an-open-hybrid-mamba-transformer-moe-for-agentic-reasoning/
120 миллиардов параметров суммарно, но только 12B активных — это ключевая фишка новой модели. Nemotron 3 Super создана специально для многоагентных систем, где обычные LLM буквально «тонут» в контексте и дорого обходятся при каждом шаге.
Что внутри: гибридная архитектура Mamba-Transformer + MoE, контекстное окно 1 миллион токенов, нативное обучение в формате NVFP4 для чипов Blackwell. Скорость — в 5 раз выше предыдущего Nemotron Super, память и вычисления эффективнее в 4 раза.
Почему важно: агентные системы генерируют в 15 раз больше токенов, чем обычный чат. Super решает два главных боли — «взрыв контекста» и «налог на мышление», когда мощная модель тратится на каждую мелкую подзадачу.
Модель полностью открытая: веса, датасеты и рецепты доступны всем. Доступна на build.nvidia.com.
https://developer.nvidia.com/blog/introducing-nemotron-3-super-an-open-hybrid-mamba-transformer-moe-for-agentic-reasoning/
NVIDIA Technical Blog
Introducing Nemotron 3 Super: An Open Hybrid Mamba-Transformer MoE for Agentic Reasoning
Agentic AI systems need models with the specialized depth to solve dense technical problems autonomously. They must excel at reasoning, coding, and long-context analysis…
Apple ML выпустила Multilingual Reasoning Gym — набор задач для обучения и оценки ИИ на 14 языках.
Это расширение популярного Reasoning Gym: исследователи перевели шаблоны 94 задач с валидацией от носителей языка в 10 из них. Задачи генерируются процедурно — то есть их количество практически неограничено, а сложность можно регулировать.
Главная фишка: задачи параллельны между языками. Это позволяет создавать огромные мультиязычные датасеты и обучать модели рассуждать не только по-английски. Набор совместим с методом обучения через подкрепление на верифицируемых наградах (RLVR) — тем самым, что стоит за успехами моделей вроде DeepSeek-R1.
Почему важно: большинство reasoning-моделей обучают на английском, а их качество на других языках резко падает. Этот инструмент даёт инфраструктуру для исправления этого перекоса. Код открыт на GitHub.
https://machinelearning.apple.com/research/multilingual-reasoning-gym
Это расширение популярного Reasoning Gym: исследователи перевели шаблоны 94 задач с валидацией от носителей языка в 10 из них. Задачи генерируются процедурно — то есть их количество практически неограничено, а сложность можно регулировать.
Главная фишка: задачи параллельны между языками. Это позволяет создавать огромные мультиязычные датасеты и обучать модели рассуждать не только по-английски. Набор совместим с методом обучения через подкрепление на верифицируемых наградах (RLVR) — тем самым, что стоит за успехами моделей вроде DeepSeek-R1.
Почему важно: большинство reasoning-моделей обучают на английском, а их качество на других языках резко падает. Этот инструмент даёт инфраструктуру для исправления этого перекоса. Код открыт на GitHub.
https://machinelearning.apple.com/research/multilingual-reasoning-gym
Apple Machine Learning Research
Multilingual Reasoning Gym: Multilingual Scaling of Procedural Reasoning Environments
We present the Multilingual Reasoning Gym, an extension of Reasoning Gym (Stojanovski et al., 2025), that procedurally generates verifiable…
RubiCap: как научить модель писать подписи к картинкам лучше, чем GPT-4V (by Apple)
Главная проблема применения RL к описанию изображений — нет надёжного верификатора. CIDEr/ROUGE меряют n-граммы, а не смысл. VLM-as-a-Judge даёт один мутный скаляр.
Авторы придумали RubiCap: вместо скалярной оценки — набор рубрик, специфичных для каждого изображения. Схема такая: комитет из K разных VLM генерирует кандидатные подписи → LLM-писатель рубрик находит консенсус и диагностирует слабости студента → превращает это в конкретные проверяемые правила (есть ли объект X? правильный ли атрибут? корректны ли пространственные отношения?) → LLM-судья применяет рубрики и даёт структурированный reward для RL.
Результат: 7B-модель обходит 32B и 72B фронтиры в слепом ранжировании, меньше галлюцинирует, а 3B-модель работает лучше, чем GPT-4V как источник данных для pretraining VLM.
https://arxiv.org/abs/2603.09160
Главная проблема применения RL к описанию изображений — нет надёжного верификатора. CIDEr/ROUGE меряют n-граммы, а не смысл. VLM-as-a-Judge даёт один мутный скаляр.
Авторы придумали RubiCap: вместо скалярной оценки — набор рубрик, специфичных для каждого изображения. Схема такая: комитет из K разных VLM генерирует кандидатные подписи → LLM-писатель рубрик находит консенсус и диагностирует слабости студента → превращает это в конкретные проверяемые правила (есть ли объект X? правильный ли атрибут? корректны ли пространственные отношения?) → LLM-судья применяет рубрики и даёт структурированный reward для RL.
Результат: 7B-модель обходит 32B и 72B фронтиры в слепом ранжировании, меньше галлюцинирует, а 3B-модель работает лучше, чем GPT-4V как источник данных для pretraining VLM.
https://arxiv.org/abs/2603.09160
ShotVerse: Plan-then-Control для кино из текста (by Tencent)
Хочешь снять многоплановую сцену, просто написав "камера плавно панорамирует влево, затем зум на героя"? Звучит просто, но на деле — два отдельных ада: как автоматически спланировать кинематографические траектории камеры, и как потом видеомодель их точно выполнит?
ShotVerse решает это через "Plan-then-Control": сначала VLM (Qwen3-VL с LoRA) переводит текстовое описание в явные 3D-траектории камеры в едином глобальном координатном пространстве, а затем DiT-контроллер рендерит по этим траекториям видео с несколькими склейками.
Ключевая идея — обучение на тройках (Caption, Trajectory, Video), которые образуют единое распределение. Это позволяет оптимизировать планировщик и генератор раздельно, без нестабильности совместного обучения.
Отдельно собрали датасет ShotVerse-Bench из реальных съёмок с автоматической калибровкой траекторий разных планов в единую систему координат — первый такой датасет для multi-shot.
https://arxiv.org/abs/2603.11421
Хочешь снять многоплановую сцену, просто написав "камера плавно панорамирует влево, затем зум на героя"? Звучит просто, но на деле — два отдельных ада: как автоматически спланировать кинематографические траектории камеры, и как потом видеомодель их точно выполнит?
ShotVerse решает это через "Plan-then-Control": сначала VLM (Qwen3-VL с LoRA) переводит текстовое описание в явные 3D-траектории камеры в едином глобальном координатном пространстве, а затем DiT-контроллер рендерит по этим траекториям видео с несколькими склейками.
Ключевая идея — обучение на тройках (Caption, Trajectory, Video), которые образуют единое распределение. Это позволяет оптимизировать планировщик и генератор раздельно, без нестабильности совместного обучения.
Отдельно собрали датасет ShotVerse-Bench из реальных съёмок с автоматической калибровкой траекторий разных планов в единую систему координат — первый такой датасет для multi-shot.
https://arxiv.org/abs/2603.11421
Агент учится на своих ошибках — без переобучения
Мультимодальные агенты часто тупят: тратят кучу шагов на простые задачи или не могут скомпоновать инструменты для сложных. XSkill решает это через два потока знаний без дообучения модели.
Идея простая: агент прогоняет задачи несколько раз, а система извлекает из траекторий (1) Skills — структурированные воркфлоу и шаблоны инструментов для класса задач, и (2) Experiences — короткие инсайты уровня действий, привязанные к визуальному контексту и паттернам ошибок.
Ключевое отличие от похожих подходов — визуальная привязка. Прошлые методы работали только с текстовыми логами, а здесь знания заземлены в визуальном состоянии задачи.
При инференсе: задача декомпозируется на подзадачи, релевантные знания достаются по семантическому сходству, адаптируются под текущий визуальный контекст и инжектируются в промпт.
Результат: +2.58–6.71 Average@4 над базовыми агентами, до +11 на сложных сценариях, работает поверх разных backbone-моделей.
Мультимодальные агенты часто тупят: тратят кучу шагов на простые задачи или не могут скомпоновать инструменты для сложных. XSkill решает это через два потока знаний без дообучения модели.
Идея простая: агент прогоняет задачи несколько раз, а система извлекает из траекторий (1) Skills — структурированные воркфлоу и шаблоны инструментов для класса задач, и (2) Experiences — короткие инсайты уровня действий, привязанные к визуальному контексту и паттернам ошибок.
Ключевое отличие от похожих подходов — визуальная привязка. Прошлые методы работали только с текстовыми логами, а здесь знания заземлены в визуальном состоянии задачи.
При инференсе: задача декомпозируется на подзадачи, релевантные знания достаются по семантическому сходству, адаптируются под текущий визуальный контекст и инжектируются в промпт.
Результат: +2.58–6.71 Average@4 над базовыми агентами, до +11 на сложных сценариях, работает поверх разных backbone-моделей.
Редактируем текст прямо в картинке — теперь по-арабски и хинди тоже
Современные диффузионные модели умеют переставлять объекты и менять стиль, но стоит попросить их поменять текст внутри изображения — особенно на нелатинских языках — и начинается каша из смазанных букв и галлюцинаций.
WeEdit решает это тремя ходами: сначала VLM предсказывает позицию и содержание нового текста и рендерит glyph-изображение как пространственный prior для диффузии (SFT-стадия). Затем RL-стадия с многокомпонентной наградой выравнивает результат под читаемость, точность и сохранность фона. Всё это обучено на автоматически синтезированном датасете через HTML-пайплайн с поддержкой 15 языков.
Итог: среди open-source моделей — лучший результат, обходят большинство проприетарных, уступая только Gemini-3-Pro-Image.
https://arxiv.org/abs/2603.11593
Современные диффузионные модели умеют переставлять объекты и менять стиль, но стоит попросить их поменять текст внутри изображения — особенно на нелатинских языках — и начинается каша из смазанных букв и галлюцинаций.
WeEdit решает это тремя ходами: сначала VLM предсказывает позицию и содержание нового текста и рендерит glyph-изображение как пространственный prior для диффузии (SFT-стадия). Затем RL-стадия с многокомпонентной наградой выравнивает результат под читаемость, точность и сохранность фона. Всё это обучено на автоматически синтезированном датасете через HTML-пайплайн с поддержкой 15 языков.
Итог: среди open-source моделей — лучший результат, обходят большинство проприетарных, уступая только Gemini-3-Pro-Image.
https://arxiv.org/abs/2603.11593
Могут ли AI-редакторы изображений решать задачи уровня PhD?
Большинство бенчмарков для image editing проверяют, насколько точно модель следует простым инструкциям типа "сделай небо розовым". Авторы решили поднять планку и создали GRADE — первый бенчмарк, где модели нужно редактировать научные изображения, требующие реальных дисциплинарных знаний.
520 задач из 10 областей: математика, химия, физика, CS, биология, музыка, экономика и др. Примеры: нарисовать кратчайший путь в графе, добавить энантиомер молекулы, отметить новое рыночное равновесие на графике спроса.
Результаты жёсткие: лучшая open-source модель набрала всего 2.7%, тогда как лучшая закрытая — 46.2%. Огромный разрыв показывает, что дисциплинарное рассуждение при редактировании изображений — нерешённая задача даже для топовых моделей.
https://arxiv.org/abs/2603.12264
Большинство бенчмарков для image editing проверяют, насколько точно модель следует простым инструкциям типа "сделай небо розовым". Авторы решили поднять планку и создали GRADE — первый бенчмарк, где модели нужно редактировать научные изображения, требующие реальных дисциплинарных знаний.
520 задач из 10 областей: математика, химия, физика, CS, биология, музыка, экономика и др. Примеры: нарисовать кратчайший путь в графе, добавить энантиомер молекулы, отметить новое рыночное равновесие на графике спроса.
Результаты жёсткие: лучшая open-source модель набрала всего 2.7%, тогда как лучшая закрытая — 46.2%. Огромный разрыв показывает, что дисциплинарное рассуждение при редактировании изображений — нерешённая задача даже для топовых моделей.
https://arxiv.org/abs/2603.12264
Nvidia выпустила AI Cluster Runtime — открытый инструмент для стандартизации Kubernetes-кластеров под GPU-нагрузки.
Проблема знакома каждому ML-инженеру: настроил один кластер — потратил дни, чтобы повторить на другом. Обновил компонент — сломалось что-то ещё. Переехал в другое облако — начинай заново.
AI Cluster Runtime решает это через «рецепты» — версионированные YAML-файлы с точными версиями компонентов, порядком деплоя и проверенными настройками для конкретного железа (H100, Blackwell) и окружения (EKS, Ubuntu).
Что умеет инструмент: снять снапшот текущего кластера, сгенерировать рецепт под нужное окружение, провалидировать деплой по стандартам CNCF и собрать готовые Helm-чарты.
Проект открытый, принимает контрибьюции от облачных провайдеров и команд. Доступен на GitHub как альфа-релиз.
https://developer.nvidia.com/blog/validate-kubernetes-for-gpu-infrastructure-with-layered-reproducible-recipes/
Проблема знакома каждому ML-инженеру: настроил один кластер — потратил дни, чтобы повторить на другом. Обновил компонент — сломалось что-то ещё. Переехал в другое облако — начинай заново.
AI Cluster Runtime решает это через «рецепты» — версионированные YAML-файлы с точными версиями компонентов, порядком деплоя и проверенными настройками для конкретного железа (H100, Blackwell) и окружения (EKS, Ubuntu).
Что умеет инструмент: снять снапшот текущего кластера, сгенерировать рецепт под нужное окружение, провалидировать деплой по стандартам CNCF и собрать готовые Helm-чарты.
Проект открытый, принимает контрибьюции от облачных провайдеров и команд. Доступен на GitHub как альфа-релиз.
https://developer.nvidia.com/blog/validate-kubernetes-for-gpu-infrastructure-with-layered-reproducible-recipes/
NVIDIA Technical Blog
Validate Kubernetes for GPU Infrastructure with Layered, Reproducible Recipes
Every AI cluster running on Kubernetes requires a full software stack that works together, from low-level driver and kernel settings to high-level operator and workload configurations.
Apple ML выпустила mAceReason-Math — датасет для многоязычного обучения математических моделей через RLVR.
Проблема была простой: почти все датасеты для обучения ИИ решению математических задач — на английском. Существующие многоязычные наборы данных либо устарели, либо слишком простые для современных моделей.
Apple ML перевела сложные задачи из корпуса AceReason-Math на 14 языков, тщательно почистила переводы и собрала более 10 000 примеров на каждый язык. Датасет открыт для исследователей.
Почему это важно: RLVR — один из ключевых методов прокачки LLM в математике и логике. Теперь его можно применять не только к англоязычным моделям. Это шаг к тому, чтобы сильные математические рассуждения работали на русском, китайском и других языках так же хорошо, как на английском.
https://machinelearning.apple.com/research/macereason-math
Проблема была простой: почти все датасеты для обучения ИИ решению математических задач — на английском. Существующие многоязычные наборы данных либо устарели, либо слишком простые для современных моделей.
Apple ML перевела сложные задачи из корпуса AceReason-Math на 14 языков, тщательно почистила переводы и собрала более 10 000 примеров на каждый язык. Датасет открыт для исследователей.
Почему это важно: RLVR — один из ключевых методов прокачки LLM в математике и логике. Теперь его можно применять не только к англоязычным моделям. Это шаг к тому, чтобы сильные математические рассуждения работали на русском, китайском и других языках так же хорошо, как на английском.
https://machinelearning.apple.com/research/macereason-math
Apple Machine Learning Research
mAceReason-Math: A Dataset of High-Quality Multilingual Math Problems Ready For RLVR
Reinforcement Learning with Verifiable Rewards (RLVR) has been successfully applied to significantly boost the capabilities of pretrained…
PyTorch: MXFP8 ускоряет обучение MoE-моделей на 30%
Команда PyTorch показала впечатляющий результат: обучение Llama4 Scout с использованием MXFP8 стало на 30,2% быстрее по сравнению с BF16 — при этом качество сходимости не пострадало.
Эксперименты проводились на кластере из 256 GPU NVIDIA GB200. Скорость выросла с 5317 до 6921 токенов/сек. Ключевой инструмент — новый примитив _to_mxfp8_then_scaled_grouped_mm в TorchAO, который работает в 1,8 раза быстрее BF16 для матричных умножений в MoE-слоях.
Почему это важно: MoE-архитектуры (как в Llama4) активируют только часть параметров, и оптимизация именно этих вычислений даёт максимальный эффект. MXFP8 позволяет вдвое увеличить пропускную способность тензорных ядер.
Для воспроизведения достаточно TorchTitan + TorchAO — конфиги и документация уже доступны.
https://pytorch.org/blog/mxfp8-training-for-moes-1-3x-training-speedup-vs-bf16-for-llama4-scout-on-gb200-cluster-using-torchao-and-torchtitan/
Команда PyTorch показала впечатляющий результат: обучение Llama4 Scout с использованием MXFP8 стало на 30,2% быстрее по сравнению с BF16 — при этом качество сходимости не пострадало.
Эксперименты проводились на кластере из 256 GPU NVIDIA GB200. Скорость выросла с 5317 до 6921 токенов/сек. Ключевой инструмент — новый примитив _to_mxfp8_then_scaled_grouped_mm в TorchAO, который работает в 1,8 раза быстрее BF16 для матричных умножений в MoE-слоях.
Почему это важно: MoE-архитектуры (как в Llama4) активируют только часть параметров, и оптимизация именно этих вычислений даёт максимальный эффект. MXFP8 позволяет вдвое увеличить пропускную способность тензорных ядер.
Для воспроизведения достаточно TorchTitan + TorchAO — конфиги и документация уже доступны.
https://pytorch.org/blog/mxfp8-training-for-moes-1-3x-training-speedup-vs-bf16-for-llama4-scout-on-gb200-cluster-using-torchao-and-torchtitan/
Демис Хассабис (DeepMind) поделился очередным крутым применением AlphaFold — их революционной системы предсказания структуры белков. По его словам, это лишь начало эпохи "цифровой биологии".
AlphaFold уже перевернул науку, предсказав структуры сотен миллионов белков — задачу, над которой биологи бились десятилетиями. Теперь исследователи по всему миру используют эти данные для разработки лекарств, изучения болезней и создания новых материалов. Хассабис явно намекает: самое интересное впереди.
https://x.com/demishassabis/status/2033010713413754987
AlphaFold уже перевернул науку, предсказав структуры сотен миллионов белков — задачу, над которой биологи бились десятилетиями. Теперь исследователи по всему миру используют эти данные для разработки лекарств, изучения болезней и создания новых материалов. Хассабис явно намекает: самое интересное впереди.
https://x.com/demishassabis/status/2033010713413754987
X (formerly Twitter)
Demis Hassabis (@demishassabis) on X
Cool use case of AlphaFold, this is just the beginning of digital biology!
Создать 45 тысяч сред для обучения SWE-агентов? Дорого, но окупается.
Главная боль при обучении агентов для автоматического решения GitHub-issue — нехватка качественных исполняемых сред. Их создание стоит огромных денег и вычислительных ресурсов.
Авторы выпустили OpenSWE: 45 320 Docker-окружений из 12.8k репозиториев, потратив $891K на сборку и ещё $576K на отбор траекторий. Всё полностью открыто: Dockerfile'ы, скрипты оценки, пайплайн на 64 нодах.
Ключевая идея — не просто масштаб, а difficulty-aware фильтрация. Среды бывают бесполезны по двум причинам: PR не решает issue (misalignment) или issue напрямую подсказывает решение (triviality). Авторы отсеивают и то, и другое, оставляя ~9k сред с нужным уровнем сложности.
Результат: модели на Qwen2.5 достигают 62.4% (32B) и 66.0% (72B) на SWE-Bench Verified — SOTA среди SFT-методов. Бонус: +12 пунктов на математических бенчмарках без деградации.
https://arxiv.org/abs/2603.13023
Главная боль при обучении агентов для автоматического решения GitHub-issue — нехватка качественных исполняемых сред. Их создание стоит огромных денег и вычислительных ресурсов.
Авторы выпустили OpenSWE: 45 320 Docker-окружений из 12.8k репозиториев, потратив $891K на сборку и ещё $576K на отбор траекторий. Всё полностью открыто: Dockerfile'ы, скрипты оценки, пайплайн на 64 нодах.
Ключевая идея — не просто масштаб, а difficulty-aware фильтрация. Среды бывают бесполезны по двум причинам: PR не решает issue (misalignment) или issue напрямую подсказывает решение (triviality). Авторы отсеивают и то, и другое, оставляя ~9k сред с нужным уровнем сложности.
Результат: модели на Qwen2.5 достигают 62.4% (32B) и 66.0% (72B) на SWE-Bench Verified — SOTA среди SFT-методов. Бонус: +12 пунктов на математических бенчмарках без деградации.
https://arxiv.org/abs/2603.13023
Как понять, умеет ли embedding-модель по-настоящему "помнить"?
Существующие бенчмарки для эмбеддингов (MTEB и подобные) тестируют поиск по хорошо структурированным текстам. Но в агентных системах и AI-ассистентах всё иначе: нужно вспоминать фрагментарные, контекстно-зависимые воспоминания из далёкого прошлого.
Авторы из KaLM-Embedding предложили LMEB — новый бенчмарк специально для long-horizon memory retrieval. Он охватывает 4 типа памяти: эпизодическую (события с временными метками), диалоговую (многоходовые разговоры), семантическую (факты и знания) и процедурную (навыки и последовательности действий). Итого: 22 датасета, 193 задачи.
Ключевые находки после тестирования 15 моделей: больший размер модели не гарантирует лучший результат, а LMEB и MTEB практически ортогональны (корреляция близка к нулю) — то есть хорошо искать по пассажам и хорошо "помнить" это разные навыки.
https://arxiv.org/abs/2603.12572
Существующие бенчмарки для эмбеддингов (MTEB и подобные) тестируют поиск по хорошо структурированным текстам. Но в агентных системах и AI-ассистентах всё иначе: нужно вспоминать фрагментарные, контекстно-зависимые воспоминания из далёкого прошлого.
Авторы из KaLM-Embedding предложили LMEB — новый бенчмарк специально для long-horizon memory retrieval. Он охватывает 4 типа памяти: эпизодическую (события с временными метками), диалоговую (многоходовые разговоры), семантическую (факты и знания) и процедурную (навыки и последовательности действий). Итого: 22 датасета, 193 задачи.
Ключевые находки после тестирования 15 моделей: больший размер модели не гарантирует лучший результат, а LMEB и MTEB практически ортогональны (корреляция близка к нулю) — то есть хорошо искать по пассажам и хорошо "помнить" это разные навыки.
https://arxiv.org/abs/2603.12572
Как рисовать картину: сначала набросок, потом детали — и это работает в мультимодальных LLM
Главная проблема объединённых моделей (понимание + генерация изображений) — конфликт между семантическими фичами для понимания и детализированными латентами для генерации. Одно мешает другому.
CHEERS решает это через явное разделение: сначала LLM работает только с семантическими токенами (SigLIP2 поверх VAE-латентов), а высокочастотные детали вводятся позже, на этапе генерации через cascaded flow matching head с двумя стадиями.
Стадия 1: генерируем низкочастотную семантику на малом разрешении. Стадия 2: адаптивно подмешиваем высокочастотные детали через gating-сеть. Причём интенсивность инъекции деталей сама регулируется в зависимости от шага диффузии — без явного supervision.
Бонус: 4x сжатие токенов через Pixel-Unshuffle. Модель обгоняет конкурентов при 20% от их вычислительных затрат.
https://arxiv.org/abs/2603.12793
Главная проблема объединённых моделей (понимание + генерация изображений) — конфликт между семантическими фичами для понимания и детализированными латентами для генерации. Одно мешает другому.
CHEERS решает это через явное разделение: сначала LLM работает только с семантическими токенами (SigLIP2 поверх VAE-латентов), а высокочастотные детали вводятся позже, на этапе генерации через cascaded flow matching head с двумя стадиями.
Стадия 1: генерируем низкочастотную семантику на малом разрешении. Стадия 2: адаптивно подмешиваем высокочастотные детали через gating-сеть. Причём интенсивность инъекции деталей сама регулируется в зависимости от шага диффузии — без явного supervision.
Бонус: 4x сжатие токенов через Pixel-Unshuffle. Модель обгоняет конкурентов при 20% от их вычислительных затрат.
https://arxiv.org/abs/2603.12793
CREATE: тест на ассоциативную креативность LLM (by NYU)
Насколько креативны языковые модели? Не в смысле "напиши стихотворение", а по-настоящему: могут ли они находить неочевидные, но меткие связи между реальными концептами?
Авторы из NYU предложили бенчмарк CREATE. Задача: найти нетривиальные пути между сущностями через граф знаний. Например, как Дакота Джонсон связана с актёрами фэнтези? Через Криса Эванса (снимались вместе) или через Антонио Бандераса (её отчим, снимался в Шреке). Оба пути верны, но второй — куда интереснее.
Метрика оценивает сразу качество и разнообразность найденных путей. Frontier-модели справляются неплохо, но проваливаются на distinctive решениях — тех, что реально выбиваются из общей массы ответов.
Главный сюрприз: больше токенов на рассуждение ≠ больше креативности. Модели просто топчутся в одном углу концептуального пространства.
https://arxiv.org/abs/2603.09970
Насколько креативны языковые модели? Не в смысле "напиши стихотворение", а по-настоящему: могут ли они находить неочевидные, но меткие связи между реальными концептами?
Авторы из NYU предложили бенчмарк CREATE. Задача: найти нетривиальные пути между сущностями через граф знаний. Например, как Дакота Джонсон связана с актёрами фэнтези? Через Криса Эванса (снимались вместе) или через Антонио Бандераса (её отчим, снимался в Шреке). Оба пути верны, но второй — куда интереснее.
Метрика оценивает сразу качество и разнообразность найденных путей. Frontier-модели справляются неплохо, но проваливаются на distinctive решениях — тех, что реально выбиваются из общей массы ответов.
Главный сюрприз: больше токенов на рассуждение ≠ больше креативности. Модели просто топчутся в одном углу концептуального пространства.
https://arxiv.org/abs/2603.09970
Зачем тратить одинаковое число токенов на скучные и динамичные кадры?
EVATok — адаптивный видеотокенизатор, который умно распределяет токены по временным блокам видео: статичным и повторяющимся сценам — меньше токенов, динамичным и сложным — больше.
Как это работает? Четыре стадии:
1. Обучается proxy-токенизатор, способный реконструировать видео при любом распределении токенов
2. С его помощью для каждого видео ищется оптимальное распределение (максимум proxy reward — метрики quality-cost)
3. Обучается лёгкий роутер, который быстро предсказывает оптимальное распределение
4. Финальный адаптивный токенизатор обучается уже с предсказаниями роутера
Результат: при сопоставимом или лучшем качестве — экономия токенов от 24% и выше по сравнению с фиксированными токенизаторами. Подход от HKU, работает поверх Q-Former архитектуры.
https://arxiv.org/abs/2603.12267
EVATok — адаптивный видеотокенизатор, который умно распределяет токены по временным блокам видео: статичным и повторяющимся сценам — меньше токенов, динамичным и сложным — больше.
Как это работает? Четыре стадии:
1. Обучается proxy-токенизатор, способный реконструировать видео при любом распределении токенов
2. С его помощью для каждого видео ищется оптимальное распределение (максимум proxy reward — метрики quality-cost)
3. Обучается лёгкий роутер, который быстро предсказывает оптимальное распределение
4. Финальный адаптивный токенизатор обучается уже с предсказаниями роутера
Результат: при сопоставимом или лучшем качестве — экономия токенов от 24% и выше по сравнению с фиксированными токенизаторами. Подход от HKU, работает поверх Q-Former архитектуры.
https://arxiv.org/abs/2603.12267