PyTorch: как torch.compile ускоряет код до 10 раз
Команда PyTorch опубликовала подробное объяснение механизма Kernel Fusion — ключевой оптимизации за torch.compile.
Суть проста: без компиляции GPU запускает отдельное ядро на каждую операцию. Умножение — ядро, сложение — ядро, активация — ядро. Каждый запуск стоит времени, а промежуточные результаты гоняются туда-обратно через медленную глобальную память.
Компилятор Inductor объединяет зависимые операции в одно Triton-ядро. Пример: три операции (mul → add → sigmoid) превращаются в одно ядро вместо трёх. Данные загружаются один раз, промежуточные значения остаются в быстрых регистрах, финальный результат пишется один раз. Итог: количество обращений к памяти падает на 50%.
Помимо базового pointwise fusion, Inductor умеет сливать редукции (sum, mean, max), присоединять bias и активации к матричному умножению, а также объединять независимые операции над одними данными.
Попробовать просто: добавь @torch.compile к своей функции — менять архитектуру не нужно.
https://pytorch.org/blog/why-is-pytorch-compile-so-fast-kernel-fusion/
Команда PyTorch опубликовала подробное объяснение механизма Kernel Fusion — ключевой оптимизации за torch.compile.
Суть проста: без компиляции GPU запускает отдельное ядро на каждую операцию. Умножение — ядро, сложение — ядро, активация — ядро. Каждый запуск стоит времени, а промежуточные результаты гоняются туда-обратно через медленную глобальную память.
Компилятор Inductor объединяет зависимые операции в одно Triton-ядро. Пример: три операции (mul → add → sigmoid) превращаются в одно ядро вместо трёх. Данные загружаются один раз, промежуточные значения остаются в быстрых регистрах, финальный результат пишется один раз. Итог: количество обращений к памяти падает на 50%.
Помимо базового pointwise fusion, Inductor умеет сливать редукции (sum, mean, max), присоединять bias и активации к матричному умножению, а также объединять независимые операции над одними данными.
Попробовать просто: добавь @torch.compile к своей функции — менять архитектуру не нужно.
https://pytorch.org/blog/why-is-pytorch-compile-so-fast-kernel-fusion/
PyTorch / TokenSpeed побил рекорд скорости инференса
Движок TokenSpeed от LightSeek Foundation установил новый рекорд — 580 токенов в секунду на GPU при запуске модели Qwen3.5-397B-A17B. Это лучший результат среди открытых решений для агентных задач.
Как достигли скорости: убрали лишние копирования памяти, применили продвинутое слияние CUDA-ядер и полностью распараллелили выполнение между CPU и GPU — видеокарта занята постоянно.
Особенность модели Qwen3.5 — гибридная архитектура, где стандартные слои внимания чередуются с линейными (GDN). TokenSpeed поддерживает это «из коробки»: кэширование префиксов, планировщик и disaggregation работают с обоими типами слоёв.
Для агентных сценариев критично: движок умеет переиспользовать общие контексты в многошаговых цепочках вызовов инструментов — это экономит вычисления при длинных диалогах.
TokenSpeed распространяется под лицензией MIT и позиционируется как альтернатива TensorRT-LLM по скорости, но с удобством vLLM.
https://pytorch.org/blog/up-to-580tps-new-speed-record-of-qwen3-5-397b-a17b-on-gpu-for-agentic-workloads-with-tokenspeed/
Движок TokenSpeed от LightSeek Foundation установил новый рекорд — 580 токенов в секунду на GPU при запуске модели Qwen3.5-397B-A17B. Это лучший результат среди открытых решений для агентных задач.
Как достигли скорости: убрали лишние копирования памяти, применили продвинутое слияние CUDA-ядер и полностью распараллелили выполнение между CPU и GPU — видеокарта занята постоянно.
Особенность модели Qwen3.5 — гибридная архитектура, где стандартные слои внимания чередуются с линейными (GDN). TokenSpeed поддерживает это «из коробки»: кэширование префиксов, планировщик и disaggregation работают с обоими типами слоёв.
Для агентных сценариев критично: движок умеет переиспользовать общие контексты в многошаговых цепочках вызовов инструментов — это экономит вычисления при длинных диалогах.
TokenSpeed распространяется под лицензией MIT и позиционируется как альтернатива TensorRT-LLM по скорости, но с удобством vLLM.
https://pytorch.org/blog/up-to-580tps-new-speed-record-of-qwen3-5-397b-a17b-on-gpu-for-agentic-workloads-with-tokenspeed/
minWM: опенсорсный конвейер для интерактивных видео-миров в реальном времени
Хотите сделать из обычной видеомодели интерактивный игровой движок? Теперь есть готовый рецепт.
Авторы выпустили minWM — полный пайплайн, который превращает любую T2V/TI2V диффузионную модель (Wan2.1, HunyuanVideo) в камера-управляемый авторегрессивный генератор с малой задержкой.
Как это работает:
1. Файнтюнинг под управление камерой через PRoPE — камерные параметры встраиваются прямо в self-attention.
2. AR дистилляция через Causal Forcing: сначала учим авторегрессионную диффузию, потом дистиллируем до few-step через causal ODE/CD, финально выравниваем качество через асимметричный DMD с self-rollout.
Главная ценность — не чекпоинт, а воспроизводимый end-to-end пайплайн с промежуточными чекпоинтами на каждом этапе. Плюс практические аблации: качество траекторий камеры, минимальный батч-сайз и т.д.
https://arxiv.org/abs/2605.30263
Хотите сделать из обычной видеомодели интерактивный игровой движок? Теперь есть готовый рецепт.
Авторы выпустили minWM — полный пайплайн, который превращает любую T2V/TI2V диффузионную модель (Wan2.1, HunyuanVideo) в камера-управляемый авторегрессивный генератор с малой задержкой.
Как это работает:
1. Файнтюнинг под управление камерой через PRoPE — камерные параметры встраиваются прямо в self-attention.
2. AR дистилляция через Causal Forcing: сначала учим авторегрессионную диффузию, потом дистиллируем до few-step через causal ODE/CD, финально выравниваем качество через асимметричный DMD с self-rollout.
Главная ценность — не чекпоинт, а воспроизводимый end-to-end пайплайн с промежуточными чекпоинтами на каждом этапе. Плюс практические аблации: качество траекторий камеры, минимальный батч-сайз и т.д.
https://arxiv.org/abs/2605.30263
Диффузионные модели сначала рисуют общий контур, потом детали — и никто не использовал это умно
Все знают, что диффузионные модели сначала формируют низкочастотную структуру (форма, цвет), а потом высокочастотные детали (текстуры, края). Но стандартные SDE-сэмплеры при этом вливают одинаковый белый шум на каждом шаге, игнорируя, что модели нужно на разных этапах.
Авторы из Hebrew University предложили Colored Noise Sampling (CNS): вместо белого шума подавать "цветной" — на ранних шагах больше низкочастотного, на поздних больше высокочастотного. Энергия при этом сохраняется (variance-preserving), так что промежуточные состояния не вылетают за пределы распределения.
Никакого дообучения — чистый plug-and-play сэмплер. На ImageNet-256 FID падает с 8.26 до 6.27 (SiT-XL/2), работает и на FLUX для text-to-image.
https://arxiv.org/abs/2605.30332
Все знают, что диффузионные модели сначала формируют низкочастотную структуру (форма, цвет), а потом высокочастотные детали (текстуры, края). Но стандартные SDE-сэмплеры при этом вливают одинаковый белый шум на каждом шаге, игнорируя, что модели нужно на разных этапах.
Авторы из Hebrew University предложили Colored Noise Sampling (CNS): вместо белого шума подавать "цветной" — на ранних шагах больше низкочастотного, на поздних больше высокочастотного. Энергия при этом сохраняется (variance-preserving), так что промежуточные состояния не вылетают за пределы распределения.
Никакого дообучения — чистый plug-and-play сэмплер. На ImageNet-256 FID падает с 8.26 до 6.27 (SiT-XL/2), работает и на FLUX для text-to-image.
https://arxiv.org/abs/2605.30332
Умеют ли видеомодели понимать причинно-следственные связи?
Видеогенеративные модели учатся на огромных объёмах реального видео и создают реалистичные ролики. Но понимают ли они, почему события происходят именно так? Авторы из Alaya Studio предлагают бенчмарк YoCausal для проверки каузального мышления у видеодиффузионных моделей.
Идея проста и элегантна: если модель понимает причинность, перевёрнутое во времени видео должно казаться ей "удивительным" — то есть получать более высокий loss при денойзинге. Это адаптация VoE-парадигмы из когнитивной науки (так тестируют младенцев!).
Два уровня оценки: RSI измеряет восприятие "стрелы времени", а CCI отделяет это от настоящего понимания причинности — сравнивая реакцию на каузальные и некаузальные видео.
Главный вывод: современные открытые VDM чувствуют направление времени, но почти не понимают причинность. Масштабирование и переход с UNet на DiT помогают, но разрыв с человеком огромен.
https://arxiv.org/abs/2605.30346
Видеогенеративные модели учатся на огромных объёмах реального видео и создают реалистичные ролики. Но понимают ли они, почему события происходят именно так? Авторы из Alaya Studio предлагают бенчмарк YoCausal для проверки каузального мышления у видеодиффузионных моделей.
Идея проста и элегантна: если модель понимает причинность, перевёрнутое во времени видео должно казаться ей "удивительным" — то есть получать более высокий loss при денойзинге. Это адаптация VoE-парадигмы из когнитивной науки (так тестируют младенцев!).
Два уровня оценки: RSI измеряет восприятие "стрелы времени", а CCI отделяет это от настоящего понимания причинности — сравнивая реакцию на каузальные и некаузальные видео.
Главный вывод: современные открытые VDM чувствуют направление времени, но почти не понимают причинность. Масштабирование и переход с UNet на DiT помогают, но разрыв с человеком огромен.
https://arxiv.org/abs/2605.30346
Microsoft Research выпустила Data Formulator 0.7 — open-source инструмент для корпоративной аналитики данных на базе ИИ.
Что нового: система подключается к базам данных, хранилищам, BI-системам и локальным файлам через единый механизм Data Connectors — без повторных ручных загрузок. ИИ-агенты видят весь контекст анализа: подключённые источники, таблицы, предыдущие графики и цель пользователя. Они пишут и запускают код, строят визуализации и задают уточняющие вопросы при неоднозначных запросах.
Почему важно: аналитики без навыков SQL или программирования теперь могут вести сложные многоэтапные исследования. История анализа сохраняется в Data Thread — можно вернуться к любому шагу, создать альтернативную ветку и сравнить результаты.
Графики можно редактировать прямо на канвасе или описывать изменения текстом. Проект открытый — компании могут адаптировать его под свои нужды.
https://www.microsoft.com/en-us/research/blog/data-formulator-0-7-ai-powered-data-analytics-for-enterprise-data/
Что нового: система подключается к базам данных, хранилищам, BI-системам и локальным файлам через единый механизм Data Connectors — без повторных ручных загрузок. ИИ-агенты видят весь контекст анализа: подключённые источники, таблицы, предыдущие графики и цель пользователя. Они пишут и запускают код, строят визуализации и задают уточняющие вопросы при неоднозначных запросах.
Почему важно: аналитики без навыков SQL или программирования теперь могут вести сложные многоэтапные исследования. История анализа сохраняется в Data Thread — можно вернуться к любому шагу, создать альтернативную ветку и сравнить результаты.
Графики можно редактировать прямо на канвасе или описывать изменения текстом. Проект открытый — компании могут адаптировать его под свои нужды.
https://www.microsoft.com/en-us/research/blog/data-formulator-0-7-ai-powered-data-analytics-for-enterprise-data/
Microsoft Research
Data Formulator 0.7: AI-powered data analytics for enterprise data
Data Formulator introduces AI-powered analytics for enterprise data workflows. Data teams can easily bring enterprise data into an AI-ready workspace where users can explore, analyze, and visualize data with AI agents to turn raw data into actionable insights:
Nvidia Tech запустила DynoSim — симулятор для оптимизации развёртывания LLM-моделей.
Суть проста: настройка серверов для больших языковых моделей — это боль. Нужно одновременно подбирать десятки параметров (маршрутизацию, кэш, планировщик, число воркеров), и каждый эксперимент на реальном железе стоит огромных ресурсов.
DynoSim решает это через дискретно-событийную симуляцию всего стека Dynamo. Написан на Rust, работает молниеносно: трассировка из 23 608 запросов, которая в реальности заняла бы 60 минут, симулируется за 2,4 секунды — это в 1500 раз быстрее реального времени.
Что это даёт на практике: можно перебрать тысячи конфигураций виртуально, найти оптимальный баланс между задержкой и пропускной способностью, и только потом тратить GPU-время на проверку лучших вариантов. Уже показано, что умная маршрутизация с учётом KV-кэша поднимает переиспользование префиксов с 38% до 45%.
https://developer.nvidia.com/blog/dynosim-simulating-the-pareto-frontier/
Суть проста: настройка серверов для больших языковых моделей — это боль. Нужно одновременно подбирать десятки параметров (маршрутизацию, кэш, планировщик, число воркеров), и каждый эксперимент на реальном железе стоит огромных ресурсов.
DynoSim решает это через дискретно-событийную симуляцию всего стека Dynamo. Написан на Rust, работает молниеносно: трассировка из 23 608 запросов, которая в реальности заняла бы 60 минут, симулируется за 2,4 секунды — это в 1500 раз быстрее реального времени.
Что это даёт на практике: можно перебрать тысячи конфигураций виртуально, найти оптимальный баланс между задержкой и пропускной способностью, и только потом тратить GPU-время на проверку лучших вариантов. Уже показано, что умная маршрутизация с учётом KV-кэша поднимает переиспользование префиксов с 38% до 45%.
https://developer.nvidia.com/blog/dynosim-simulating-the-pareto-frontier/
NVIDIA Technical Blog
DynoSim: Simulating the Pareto Frontier
Modern LLM serving is hard to tune because each deployment is a stack of interacting choices: model backend, tensor-parallel shape, prefill/decode split, worker counts, scheduler settings…
Nvidia представила MCG Toolkit — инструмент для автоматической генерации документации к AI-моделям.
Создавать модельные карточки вручную — долго и скучно. Nvidia решила эту проблему: MCG Toolkit читает исходный код модели и за минуту генерирует полный пакет документов в формате Model Card++, включая разделы по безопасности, приватности, предвзятости и объяснимости.
Как это работает: три этапа — загрузка источника (GitHub, HuggingFace, PDF), извлечение данных через RAG-пайплайн на базе NIM и GPT-OSS-120B, затем рендеринг в Markdown. Точность — 76–92% в зависимости от качества исходной документации.
Важно: если данных не хватает, система честно помечает пробелы, а не придумывает. Первым крупным пользователем стал Oracle — интегрировал инструмент в OCI AI инфраструктуру.
Актуально в условиях EU AI Act и других регуляторных требований, где аудируемая документация становится обязательной.
https://developer.nvidia.com/blog/how-to-automate-ai-model-documentation-with-the-nvidia-mcg-toolkit/
Создавать модельные карточки вручную — долго и скучно. Nvidia решила эту проблему: MCG Toolkit читает исходный код модели и за минуту генерирует полный пакет документов в формате Model Card++, включая разделы по безопасности, приватности, предвзятости и объяснимости.
Как это работает: три этапа — загрузка источника (GitHub, HuggingFace, PDF), извлечение данных через RAG-пайплайн на базе NIM и GPT-OSS-120B, затем рендеринг в Markdown. Точность — 76–92% в зависимости от качества исходной документации.
Важно: если данных не хватает, система честно помечает пробелы, а не придумывает. Первым крупным пользователем стал Oracle — интегрировал инструмент в OCI AI инфраструктуру.
Актуально в условиях EU AI Act и других регуляторных требований, где аудируемая документация становится обязательной.
https://developer.nvidia.com/blog/how-to-automate-ai-model-documentation-with-the-nvidia-mcg-toolkit/
NVIDIA Technical Blog
How to Automate AI Model Documentation with the NVIDIA MCG Toolkit
As AI models grow in complexity and regulatory scrutiny intensifies under frameworks including California’s AB-2013 and the EU AI Act, software teams face a challenge beyond delivering great code…
50 LoRA-эффектов в одном — без конфликтов и задержек
Хочешь добавить в диффузионную модель 50 разных визуальных эффектов? Обычный путь: обучить 50 отдельных LoRA, хранить их все, маршрутизировать нужную при инференсе и как-то скомбинировать с acceleration LoRA. Итог: огромный storage, задержки роутинга и конфликты между весами.
CollectionLoRA предлагает радикальное решение: дистиллировать всех этих "учителей" в одну единственную LoRA через Multi-Teacher On-Policy Distillation на базе DMD.
Три ключевых трюка:
1. Probabilistic Dual-Stream Routing — подмешивает общие данные как регуляризацию, чтобы не забыть "мир за пределами эффектов"
2. Asymmetric Orthogonal Prompting — учитель и студент видят разные промпты с ортогональными триггерами, изолируя концепты в латентном пространстве
3. Coarse-to-Fine Distillation Objective — комбинирует flow matching с Target Simulation для стабильного обучения
Хочешь добавить в диффузионную модель 50 разных визуальных эффектов? Обычный путь: обучить 50 отдельных LoRA, хранить их все, маршрутизировать нужную при инференсе и как-то скомбинировать с acceleration LoRA. Итог: огромный storage, задержки роутинга и конфликты между весами.
CollectionLoRA предлагает радикальное решение: дистиллировать всех этих "учителей" в одну единственную LoRA через Multi-Teacher On-Policy Distillation на базе DMD.
Три ключевых трюка:
1. Probabilistic Dual-Stream Routing — подмешивает общие данные как регуляризацию, чтобы не забыть "мир за пределами эффектов"
2. Asymmetric Orthogonal Prompting — учитель и студент видят разные промпты с ортогональными триггерами, изолируя концепты в латентном пространстве
3. Coarse-to-Fine Distillation Objective — комбинирует flow matching с Target Simulation для стабильного обучения
(by NVIDIA) VLM думает, что "дальше" = "выше в кадре" — и это не баг, а фича перспективы
Оказывается, большинство VLM решают задачи глубины через грязный лайфхак: если объект выше в кадре — значит он дальше. Это работает на реальных фото (перспектива!), но ломается на контрпримерах.
Авторы из NVIDIA вскрыли это через contrastive probing внутренних эмбеддингов: у слабых моделей оси "вертикаль" и "глубина" перепутаны в пространстве представлений, у сильных — разделены. Горизонтальные отношения (лево/право) при этом всегда кодируются чисто.
Плюс создали SpatialTunnel — синтетический бенчмарк с туннельной геометрией, где вертикальная позиция объекта не коррелирует с глубиной. Модели, которые казались сильными на стандартных бенчмарках, там сыпятся.
Вывод: высокий accuracy на пространственных задачах может просто означать, что модель выучила статистику перспективы, а не научилась рассуждать о 3D.
https://arxiv.org/abs/2605.30161
Оказывается, большинство VLM решают задачи глубины через грязный лайфхак: если объект выше в кадре — значит он дальше. Это работает на реальных фото (перспектива!), но ломается на контрпримерах.
Авторы из NVIDIA вскрыли это через contrastive probing внутренних эмбеддингов: у слабых моделей оси "вертикаль" и "глубина" перепутаны в пространстве представлений, у сильных — разделены. Горизонтальные отношения (лево/право) при этом всегда кодируются чисто.
Плюс создали SpatialTunnel — синтетический бенчмарк с туннельной геометрией, где вертикальная позиция объекта не коррелирует с глубиной. Модели, которые казались сильными на стандартных бенчмарках, там сыпятся.
Вывод: высокий accuracy на пространственных задачах может просто означать, что модель выучила статистику перспективы, а не научилась рассуждать о 3D.
https://arxiv.org/abs/2605.30161
GenClaw: ИИ-агент рисует как художник — сначала скетч кодом, потом раскрашивает нейросетью (by Tencent)
Главная проблема агентных систем генерации изображений: агент умеет только переписывать промпты, а итоговую картинку рисует чёрный ящик. Никакого реального контроля над пространством, слоями, текстом.
GenClaw предлагает трёхшаговый пайплайн по аналогии с работой художника:
1. Conceptualize — поиск и рассуждение для сбора контекста
2. Sketch — LLM пишет SVG/HTML/Three.js код как "цифровую кисть", задавая координаты, z-order, физику
3. Color — диффузионная модель раскрашивает структурированный скетч, добавляя текстуры и реализм
Итог: точное позиционирование объектов, надёжный рендеринг текста, симуляция физики, послойное редактирование. И главное — прозрачность: при ошибке сразу видно, на каком шаге сломалось.
https://arxiv.org/abs/2605.30248
Главная проблема агентных систем генерации изображений: агент умеет только переписывать промпты, а итоговую картинку рисует чёрный ящик. Никакого реального контроля над пространством, слоями, текстом.
GenClaw предлагает трёхшаговый пайплайн по аналогии с работой художника:
1. Conceptualize — поиск и рассуждение для сбора контекста
2. Sketch — LLM пишет SVG/HTML/Three.js код как "цифровую кисть", задавая координаты, z-order, физику
3. Color — диффузионная модель раскрашивает структурированный скетч, добавляя текстуры и реализм
Итог: точное позиционирование объектов, надёжный рендеринг текста, симуляция физики, послойное редактирование. И главное — прозрачность: при ошибке сразу видно, на каком шаге сломалось.
https://arxiv.org/abs/2605.30248
Representation Forcing: избавляемся от VAE в мультимодальных моделях (by ByteDance Seed)
Все крутые мультимодальные модели (Transfusion, Show-o и др.) генерируют картинки через замороженный VAE — внешний энкодер/декодер, обученный отдельно. Это структурный bottleneck: VAE оптимизирован под реконструкцию, а не под задачи модели.
Идея Representation Forcing: убрать VAE совсем и генерировать прямо в пространстве пикселей, но с умным scaffold-ом. Декодер учится сначала авторегрессивно предсказывать визуальные токены (дискретизированные фичи собственного энкодера понимания), а потом уже диффузией рендерит пиксели. Представления берутся не снаружи, а из совместно обученного энкодера той же модели.
Результат: pixel-space модель с RF догоняет VAE-based baseline на генерации и обгоняет его на понимании. Полностью end-to-end, без внешних компонентов.
https://arxiv.org/abs/2605.31604
Все крутые мультимодальные модели (Transfusion, Show-o и др.) генерируют картинки через замороженный VAE — внешний энкодер/декодер, обученный отдельно. Это структурный bottleneck: VAE оптимизирован под реконструкцию, а не под задачи модели.
Идея Representation Forcing: убрать VAE совсем и генерировать прямо в пространстве пикселей, но с умным scaffold-ом. Декодер учится сначала авторегрессивно предсказывать визуальные токены (дискретизированные фичи собственного энкодера понимания), а потом уже диффузией рендерит пиксели. Представления берутся не снаружи, а из совместно обученного энкодера той же модели.
Результат: pixel-space модель с RF догоняет VAE-based baseline на генерации и обгоняет его на понимании. Полностью end-to-end, без внешних компонентов.
https://arxiv.org/abs/2605.31604
SANA-Streaming: редактирование видео в реальном времени прямо на потребительском GPU (by NVIDIA)
Главная боль стриминговых видеоредакторов: softmax attention жрёт память пропорционально длине видео, а linear attention даёт дрожание на границах чанков. NVIDIA решила не выбирать — взяли гибрид.
SANA-Streaming чередует два типа блоков: Gated DeltaNet (линейное внимание с коррекцией по delta-rule) для глобальной памяти и softmax-блоки с window attention + sink-токен для локальной детализации. Память остаётся константной при любой длине видео.
Для обучения без парных длинных видео придумали Cycle-Reverse Regularization: модель сначала редактирует чанк, потом восстанавливает оригинал по обратному промпту. Это форсирует долгосрочную консистентность.
Плюс системная оптимизация: фьюзинг GDN-ядер и AutoML-поиск смешанной точности (FP4/FP8/BF16 по слоям) дали +59% скорости над BF16.
Итог: 24 FPS end-to-end на RTX 5090 при 5.56 GB VRAM против 20+ GB у all-softmax варианта.
https://arxiv.org/abs/2605.30409
Главная боль стриминговых видеоредакторов: softmax attention жрёт память пропорционально длине видео, а linear attention даёт дрожание на границах чанков. NVIDIA решила не выбирать — взяли гибрид.
SANA-Streaming чередует два типа блоков: Gated DeltaNet (линейное внимание с коррекцией по delta-rule) для глобальной памяти и softmax-блоки с window attention + sink-токен для локальной детализации. Память остаётся константной при любой длине видео.
Для обучения без парных длинных видео придумали Cycle-Reverse Regularization: модель сначала редактирует чанк, потом восстанавливает оригинал по обратному промпту. Это форсирует долгосрочную консистентность.
Плюс системная оптимизация: фьюзинг GDN-ядер и AutoML-поиск смешанной точности (FP4/FP8/BF16 по слоям) дали +59% скорости над BF16.
Итог: 24 FPS end-to-end на RTX 5090 при 5.56 GB VRAM против 20+ GB у all-softmax варианта.
https://arxiv.org/abs/2605.30409
dMoE: как ускорить диффузионные LLM с MoE в 1.66× без потерь качества
Диффузионные LLM (dLLMs) — крутая альтернатива авторегрессионным моделям: они генерируют токены параллельно, а не слева направо. Но когда туда добавляют MoE-архитектуру, возникает проблема: за один проход модель активирует огромное число уникальных экспертов, и память становится главным узким местом.
Авторы из NUS предлагают dMoE — простую идею: вместо того чтобы каждый токен независимо выбирал экспертов, агрегируем скоры всех токенов блока в единый блочный скор, и уже по нему ограничиваем набор активных экспертов через top-p критерий. Дообучение через self-distillation.
Результат на LLaDA2.0-mini: уникальных экспертов меньше в 4.77×, память экономится на 77-80%, скорость растёт в 1.14-1.66×, а качество падает лишь на 0.89%. Работает на MATH500, GSM8K, ARC-C, MMLU.
https://arxiv.org/abs/2605.30876
Диффузионные LLM (dLLMs) — крутая альтернатива авторегрессионным моделям: они генерируют токены параллельно, а не слева направо. Но когда туда добавляют MoE-архитектуру, возникает проблема: за один проход модель активирует огромное число уникальных экспертов, и память становится главным узким местом.
Авторы из NUS предлагают dMoE — простую идею: вместо того чтобы каждый токен независимо выбирал экспертов, агрегируем скоры всех токенов блока в единый блочный скор, и уже по нему ограничиваем набор активных экспертов через top-p критерий. Дообучение через self-distillation.
Результат на LLaDA2.0-mini: уникальных экспертов меньше в 4.77×, память экономится на 77-80%, скорость растёт в 1.14-1.66×, а качество падает лишь на 0.89%. Работает на MATH500, GSM8K, ARC-C, MMLU.
https://arxiv.org/abs/2605.30876
Google Gemini показал 9 демо новых моделей Omni и 3.5 Flash
Google представила два больших обновления на I/O 2026. Gemini Omni умеет создавать видео из любого типа контента — текста, фото, аудио. Главная фишка: редактирование видео через обычный разговор. Говоришь "сделай скрипача невидимым" — модель понимает контекст, сохраняет физику сцены и персонажей.
Gemini 3.5 Flash заточен под агентные задачи. Теперь это дефолтная модель в приложении Gemini и в Search по всему миру. В поиске появятся информационные агенты, которые работают 24/7 и сами находят нужное — например, следят за коллабами любимых спортсменов. Летом — для подписчиков AI Pro и Ultra.
Отдельно запустили Gemini Spark — персональный агент, интегрированный с Gmail, Docs и Slides. Доступен для подписчиков AI Ultra в США.
Omni Flash уже катится для Plus/Pro/Ultra-подписчиков и бесплатно на YouTube Shorts.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-omni-3-5-videos/
Google представила два больших обновления на I/O 2026. Gemini Omni умеет создавать видео из любого типа контента — текста, фото, аудио. Главная фишка: редактирование видео через обычный разговор. Говоришь "сделай скрипача невидимым" — модель понимает контекст, сохраняет физику сцены и персонажей.
Gemini 3.5 Flash заточен под агентные задачи. Теперь это дефолтная модель в приложении Gemini и в Search по всему миру. В поиске появятся информационные агенты, которые работают 24/7 и сами находят нужное — например, следят за коллабами любимых спортсменов. Летом — для подписчиков AI Pro и Ultra.
Отдельно запустили Gemini Spark — персональный агент, интегрированный с Gmail, Docs и Slides. Доступен для подписчиков AI Ultra в США.
Omni Flash уже катится для Plus/Pro/Ultra-подписчиков и бесплатно на YouTube Shorts.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-omni-3-5-videos/
Google
9 demos of Gemini Omni and Gemini 3.5 in action
Watch 9 videos showing the capabilities of Gemini Omni and Gemini 3.5, announced at Google I/O 2026.
Nvidia Tech запустила AlpaGym — фреймворк для замкнутого обучения моделей автопилота.
Раньше модели для автономных автомобилей обучали в «открытом цикле»: просто сравнивали действия модели с эталонными. Проблема в том, что в реальности каждое решение водителя влияет на следующее — ошибки накапливаются.
AlpaGym решает это через замкнутый цикл: модель учится прямо в симуляторе AlpaSim, получая обратную связь от собственных действий (торможение, руление, навигация). Используется метод обучения с подкреплением на базе GRPO и фреймворка Cosmos-RL.
Что важно для разработчиков: система масштабируется от одного GPU до многоузловых кластеров, включает готовые функции наград (прогресс, избегание столкновений, выезд за разметку) и открытый датасет NuRec. Весь стек — open source.
Это критически важно для безопасности автопилота: сценарии, которые статичные датасеты пропускают, симулятор выявляет до выезда на дорогу.
https://developer.nvidia.com/blog/how-to-post-train-autonomous-vehicle-models-in-closed-loop-with-nvidia-alpamayo/
Раньше модели для автономных автомобилей обучали в «открытом цикле»: просто сравнивали действия модели с эталонными. Проблема в том, что в реальности каждое решение водителя влияет на следующее — ошибки накапливаются.
AlpaGym решает это через замкнутый цикл: модель учится прямо в симуляторе AlpaSim, получая обратную связь от собственных действий (торможение, руление, навигация). Используется метод обучения с подкреплением на базе GRPO и фреймворка Cosmos-RL.
Что важно для разработчиков: система масштабируется от одного GPU до многоузловых кластеров, включает готовые функции наград (прогресс, избегание столкновений, выезд за разметку) и открытый датасет NuRec. Весь стек — open source.
Это критически важно для безопасности автопилота: сценарии, которые статичные датасеты пропускают, симулятор выявляет до выезда на дорогу.
https://developer.nvidia.com/blog/how-to-post-train-autonomous-vehicle-models-in-closed-loop-with-nvidia-alpamayo/
NVIDIA Technical Blog
How to Post-Train Autonomous Vehicle Models in Closed-Loop with NVIDIA Alpamayo
Developing autonomous vehicle (AV) policies requires bridging an important gap between training and deployment. Vision-language-action (VLA) models that can reason over more complex driving scenes and…
Nvidia выпустила Cosmos 3 — единую открытую модель для физического ИИ
Nvidia открыла доступ к Cosmos 3 — фундаментальной модели, которая объединяет физическое мышление, генерацию мирового контекста и управление действиями в одной архитектуре. Раньше всё это требовало отдельных моделей и сложной оркестровки.
Модель построена на архитектуре Mixture-of-Transformers с двумя башнями: одна анализирует происходящее, вторая генерирует видео и действия. Доступны две версии — Nano (8B параметров, для рабочих станций) и Super (32B, для датацентров).
Всё выложено в открытый доступ: веса на Hugging Face, код на GitHub, шесть датасетов для роботики, автопилота и складской автоматизации, плюс скрипты для дообучения.
Cosmos 3 уже лидирует в открытых бенчмарках по генерации видео и физическому рассуждению. Это реальный инструмент для команд, строящих роботов, беспилотники и умные пространства.
https://developer.nvidia.com/blog/develop-physical-ai-reasoning-world-and-action-models-with-nvidia-cosmos-3/
Nvidia открыла доступ к Cosmos 3 — фундаментальной модели, которая объединяет физическое мышление, генерацию мирового контекста и управление действиями в одной архитектуре. Раньше всё это требовало отдельных моделей и сложной оркестровки.
Модель построена на архитектуре Mixture-of-Transformers с двумя башнями: одна анализирует происходящее, вторая генерирует видео и действия. Доступны две версии — Nano (8B параметров, для рабочих станций) и Super (32B, для датацентров).
Всё выложено в открытый доступ: веса на Hugging Face, код на GitHub, шесть датасетов для роботики, автопилота и складской автоматизации, плюс скрипты для дообучения.
Cosmos 3 уже лидирует в открытых бенчмарках по генерации видео и физическому рассуждению. Это реальный инструмент для команд, строящих роботов, беспилотники и умные пространства.
https://developer.nvidia.com/blog/develop-physical-ai-reasoning-world-and-action-models-with-nvidia-cosmos-3/
NVIDIA Technical Blog
Develop Physical AI Reasoning, World, and Action Models with NVIDIA Cosmos 3
Physical AI systems must understand the real world before they can act within it. Robots, autonomous vehicles, and smart spaces need to understand what’s happening in their world…
Mellum 2 от JetBrains: 12B параметров, но летит как 2.5B (by JetBrains)
JetBrains выкатили открытую MoE-модель для кода — Mellum 2. Идея: взять архитектуру Qwen3-MoE, но заточить под реальный деплой в IDE.
Ключевые трюки:
— 64 эксперта, 8 активных: больше знаний, но платишь только за 2.5B параметров за токен
— Sliding Window Attention на 3/4 слоёв (окно 1024) — латентность как у Qwen2.5-7B даже на длинных контекстах
— Всего 4 KV-головы в GQA — критично для пропускной способности при параллельных запросах
— MTP-голова: одновременно auxiliary loss при обучении и черновик для speculative decoding
Обучение: 10.6T токенов с постепенным сдвигом от веба к коду (23%→59%), оптимизатор Muon + FP8, контекст растянули до 128K через YaRN.
Результат конкурентен с моделями 4–14B при скорости инференса 7B-dense. Веса открыты под Apache 2.0.
https://arxiv.org/abs/2605.31268
JetBrains выкатили открытую MoE-модель для кода — Mellum 2. Идея: взять архитектуру Qwen3-MoE, но заточить под реальный деплой в IDE.
Ключевые трюки:
— 64 эксперта, 8 активных: больше знаний, но платишь только за 2.5B параметров за токен
— Sliding Window Attention на 3/4 слоёв (окно 1024) — латентность как у Qwen2.5-7B даже на длинных контекстах
— Всего 4 KV-головы в GQA — критично для пропускной способности при параллельных запросах
— MTP-голова: одновременно auxiliary loss при обучении и черновик для speculative decoding
Обучение: 10.6T токенов с постепенным сдвигом от веба к коду (23%→59%), оптимизатор Muon + FP8, контекст растянули до 128K через YaRN.
Результат конкурентен с моделями 4–14B при скорости инференса 7B-dense. Веса открыты под Apache 2.0.
https://arxiv.org/abs/2605.31268
VideoMLA: сжимаем KV-кэш видеодиффузии в 13 раз
Генерация длинных видео авторегрессивными диффузионными моделями упирается в один bottleneck — KV-кэш растёт линейно и жрёт память. На модели Wan-1.3B при 21 кэшированном латентном фрейме это ~6 ГБ только под KV.
Авторы из Virginia Tech взяли идею MLA (Multi-Head Latent Attention) из DeepSeek и применили её к видеодиффузии. Вместо хранения полных KV на каждую голову — один shared низкоранговый латент на токен, из которого все головы восстанавливают ключи и значения через up-проекции. Позиционная информация вынесена отдельно через decoupled 3D-RoPE ключ.
Результат: с 3072 скаляров на токен до 224 — сжатие 92.7%. Забавный момент: авторы честно показывают, что KV-матрицы видеомодели вовсе не низкоранговые (ранг >1300), но это не мешает — архитектурный bottleneck сам задаёт эффективный ранг.
На VBench — лучший long-horizon score, ускорение 1.23x на одном B200.
https://arxiv.org/abs/2605.30351
Генерация длинных видео авторегрессивными диффузионными моделями упирается в один bottleneck — KV-кэш растёт линейно и жрёт память. На модели Wan-1.3B при 21 кэшированном латентном фрейме это ~6 ГБ только под KV.
Авторы из Virginia Tech взяли идею MLA (Multi-Head Latent Attention) из DeepSeek и применили её к видеодиффузии. Вместо хранения полных KV на каждую голову — один shared низкоранговый латент на токен, из которого все головы восстанавливают ключи и значения через up-проекции. Позиционная информация вынесена отдельно через decoupled 3D-RoPE ключ.
Результат: с 3072 скаляров на токен до 224 — сжатие 92.7%. Забавный момент: авторы честно показывают, что KV-матрицы видеомодели вовсе не низкоранговые (ранг >1300), но это не мешает — архитектурный bottleneck сам задаёт эффективный ранг.
На VBench — лучший long-horizon score, ускорение 1.23x на одном B200.
https://arxiv.org/abs/2605.30351
NTP предсказывает токены, но не следит за геометрией представлений — и это проблема
Стандартный next-token prediction (NTP) обучает LLM угадывать следующий токен, но почти не контролирует, как устроены скрытые состояния модели. В итоге — representation degeneration: эмбеддинги схлопываются в узкий анизотропный конус, теряя выразительность.
Авторы из Shanghai Jiao Tong University предлагают NITP (Next Implicit Token Prediction): добавить вспомогательную цель — предсказывать не дискретный токен, а его «неявное представление» из мелких слоёв модели (shallow layers). Эти представления богаче семантически и служат как якоря. Лосс — косинусное сходство между последним скрытым состоянием и shifted shallow-layer представлением следующего токена.
Ключевой плюс: цели генерируются самой моделью на лету (stop-gradient), никаких внешних энкодеров, накладные расходы минимальны. Результат — выше effective rank, меньше анизотропия, и +3.3 пунктов на downstream задачах для 9B MoE и 2B dense моделей.
Стандартный next-token prediction (NTP) обучает LLM угадывать следующий токен, но почти не контролирует, как устроены скрытые состояния модели. В итоге — representation degeneration: эмбеддинги схлопываются в узкий анизотропный конус, теряя выразительность.
Авторы из Shanghai Jiao Tong University предлагают NITP (Next Implicit Token Prediction): добавить вспомогательную цель — предсказывать не дискретный токен, а его «неявное представление» из мелких слоёв модели (shallow layers). Эти представления богаче семантически и служат как якоря. Лосс — косинусное сходство между последним скрытым состоянием и shifted shallow-layer представлением следующего токена.
Ключевой плюс: цели генерируются самой моделью на лету (stop-gradient), никаких внешних энкодеров, накладные расходы минимальны. Результат — выше effective rank, меньше анизотропия, и +3.3 пунктов на downstream задачах для 9B MoE и 2B dense моделей.