NVIDIA выпустила CUDA 13.3 — крупное обновление для разработчиков GPU-приложений.
Главные новинки: CUDA Tile для C++ автоматически управляет параллелизмом и памятью на GPU, избавляя от низкоуровневой возни. Код становится портируемым между архитектурами, включая Hopper.
CUDA Python достиг версии 1.0 — теперь это стабильный релиз с гарантиями совместимости. Добавлены green contexts (изоляция SM-разделов для разных задач), чекпоинтинг процессов (можно снять и восстановить полное состояние GPU) и межпроцессный обмен памятью без копирования.
Фреймворк CompileIQ автоматически тюнингует компилятор и даёт до 15% прироста скорости на ключевых операциях вроде GEMM и attention. Также добавлена поддержка C++23 в NVCC.
Для ML-разработчиков особенно ценен чекпоинтинг — он открывает возможности для отказоустойчивых долгих задач и быстрого старта inference-воркеров.
https://developer.nvidia.com/blog/nvidia-cuda-13-3-enhances-gpu-development-with-tile-programming-in-c-compiler-autotuning-and-python-updates/
Главные новинки: CUDA Tile для C++ автоматически управляет параллелизмом и памятью на GPU, избавляя от низкоуровневой возни. Код становится портируемым между архитектурами, включая Hopper.
CUDA Python достиг версии 1.0 — теперь это стабильный релиз с гарантиями совместимости. Добавлены green contexts (изоляция SM-разделов для разных задач), чекпоинтинг процессов (можно снять и восстановить полное состояние GPU) и межпроцессный обмен памятью без копирования.
Фреймворк CompileIQ автоматически тюнингует компилятор и даёт до 15% прироста скорости на ключевых операциях вроде GEMM и attention. Также добавлена поддержка C++23 в NVCC.
Для ML-разработчиков особенно ценен чекпоинтинг — он открывает возможности для отказоустойчивых долгих задач и быстрого старта inference-воркеров.
https://developer.nvidia.com/blog/nvidia-cuda-13-3-enhances-gpu-development-with-tile-programming-in-c-compiler-autotuning-and-python-updates/
NVIDIA Technical Blog
NVIDIA CUDA 13.3 Enhances GPU Development with Tile Programming in C++, Compiler Autotuning, and Python Updates
NVIDIA CUDA 13.3 brings new capabilities and performance optimizations to developers across the CUDA ecosystem. The launch of NVIDIA CUDA Tile programming in C++, enables high-level…
Qwen-VLA: один робот-мозг для манипуляций, навигации и всего остального (by Qwen)
Главная боль робототехники — каждый тип задач требует отдельной модели. Манипуляции — одна архитектура, навигация — другая, человеческие демонстрации — третья.
Qwen-VLA пытается это сломать. Берут Qwen3.5-4B как VLM-backbone, добавляют DiT-based flow-matching декодер для непрерывных действий — и обучают на всём сразу: манипуляции, навигация, эгоцентрические демонстрации людей, симуляции.
Ключевая идея — embodiment-aware prompt conditioning: вместо отдельных голов под каждого робота просто описываешь платформу текстом ("6-DOF arm, 10Hz, end-effector control") и модель сама адаптируется.
Обучение поэтапное: сначала text-to-action pretraining без визуала (учим декодер "декомпрессировать" инструкции в траектории), потом добавляют картинку, потом SFT, потом RL.
Результат: одна модель работает на нескольких роботах и задачах без переобучения архитектуры.
https://arxiv.org/abs/2605.30280
Главная боль робототехники — каждый тип задач требует отдельной модели. Манипуляции — одна архитектура, навигация — другая, человеческие демонстрации — третья.
Qwen-VLA пытается это сломать. Берут Qwen3.5-4B как VLM-backbone, добавляют DiT-based flow-matching декодер для непрерывных действий — и обучают на всём сразу: манипуляции, навигация, эгоцентрические демонстрации людей, симуляции.
Ключевая идея — embodiment-aware prompt conditioning: вместо отдельных голов под каждого робота просто описываешь платформу текстом ("6-DOF arm, 10Hz, end-effector control") и модель сама адаптируется.
Обучение поэтапное: сначала text-to-action pretraining без визуала (учим декодер "декомпрессировать" инструкции в траектории), потом добавляют картинку, потом SFT, потом RL.
Результат: одна модель работает на нескольких роботах и задачах без переобучения архитектуры.
https://arxiv.org/abs/2605.30280
Как сделать лёгкого охранника для AI-агентов, который работает лучше GPT-5? (by Shanghai AI Lab)
AI-агенты вроде OpenClaw могут делать почти что угодно — и именно это делает их опасными. Авторы предлагают AgentDoG 1.5 — компактный фреймворк безопасности для агентных систем.
Ключевая идея: обучить маленькую модель (0.8B–8B параметров) всего на ~1k примерах, которая будет оценивать траектории агентов по трём измерениям — источник риска, тип ошибки, реальный вред.
Что умеет:
1. Фильтровать данные для SFT и давать reward-сигнал для RL
2. Работать онлайн-гардрейлом в реальном времени без дообучения агента
3. Среда для обучения в 100 раз легче Docker-окружений — 10к параллельных сред на обычной машине
Результат: AgentDoG 1.5 сопоставим с GPT-5.4 и Gemini-3.1-Pro на бенчмарках безопасности, при этом открытый и tiny.
https://arxiv.org/abs/2605.29801
AI-агенты вроде OpenClaw могут делать почти что угодно — и именно это делает их опасными. Авторы предлагают AgentDoG 1.5 — компактный фреймворк безопасности для агентных систем.
Ключевая идея: обучить маленькую модель (0.8B–8B параметров) всего на ~1k примерах, которая будет оценивать траектории агентов по трём измерениям — источник риска, тип ошибки, реальный вред.
Что умеет:
1. Фильтровать данные для SFT и давать reward-сигнал для RL
2. Работать онлайн-гардрейлом в реальном времени без дообучения агента
3. Среда для обучения в 100 раз легче Docker-окружений — 10к параллельных сред на обычной машине
Результат: AgentDoG 1.5 сопоставим с GPT-5.4 и Gemini-3.1-Pro на бенчмарках безопасности, при этом открытый и tiny.
https://arxiv.org/abs/2605.29801
Единый ретривер для всех типов баз данных сразу
Реальные вопросы редко имеют ответ в одном месте: клинический факт — в статье, корпоративные данные — в SQL-таблице, связи между людьми — в графе знаний. Существующие ретриверы работают каждый со своим типом источника. Что если объединить их все?
OmniRetrieval (KAIST AI) предлагает не сводить всё к единому embedding-пространству (это теряет структуру), а наоборот — общаться с каждым источником на его родном языке. Система из трёх шагов: выбрать нужные источники через long-context LLM, сгенерировать нативный запрос (SQL / SPARQL / Cypher / free-text), выполнить и смерджить результаты.
Протестировано на 309 базах знаний четырёх типов из 13 датасетов — стабильно лучше single-source baseline. Добавить новый источник = просто зарегистрировать его дескриптор, никакого переобучения энкодера.
https://arxiv.org/abs/2605.29250
Реальные вопросы редко имеют ответ в одном месте: клинический факт — в статье, корпоративные данные — в SQL-таблице, связи между людьми — в графе знаний. Существующие ретриверы работают каждый со своим типом источника. Что если объединить их все?
OmniRetrieval (KAIST AI) предлагает не сводить всё к единому embedding-пространству (это теряет структуру), а наоборот — общаться с каждым источником на его родном языке. Система из трёх шагов: выбрать нужные источники через long-context LLM, сгенерировать нативный запрос (SQL / SPARQL / Cypher / free-text), выполнить и смерджить результаты.
Протестировано на 309 базах знаний четырёх типов из 13 датасетов — стабильно лучше single-source baseline. Добавить новый источник = просто зарегистрировать его дескриптор, никакого переобучения энкодера.
https://arxiv.org/abs/2605.29250
NVIDIA + StepFun: мощная мультимодальная модель Step 3.7 Flash теперь на GPU NVIDIA
StepFun выпустила Step 3.7 Flash — модель на 198 млрд параметров с архитектурой Mixture-of-Experts, и теперь она доступна на инфраструктуре NVIDIA. Модель понимает текст, изображения и видео, поддерживает контекстное окно 256k токенов и три уровня рассуждения.
Что важно для разработчиков: модель разворачивается через SGLang, TensorRT-LLM и vLLM, а через NVIDIA NIM превращается в готовый к продакшену контейнер с OpenAI-совместимым API — для облака, локальных серверов или гибридных сред.
Есть и файнтюнинг с первого дня: через NeMo Automodel можно обучать модель на своих данных прямо с Hugging Face без конвертации чекпоинтов — 600 токенов/сек на Hopper GPU.
Попробовать можно на build.nvidia.com или скачать чекпоинт с Hugging Face.
https://developer.nvidia.com/blog/run-step-3-7-flash-on-nvidia-gpus-with-enterprise-ready-multimodal-ai/
StepFun выпустила Step 3.7 Flash — модель на 198 млрд параметров с архитектурой Mixture-of-Experts, и теперь она доступна на инфраструктуре NVIDIA. Модель понимает текст, изображения и видео, поддерживает контекстное окно 256k токенов и три уровня рассуждения.
Что важно для разработчиков: модель разворачивается через SGLang, TensorRT-LLM и vLLM, а через NVIDIA NIM превращается в готовый к продакшену контейнер с OpenAI-совместимым API — для облака, локальных серверов или гибридных сред.
Есть и файнтюнинг с первого дня: через NeMo Automodel можно обучать модель на своих данных прямо с Hugging Face без конвертации чекпоинтов — 600 токенов/сек на Hopper GPU.
Попробовать можно на build.nvidia.com или скачать чекпоинт с Hugging Face.
https://developer.nvidia.com/blog/run-step-3-7-flash-on-nvidia-gpus-with-enterprise-ready-multimodal-ai/
NVIDIA Technical Blog
Run Step 3.7 Flash on NVIDIA GPUs with Enterprise-Ready Multimodal AI
AI applications are moving beyond text generation to multimodal systems that can perceive, search, and reason across images, documents, video, and language in real time—turning fragmented information…
PyTorch: как torch.compile ускоряет код до 10 раз
Команда PyTorch опубликовала подробное объяснение механизма Kernel Fusion — ключевой оптимизации за torch.compile.
Суть проста: без компиляции GPU запускает отдельное ядро на каждую операцию. Умножение — ядро, сложение — ядро, активация — ядро. Каждый запуск стоит времени, а промежуточные результаты гоняются туда-обратно через медленную глобальную память.
Компилятор Inductor объединяет зависимые операции в одно Triton-ядро. Пример: три операции (mul → add → sigmoid) превращаются в одно ядро вместо трёх. Данные загружаются один раз, промежуточные значения остаются в быстрых регистрах, финальный результат пишется один раз. Итог: количество обращений к памяти падает на 50%.
Помимо базового pointwise fusion, Inductor умеет сливать редукции (sum, mean, max), присоединять bias и активации к матричному умножению, а также объединять независимые операции над одними данными.
Попробовать просто: добавь @torch.compile к своей функции — менять архитектуру не нужно.
https://pytorch.org/blog/why-is-pytorch-compile-so-fast-kernel-fusion/
Команда PyTorch опубликовала подробное объяснение механизма Kernel Fusion — ключевой оптимизации за torch.compile.
Суть проста: без компиляции GPU запускает отдельное ядро на каждую операцию. Умножение — ядро, сложение — ядро, активация — ядро. Каждый запуск стоит времени, а промежуточные результаты гоняются туда-обратно через медленную глобальную память.
Компилятор Inductor объединяет зависимые операции в одно Triton-ядро. Пример: три операции (mul → add → sigmoid) превращаются в одно ядро вместо трёх. Данные загружаются один раз, промежуточные значения остаются в быстрых регистрах, финальный результат пишется один раз. Итог: количество обращений к памяти падает на 50%.
Помимо базового pointwise fusion, Inductor умеет сливать редукции (sum, mean, max), присоединять bias и активации к матричному умножению, а также объединять независимые операции над одними данными.
Попробовать просто: добавь @torch.compile к своей функции — менять архитектуру не нужно.
https://pytorch.org/blog/why-is-pytorch-compile-so-fast-kernel-fusion/
PyTorch / TokenSpeed побил рекорд скорости инференса
Движок TokenSpeed от LightSeek Foundation установил новый рекорд — 580 токенов в секунду на GPU при запуске модели Qwen3.5-397B-A17B. Это лучший результат среди открытых решений для агентных задач.
Как достигли скорости: убрали лишние копирования памяти, применили продвинутое слияние CUDA-ядер и полностью распараллелили выполнение между CPU и GPU — видеокарта занята постоянно.
Особенность модели Qwen3.5 — гибридная архитектура, где стандартные слои внимания чередуются с линейными (GDN). TokenSpeed поддерживает это «из коробки»: кэширование префиксов, планировщик и disaggregation работают с обоими типами слоёв.
Для агентных сценариев критично: движок умеет переиспользовать общие контексты в многошаговых цепочках вызовов инструментов — это экономит вычисления при длинных диалогах.
TokenSpeed распространяется под лицензией MIT и позиционируется как альтернатива TensorRT-LLM по скорости, но с удобством vLLM.
https://pytorch.org/blog/up-to-580tps-new-speed-record-of-qwen3-5-397b-a17b-on-gpu-for-agentic-workloads-with-tokenspeed/
Движок TokenSpeed от LightSeek Foundation установил новый рекорд — 580 токенов в секунду на GPU при запуске модели Qwen3.5-397B-A17B. Это лучший результат среди открытых решений для агентных задач.
Как достигли скорости: убрали лишние копирования памяти, применили продвинутое слияние CUDA-ядер и полностью распараллелили выполнение между CPU и GPU — видеокарта занята постоянно.
Особенность модели Qwen3.5 — гибридная архитектура, где стандартные слои внимания чередуются с линейными (GDN). TokenSpeed поддерживает это «из коробки»: кэширование префиксов, планировщик и disaggregation работают с обоими типами слоёв.
Для агентных сценариев критично: движок умеет переиспользовать общие контексты в многошаговых цепочках вызовов инструментов — это экономит вычисления при длинных диалогах.
TokenSpeed распространяется под лицензией MIT и позиционируется как альтернатива TensorRT-LLM по скорости, но с удобством vLLM.
https://pytorch.org/blog/up-to-580tps-new-speed-record-of-qwen3-5-397b-a17b-on-gpu-for-agentic-workloads-with-tokenspeed/
minWM: опенсорсный конвейер для интерактивных видео-миров в реальном времени
Хотите сделать из обычной видеомодели интерактивный игровой движок? Теперь есть готовый рецепт.
Авторы выпустили minWM — полный пайплайн, который превращает любую T2V/TI2V диффузионную модель (Wan2.1, HunyuanVideo) в камера-управляемый авторегрессивный генератор с малой задержкой.
Как это работает:
1. Файнтюнинг под управление камерой через PRoPE — камерные параметры встраиваются прямо в self-attention.
2. AR дистилляция через Causal Forcing: сначала учим авторегрессионную диффузию, потом дистиллируем до few-step через causal ODE/CD, финально выравниваем качество через асимметричный DMD с self-rollout.
Главная ценность — не чекпоинт, а воспроизводимый end-to-end пайплайн с промежуточными чекпоинтами на каждом этапе. Плюс практические аблации: качество траекторий камеры, минимальный батч-сайз и т.д.
https://arxiv.org/abs/2605.30263
Хотите сделать из обычной видеомодели интерактивный игровой движок? Теперь есть готовый рецепт.
Авторы выпустили minWM — полный пайплайн, который превращает любую T2V/TI2V диффузионную модель (Wan2.1, HunyuanVideo) в камера-управляемый авторегрессивный генератор с малой задержкой.
Как это работает:
1. Файнтюнинг под управление камерой через PRoPE — камерные параметры встраиваются прямо в self-attention.
2. AR дистилляция через Causal Forcing: сначала учим авторегрессионную диффузию, потом дистиллируем до few-step через causal ODE/CD, финально выравниваем качество через асимметричный DMD с self-rollout.
Главная ценность — не чекпоинт, а воспроизводимый end-to-end пайплайн с промежуточными чекпоинтами на каждом этапе. Плюс практические аблации: качество траекторий камеры, минимальный батч-сайз и т.д.
https://arxiv.org/abs/2605.30263
Диффузионные модели сначала рисуют общий контур, потом детали — и никто не использовал это умно
Все знают, что диффузионные модели сначала формируют низкочастотную структуру (форма, цвет), а потом высокочастотные детали (текстуры, края). Но стандартные SDE-сэмплеры при этом вливают одинаковый белый шум на каждом шаге, игнорируя, что модели нужно на разных этапах.
Авторы из Hebrew University предложили Colored Noise Sampling (CNS): вместо белого шума подавать "цветной" — на ранних шагах больше низкочастотного, на поздних больше высокочастотного. Энергия при этом сохраняется (variance-preserving), так что промежуточные состояния не вылетают за пределы распределения.
Никакого дообучения — чистый plug-and-play сэмплер. На ImageNet-256 FID падает с 8.26 до 6.27 (SiT-XL/2), работает и на FLUX для text-to-image.
https://arxiv.org/abs/2605.30332
Все знают, что диффузионные модели сначала формируют низкочастотную структуру (форма, цвет), а потом высокочастотные детали (текстуры, края). Но стандартные SDE-сэмплеры при этом вливают одинаковый белый шум на каждом шаге, игнорируя, что модели нужно на разных этапах.
Авторы из Hebrew University предложили Colored Noise Sampling (CNS): вместо белого шума подавать "цветной" — на ранних шагах больше низкочастотного, на поздних больше высокочастотного. Энергия при этом сохраняется (variance-preserving), так что промежуточные состояния не вылетают за пределы распределения.
Никакого дообучения — чистый plug-and-play сэмплер. На ImageNet-256 FID падает с 8.26 до 6.27 (SiT-XL/2), работает и на FLUX для text-to-image.
https://arxiv.org/abs/2605.30332
Умеют ли видеомодели понимать причинно-следственные связи?
Видеогенеративные модели учатся на огромных объёмах реального видео и создают реалистичные ролики. Но понимают ли они, почему события происходят именно так? Авторы из Alaya Studio предлагают бенчмарк YoCausal для проверки каузального мышления у видеодиффузионных моделей.
Идея проста и элегантна: если модель понимает причинность, перевёрнутое во времени видео должно казаться ей "удивительным" — то есть получать более высокий loss при денойзинге. Это адаптация VoE-парадигмы из когнитивной науки (так тестируют младенцев!).
Два уровня оценки: RSI измеряет восприятие "стрелы времени", а CCI отделяет это от настоящего понимания причинности — сравнивая реакцию на каузальные и некаузальные видео.
Главный вывод: современные открытые VDM чувствуют направление времени, но почти не понимают причинность. Масштабирование и переход с UNet на DiT помогают, но разрыв с человеком огромен.
https://arxiv.org/abs/2605.30346
Видеогенеративные модели учатся на огромных объёмах реального видео и создают реалистичные ролики. Но понимают ли они, почему события происходят именно так? Авторы из Alaya Studio предлагают бенчмарк YoCausal для проверки каузального мышления у видеодиффузионных моделей.
Идея проста и элегантна: если модель понимает причинность, перевёрнутое во времени видео должно казаться ей "удивительным" — то есть получать более высокий loss при денойзинге. Это адаптация VoE-парадигмы из когнитивной науки (так тестируют младенцев!).
Два уровня оценки: RSI измеряет восприятие "стрелы времени", а CCI отделяет это от настоящего понимания причинности — сравнивая реакцию на каузальные и некаузальные видео.
Главный вывод: современные открытые VDM чувствуют направление времени, но почти не понимают причинность. Масштабирование и переход с UNet на DiT помогают, но разрыв с человеком огромен.
https://arxiv.org/abs/2605.30346
Microsoft Research выпустила Data Formulator 0.7 — open-source инструмент для корпоративной аналитики данных на базе ИИ.
Что нового: система подключается к базам данных, хранилищам, BI-системам и локальным файлам через единый механизм Data Connectors — без повторных ручных загрузок. ИИ-агенты видят весь контекст анализа: подключённые источники, таблицы, предыдущие графики и цель пользователя. Они пишут и запускают код, строят визуализации и задают уточняющие вопросы при неоднозначных запросах.
Почему важно: аналитики без навыков SQL или программирования теперь могут вести сложные многоэтапные исследования. История анализа сохраняется в Data Thread — можно вернуться к любому шагу, создать альтернативную ветку и сравнить результаты.
Графики можно редактировать прямо на канвасе или описывать изменения текстом. Проект открытый — компании могут адаптировать его под свои нужды.
https://www.microsoft.com/en-us/research/blog/data-formulator-0-7-ai-powered-data-analytics-for-enterprise-data/
Что нового: система подключается к базам данных, хранилищам, BI-системам и локальным файлам через единый механизм Data Connectors — без повторных ручных загрузок. ИИ-агенты видят весь контекст анализа: подключённые источники, таблицы, предыдущие графики и цель пользователя. Они пишут и запускают код, строят визуализации и задают уточняющие вопросы при неоднозначных запросах.
Почему важно: аналитики без навыков SQL или программирования теперь могут вести сложные многоэтапные исследования. История анализа сохраняется в Data Thread — можно вернуться к любому шагу, создать альтернативную ветку и сравнить результаты.
Графики можно редактировать прямо на канвасе или описывать изменения текстом. Проект открытый — компании могут адаптировать его под свои нужды.
https://www.microsoft.com/en-us/research/blog/data-formulator-0-7-ai-powered-data-analytics-for-enterprise-data/
Microsoft Research
Data Formulator 0.7: AI-powered data analytics for enterprise data
Data Formulator introduces AI-powered analytics for enterprise data workflows. Data teams can easily bring enterprise data into an AI-ready workspace where users can explore, analyze, and visualize data with AI agents to turn raw data into actionable insights:
Nvidia Tech запустила DynoSim — симулятор для оптимизации развёртывания LLM-моделей.
Суть проста: настройка серверов для больших языковых моделей — это боль. Нужно одновременно подбирать десятки параметров (маршрутизацию, кэш, планировщик, число воркеров), и каждый эксперимент на реальном железе стоит огромных ресурсов.
DynoSim решает это через дискретно-событийную симуляцию всего стека Dynamo. Написан на Rust, работает молниеносно: трассировка из 23 608 запросов, которая в реальности заняла бы 60 минут, симулируется за 2,4 секунды — это в 1500 раз быстрее реального времени.
Что это даёт на практике: можно перебрать тысячи конфигураций виртуально, найти оптимальный баланс между задержкой и пропускной способностью, и только потом тратить GPU-время на проверку лучших вариантов. Уже показано, что умная маршрутизация с учётом KV-кэша поднимает переиспользование префиксов с 38% до 45%.
https://developer.nvidia.com/blog/dynosim-simulating-the-pareto-frontier/
Суть проста: настройка серверов для больших языковых моделей — это боль. Нужно одновременно подбирать десятки параметров (маршрутизацию, кэш, планировщик, число воркеров), и каждый эксперимент на реальном железе стоит огромных ресурсов.
DynoSim решает это через дискретно-событийную симуляцию всего стека Dynamo. Написан на Rust, работает молниеносно: трассировка из 23 608 запросов, которая в реальности заняла бы 60 минут, симулируется за 2,4 секунды — это в 1500 раз быстрее реального времени.
Что это даёт на практике: можно перебрать тысячи конфигураций виртуально, найти оптимальный баланс между задержкой и пропускной способностью, и только потом тратить GPU-время на проверку лучших вариантов. Уже показано, что умная маршрутизация с учётом KV-кэша поднимает переиспользование префиксов с 38% до 45%.
https://developer.nvidia.com/blog/dynosim-simulating-the-pareto-frontier/
NVIDIA Technical Blog
DynoSim: Simulating the Pareto Frontier
Modern LLM serving is hard to tune because each deployment is a stack of interacting choices: model backend, tensor-parallel shape, prefill/decode split, worker counts, scheduler settings…
Nvidia представила MCG Toolkit — инструмент для автоматической генерации документации к AI-моделям.
Создавать модельные карточки вручную — долго и скучно. Nvidia решила эту проблему: MCG Toolkit читает исходный код модели и за минуту генерирует полный пакет документов в формате Model Card++, включая разделы по безопасности, приватности, предвзятости и объяснимости.
Как это работает: три этапа — загрузка источника (GitHub, HuggingFace, PDF), извлечение данных через RAG-пайплайн на базе NIM и GPT-OSS-120B, затем рендеринг в Markdown. Точность — 76–92% в зависимости от качества исходной документации.
Важно: если данных не хватает, система честно помечает пробелы, а не придумывает. Первым крупным пользователем стал Oracle — интегрировал инструмент в OCI AI инфраструктуру.
Актуально в условиях EU AI Act и других регуляторных требований, где аудируемая документация становится обязательной.
https://developer.nvidia.com/blog/how-to-automate-ai-model-documentation-with-the-nvidia-mcg-toolkit/
Создавать модельные карточки вручную — долго и скучно. Nvidia решила эту проблему: MCG Toolkit читает исходный код модели и за минуту генерирует полный пакет документов в формате Model Card++, включая разделы по безопасности, приватности, предвзятости и объяснимости.
Как это работает: три этапа — загрузка источника (GitHub, HuggingFace, PDF), извлечение данных через RAG-пайплайн на базе NIM и GPT-OSS-120B, затем рендеринг в Markdown. Точность — 76–92% в зависимости от качества исходной документации.
Важно: если данных не хватает, система честно помечает пробелы, а не придумывает. Первым крупным пользователем стал Oracle — интегрировал инструмент в OCI AI инфраструктуру.
Актуально в условиях EU AI Act и других регуляторных требований, где аудируемая документация становится обязательной.
https://developer.nvidia.com/blog/how-to-automate-ai-model-documentation-with-the-nvidia-mcg-toolkit/
NVIDIA Technical Blog
How to Automate AI Model Documentation with the NVIDIA MCG Toolkit
As AI models grow in complexity and regulatory scrutiny intensifies under frameworks including California’s AB-2013 and the EU AI Act, software teams face a challenge beyond delivering great code…
50 LoRA-эффектов в одном — без конфликтов и задержек
Хочешь добавить в диффузионную модель 50 разных визуальных эффектов? Обычный путь: обучить 50 отдельных LoRA, хранить их все, маршрутизировать нужную при инференсе и как-то скомбинировать с acceleration LoRA. Итог: огромный storage, задержки роутинга и конфликты между весами.
CollectionLoRA предлагает радикальное решение: дистиллировать всех этих "учителей" в одну единственную LoRA через Multi-Teacher On-Policy Distillation на базе DMD.
Три ключевых трюка:
1. Probabilistic Dual-Stream Routing — подмешивает общие данные как регуляризацию, чтобы не забыть "мир за пределами эффектов"
2. Asymmetric Orthogonal Prompting — учитель и студент видят разные промпты с ортогональными триггерами, изолируя концепты в латентном пространстве
3. Coarse-to-Fine Distillation Objective — комбинирует flow matching с Target Simulation для стабильного обучения
Хочешь добавить в диффузионную модель 50 разных визуальных эффектов? Обычный путь: обучить 50 отдельных LoRA, хранить их все, маршрутизировать нужную при инференсе и как-то скомбинировать с acceleration LoRA. Итог: огромный storage, задержки роутинга и конфликты между весами.
CollectionLoRA предлагает радикальное решение: дистиллировать всех этих "учителей" в одну единственную LoRA через Multi-Teacher On-Policy Distillation на базе DMD.
Три ключевых трюка:
1. Probabilistic Dual-Stream Routing — подмешивает общие данные как регуляризацию, чтобы не забыть "мир за пределами эффектов"
2. Asymmetric Orthogonal Prompting — учитель и студент видят разные промпты с ортогональными триггерами, изолируя концепты в латентном пространстве
3. Coarse-to-Fine Distillation Objective — комбинирует flow matching с Target Simulation для стабильного обучения
(by NVIDIA) VLM думает, что "дальше" = "выше в кадре" — и это не баг, а фича перспективы
Оказывается, большинство VLM решают задачи глубины через грязный лайфхак: если объект выше в кадре — значит он дальше. Это работает на реальных фото (перспектива!), но ломается на контрпримерах.
Авторы из NVIDIA вскрыли это через contrastive probing внутренних эмбеддингов: у слабых моделей оси "вертикаль" и "глубина" перепутаны в пространстве представлений, у сильных — разделены. Горизонтальные отношения (лево/право) при этом всегда кодируются чисто.
Плюс создали SpatialTunnel — синтетический бенчмарк с туннельной геометрией, где вертикальная позиция объекта не коррелирует с глубиной. Модели, которые казались сильными на стандартных бенчмарках, там сыпятся.
Вывод: высокий accuracy на пространственных задачах может просто означать, что модель выучила статистику перспективы, а не научилась рассуждать о 3D.
https://arxiv.org/abs/2605.30161
Оказывается, большинство VLM решают задачи глубины через грязный лайфхак: если объект выше в кадре — значит он дальше. Это работает на реальных фото (перспектива!), но ломается на контрпримерах.
Авторы из NVIDIA вскрыли это через contrastive probing внутренних эмбеддингов: у слабых моделей оси "вертикаль" и "глубина" перепутаны в пространстве представлений, у сильных — разделены. Горизонтальные отношения (лево/право) при этом всегда кодируются чисто.
Плюс создали SpatialTunnel — синтетический бенчмарк с туннельной геометрией, где вертикальная позиция объекта не коррелирует с глубиной. Модели, которые казались сильными на стандартных бенчмарках, там сыпятся.
Вывод: высокий accuracy на пространственных задачах может просто означать, что модель выучила статистику перспективы, а не научилась рассуждать о 3D.
https://arxiv.org/abs/2605.30161
GenClaw: ИИ-агент рисует как художник — сначала скетч кодом, потом раскрашивает нейросетью (by Tencent)
Главная проблема агентных систем генерации изображений: агент умеет только переписывать промпты, а итоговую картинку рисует чёрный ящик. Никакого реального контроля над пространством, слоями, текстом.
GenClaw предлагает трёхшаговый пайплайн по аналогии с работой художника:
1. Conceptualize — поиск и рассуждение для сбора контекста
2. Sketch — LLM пишет SVG/HTML/Three.js код как "цифровую кисть", задавая координаты, z-order, физику
3. Color — диффузионная модель раскрашивает структурированный скетч, добавляя текстуры и реализм
Итог: точное позиционирование объектов, надёжный рендеринг текста, симуляция физики, послойное редактирование. И главное — прозрачность: при ошибке сразу видно, на каком шаге сломалось.
https://arxiv.org/abs/2605.30248
Главная проблема агентных систем генерации изображений: агент умеет только переписывать промпты, а итоговую картинку рисует чёрный ящик. Никакого реального контроля над пространством, слоями, текстом.
GenClaw предлагает трёхшаговый пайплайн по аналогии с работой художника:
1. Conceptualize — поиск и рассуждение для сбора контекста
2. Sketch — LLM пишет SVG/HTML/Three.js код как "цифровую кисть", задавая координаты, z-order, физику
3. Color — диффузионная модель раскрашивает структурированный скетч, добавляя текстуры и реализм
Итог: точное позиционирование объектов, надёжный рендеринг текста, симуляция физики, послойное редактирование. И главное — прозрачность: при ошибке сразу видно, на каком шаге сломалось.
https://arxiv.org/abs/2605.30248
Representation Forcing: избавляемся от VAE в мультимодальных моделях (by ByteDance Seed)
Все крутые мультимодальные модели (Transfusion, Show-o и др.) генерируют картинки через замороженный VAE — внешний энкодер/декодер, обученный отдельно. Это структурный bottleneck: VAE оптимизирован под реконструкцию, а не под задачи модели.
Идея Representation Forcing: убрать VAE совсем и генерировать прямо в пространстве пикселей, но с умным scaffold-ом. Декодер учится сначала авторегрессивно предсказывать визуальные токены (дискретизированные фичи собственного энкодера понимания), а потом уже диффузией рендерит пиксели. Представления берутся не снаружи, а из совместно обученного энкодера той же модели.
Результат: pixel-space модель с RF догоняет VAE-based baseline на генерации и обгоняет его на понимании. Полностью end-to-end, без внешних компонентов.
https://arxiv.org/abs/2605.31604
Все крутые мультимодальные модели (Transfusion, Show-o и др.) генерируют картинки через замороженный VAE — внешний энкодер/декодер, обученный отдельно. Это структурный bottleneck: VAE оптимизирован под реконструкцию, а не под задачи модели.
Идея Representation Forcing: убрать VAE совсем и генерировать прямо в пространстве пикселей, но с умным scaffold-ом. Декодер учится сначала авторегрессивно предсказывать визуальные токены (дискретизированные фичи собственного энкодера понимания), а потом уже диффузией рендерит пиксели. Представления берутся не снаружи, а из совместно обученного энкодера той же модели.
Результат: pixel-space модель с RF догоняет VAE-based baseline на генерации и обгоняет его на понимании. Полностью end-to-end, без внешних компонентов.
https://arxiv.org/abs/2605.31604
SANA-Streaming: редактирование видео в реальном времени прямо на потребительском GPU (by NVIDIA)
Главная боль стриминговых видеоредакторов: softmax attention жрёт память пропорционально длине видео, а linear attention даёт дрожание на границах чанков. NVIDIA решила не выбирать — взяли гибрид.
SANA-Streaming чередует два типа блоков: Gated DeltaNet (линейное внимание с коррекцией по delta-rule) для глобальной памяти и softmax-блоки с window attention + sink-токен для локальной детализации. Память остаётся константной при любой длине видео.
Для обучения без парных длинных видео придумали Cycle-Reverse Regularization: модель сначала редактирует чанк, потом восстанавливает оригинал по обратному промпту. Это форсирует долгосрочную консистентность.
Плюс системная оптимизация: фьюзинг GDN-ядер и AutoML-поиск смешанной точности (FP4/FP8/BF16 по слоям) дали +59% скорости над BF16.
Итог: 24 FPS end-to-end на RTX 5090 при 5.56 GB VRAM против 20+ GB у all-softmax варианта.
https://arxiv.org/abs/2605.30409
Главная боль стриминговых видеоредакторов: softmax attention жрёт память пропорционально длине видео, а linear attention даёт дрожание на границах чанков. NVIDIA решила не выбирать — взяли гибрид.
SANA-Streaming чередует два типа блоков: Gated DeltaNet (линейное внимание с коррекцией по delta-rule) для глобальной памяти и softmax-блоки с window attention + sink-токен для локальной детализации. Память остаётся константной при любой длине видео.
Для обучения без парных длинных видео придумали Cycle-Reverse Regularization: модель сначала редактирует чанк, потом восстанавливает оригинал по обратному промпту. Это форсирует долгосрочную консистентность.
Плюс системная оптимизация: фьюзинг GDN-ядер и AutoML-поиск смешанной точности (FP4/FP8/BF16 по слоям) дали +59% скорости над BF16.
Итог: 24 FPS end-to-end на RTX 5090 при 5.56 GB VRAM против 20+ GB у all-softmax варианта.
https://arxiv.org/abs/2605.30409
dMoE: как ускорить диффузионные LLM с MoE в 1.66× без потерь качества
Диффузионные LLM (dLLMs) — крутая альтернатива авторегрессионным моделям: они генерируют токены параллельно, а не слева направо. Но когда туда добавляют MoE-архитектуру, возникает проблема: за один проход модель активирует огромное число уникальных экспертов, и память становится главным узким местом.
Авторы из NUS предлагают dMoE — простую идею: вместо того чтобы каждый токен независимо выбирал экспертов, агрегируем скоры всех токенов блока в единый блочный скор, и уже по нему ограничиваем набор активных экспертов через top-p критерий. Дообучение через self-distillation.
Результат на LLaDA2.0-mini: уникальных экспертов меньше в 4.77×, память экономится на 77-80%, скорость растёт в 1.14-1.66×, а качество падает лишь на 0.89%. Работает на MATH500, GSM8K, ARC-C, MMLU.
https://arxiv.org/abs/2605.30876
Диффузионные LLM (dLLMs) — крутая альтернатива авторегрессионным моделям: они генерируют токены параллельно, а не слева направо. Но когда туда добавляют MoE-архитектуру, возникает проблема: за один проход модель активирует огромное число уникальных экспертов, и память становится главным узким местом.
Авторы из NUS предлагают dMoE — простую идею: вместо того чтобы каждый токен независимо выбирал экспертов, агрегируем скоры всех токенов блока в единый блочный скор, и уже по нему ограничиваем набор активных экспертов через top-p критерий. Дообучение через self-distillation.
Результат на LLaDA2.0-mini: уникальных экспертов меньше в 4.77×, память экономится на 77-80%, скорость растёт в 1.14-1.66×, а качество падает лишь на 0.89%. Работает на MATH500, GSM8K, ARC-C, MMLU.
https://arxiv.org/abs/2605.30876
Google Gemini показал 9 демо новых моделей Omni и 3.5 Flash
Google представила два больших обновления на I/O 2026. Gemini Omni умеет создавать видео из любого типа контента — текста, фото, аудио. Главная фишка: редактирование видео через обычный разговор. Говоришь "сделай скрипача невидимым" — модель понимает контекст, сохраняет физику сцены и персонажей.
Gemini 3.5 Flash заточен под агентные задачи. Теперь это дефолтная модель в приложении Gemini и в Search по всему миру. В поиске появятся информационные агенты, которые работают 24/7 и сами находят нужное — например, следят за коллабами любимых спортсменов. Летом — для подписчиков AI Pro и Ultra.
Отдельно запустили Gemini Spark — персональный агент, интегрированный с Gmail, Docs и Slides. Доступен для подписчиков AI Ultra в США.
Omni Flash уже катится для Plus/Pro/Ultra-подписчиков и бесплатно на YouTube Shorts.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-omni-3-5-videos/
Google представила два больших обновления на I/O 2026. Gemini Omni умеет создавать видео из любого типа контента — текста, фото, аудио. Главная фишка: редактирование видео через обычный разговор. Говоришь "сделай скрипача невидимым" — модель понимает контекст, сохраняет физику сцены и персонажей.
Gemini 3.5 Flash заточен под агентные задачи. Теперь это дефолтная модель в приложении Gemini и в Search по всему миру. В поиске появятся информационные агенты, которые работают 24/7 и сами находят нужное — например, следят за коллабами любимых спортсменов. Летом — для подписчиков AI Pro и Ultra.
Отдельно запустили Gemini Spark — персональный агент, интегрированный с Gmail, Docs и Slides. Доступен для подписчиков AI Ultra в США.
Omni Flash уже катится для Plus/Pro/Ultra-подписчиков и бесплатно на YouTube Shorts.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-omni-3-5-videos/
Google
9 demos of Gemini Omni and Gemini 3.5 in action
Watch 9 videos showing the capabilities of Gemini Omni and Gemini 3.5, announced at Google I/O 2026.
Nvidia Tech запустила AlpaGym — фреймворк для замкнутого обучения моделей автопилота.
Раньше модели для автономных автомобилей обучали в «открытом цикле»: просто сравнивали действия модели с эталонными. Проблема в том, что в реальности каждое решение водителя влияет на следующее — ошибки накапливаются.
AlpaGym решает это через замкнутый цикл: модель учится прямо в симуляторе AlpaSim, получая обратную связь от собственных действий (торможение, руление, навигация). Используется метод обучения с подкреплением на базе GRPO и фреймворка Cosmos-RL.
Что важно для разработчиков: система масштабируется от одного GPU до многоузловых кластеров, включает готовые функции наград (прогресс, избегание столкновений, выезд за разметку) и открытый датасет NuRec. Весь стек — open source.
Это критически важно для безопасности автопилота: сценарии, которые статичные датасеты пропускают, симулятор выявляет до выезда на дорогу.
https://developer.nvidia.com/blog/how-to-post-train-autonomous-vehicle-models-in-closed-loop-with-nvidia-alpamayo/
Раньше модели для автономных автомобилей обучали в «открытом цикле»: просто сравнивали действия модели с эталонными. Проблема в том, что в реальности каждое решение водителя влияет на следующее — ошибки накапливаются.
AlpaGym решает это через замкнутый цикл: модель учится прямо в симуляторе AlpaSim, получая обратную связь от собственных действий (торможение, руление, навигация). Используется метод обучения с подкреплением на базе GRPO и фреймворка Cosmos-RL.
Что важно для разработчиков: система масштабируется от одного GPU до многоузловых кластеров, включает готовые функции наград (прогресс, избегание столкновений, выезд за разметку) и открытый датасет NuRec. Весь стек — open source.
Это критически важно для безопасности автопилота: сценарии, которые статичные датасеты пропускают, симулятор выявляет до выезда на дорогу.
https://developer.nvidia.com/blog/how-to-post-train-autonomous-vehicle-models-in-closed-loop-with-nvidia-alpamayo/
NVIDIA Technical Blog
How to Post-Train Autonomous Vehicle Models in Closed-Loop with NVIDIA Alpamayo
Developing autonomous vehicle (AV) policies requires bridging an important gap between training and deployment. Vision-language-action (VLA) models that can reason over more complex driving scenes and…