Nvidia представила DFlash — ускорение вывода LLM до 15x
Nvidia выпустила DFlash, открытый метод спекулятивного декодирования на основе блочной диффузии. Вместо последовательной генерации токенов DFlash создаёт целые блоки сразу, а целевая модель проверяет их параллельно.
Результаты впечатляют: на GPU Blackwell модель gpt-oss-120b ускоряется до 15x по сравнению с обычным декодированием, Llama 3.1 8B — почти вдвое быстрее EAGLE-3, Gemma 4 31B — до 5.8x, Qwen3 8B — до 5.1x.
Главный плюс для разработчиков — никакого рефакторинга кода. DFlash уже встроен в SGLang, vLLM и TensorRT-LLM. На Hugging Face опубликованы 20 готовых чекпоинтов для архитектур Blackwell и Hopper, охватывающих Llama, Gemma, Qwen и другие популярные семейства моделей.
https://developer.nvidia.com/blog/boost-inference-performance-up-to-15x-on-nvidia-blackwell-using-dflash-speculative-decoding/
Nvidia выпустила DFlash, открытый метод спекулятивного декодирования на основе блочной диффузии. Вместо последовательной генерации токенов DFlash создаёт целые блоки сразу, а целевая модель проверяет их параллельно.
Результаты впечатляют: на GPU Blackwell модель gpt-oss-120b ускоряется до 15x по сравнению с обычным декодированием, Llama 3.1 8B — почти вдвое быстрее EAGLE-3, Gemma 4 31B — до 5.8x, Qwen3 8B — до 5.1x.
Главный плюс для разработчиков — никакого рефакторинга кода. DFlash уже встроен в SGLang, vLLM и TensorRT-LLM. На Hugging Face опубликованы 20 готовых чекпоинтов для архитектур Blackwell и Hopper, охватывающих Llama, Gemma, Qwen и другие популярные семейства моделей.
https://developer.nvidia.com/blog/boost-inference-performance-up-to-15x-on-nvidia-blackwell-using-dflash-speculative-decoding/
NVIDIA Technical Blog
Boost Inference Performance up to 15x on NVIDIA Blackwell Using DFlash Speculative Decoding
As AI systems move from single-turn interactions to coordinated multiagent workflows, low-latency inference becomes increasingly important. Autoregressive LLMs generate tokens sequentially…
Qwen-AgentWorld: что если LLM сама симулирует окружение для агентов? (by Qwen)
Обычно агентов обучают в реальных средах — браузерах, терминалах, ОС. Это дорого, медленно и небезопасно для необратимых операций. Qwen предлагают Language World Model (LWM) — модель, которая сама предсказывает следующее состояние среды после действия агента.
Как устроено: три стадии обучения — CPT (инжектируем знание о переходах состояний), SFT (учим думать о предсказании), RL с гибридными наградами (точность симуляции). Охватывает 7 сред: терминал, браузер, Android, SWE, поиск, MCP, OS.
Два применения: симулятор для RL-обучения агентов без реальной среды + "тёплый старт" для агентов, которые сначала учатся предсказывать мир, а потом действовать в нём.
Результат: агенты, обученные через LWM-симулятор с контролируемыми edge-cases, обходят тех, кто учился только в реальных средах.
https://arxiv.org/abs/2606.24597
Обычно агентов обучают в реальных средах — браузерах, терминалах, ОС. Это дорого, медленно и небезопасно для необратимых операций. Qwen предлагают Language World Model (LWM) — модель, которая сама предсказывает следующее состояние среды после действия агента.
Как устроено: три стадии обучения — CPT (инжектируем знание о переходах состояний), SFT (учим думать о предсказании), RL с гибридными наградами (точность симуляции). Охватывает 7 сред: терминал, браузер, Android, SWE, поиск, MCP, OS.
Два применения: симулятор для RL-обучения агентов без реальной среды + "тёплый старт" для агентов, которые сначала учатся предсказывать мир, а потом действовать в нём.
Результат: агенты, обученные через LWM-симулятор с контролируемыми edge-cases, обходят тех, кто учился только в реальных средах.
https://arxiv.org/abs/2606.24597
MobileForge: мобильный GUI-агент без единой человеческой аннотации (by Kwai)
Разметка для обучения мобильных агентов стоит дорого и быстро устаревает — приложения меняются постоянно. MobileForge решает это без единой человеческой задачи, демонстрации или метки награды.
Как работает система:
1. MobileGym исследует целевые приложения через depth-first обход, генерирует задачи из реальных UI-переходов и оценивает попытки иерархически: исход (успех/провал), пошаговое качество и корректирующие подсказки.
2. HiFPO использует эти подсказки в следующих попытках, отфильтровывает уже решённые задачи, отбирает полезные шаги и обучает политику через hint-контекстуализированный GRPO.
Результат: ForgeOwl-8B достигает 77.6% Pass@3 на AndroidWorld и 41.0% на MobileWorld — лучший open-data мобильный агент в сравнении.
https://arxiv.org/abs/2606.19930
Разметка для обучения мобильных агентов стоит дорого и быстро устаревает — приложения меняются постоянно. MobileForge решает это без единой человеческой задачи, демонстрации или метки награды.
Как работает система:
1. MobileGym исследует целевые приложения через depth-first обход, генерирует задачи из реальных UI-переходов и оценивает попытки иерархически: исход (успех/провал), пошаговое качество и корректирующие подсказки.
2. HiFPO использует эти подсказки в следующих попытках, отфильтровывает уже решённые задачи, отбирает полезные шаги и обучает политику через hint-контекстуализированный GRPO.
Результат: ForgeOwl-8B достигает 77.6% Pass@3 на AndroidWorld и 41.0% на MobileWorld — лучший open-data мобильный агент в сравнении.
https://arxiv.org/abs/2606.19930
Как правильно готовить данные для агентных LLM — 100+ экспериментов и открытый датасет
Все знают, что данные решают всё, но никто не рассказывает как именно их готовить для агентных моделей. Авторы из десятков университетов провели 100+ ablation-экспериментов и собрали открытый пайплайн из 6 этапов для SFT-данных агентов.
Ключевые находки: выбор инструкций важнее всего остального; самая сильная модель-учитель — не всегда лучшая; фильтрация в пользу длинных траекторий (больше ходов модели) улучшает обучение; повторение топ-источников быстро даёт убывающую отдачу — нужна диверсификация.
Результат: Qwen3-32B, дообученный на 100k примерах из их пайплайна, набирает 54.0% на SWE-Bench Verified и 26.2% на Terminal-Bench 2.0 — лучший результат среди открытых моделей до 32B. Датасет, код и модели — в открытом доступе на openthoughts.ai.
https://arxiv.org/abs/2606.24855
Все знают, что данные решают всё, но никто не рассказывает как именно их готовить для агентных моделей. Авторы из десятков университетов провели 100+ ablation-экспериментов и собрали открытый пайплайн из 6 этапов для SFT-данных агентов.
Ключевые находки: выбор инструкций важнее всего остального; самая сильная модель-учитель — не всегда лучшая; фильтрация в пользу длинных траекторий (больше ходов модели) улучшает обучение; повторение топ-источников быстро даёт убывающую отдачу — нужна диверсификация.
Результат: Qwen3-32B, дообученный на 100k примерах из их пайплайна, набирает 54.0% на SWE-Bench Verified и 26.2% на Terminal-Bench 2.0 — лучший результат среди открытых моделей до 32B. Датасет, код и модели — в открытом доступе на openthoughts.ai.
https://arxiv.org/abs/2606.24855
OpenAI совместно с Broadcom представили собственный чип для ИИ под названием Jalapeño. Он создан специально под задачи инференса больших языковых моделей — то есть для работы уже обученных нейросетей с пользователями.
Главная цель — повысить скорость, энергоэффективность и масштабируемость ИИ-систем. Это прямой ответ на растущую зависимость OpenAI от чипов Nvidia, которые дороги и дефицитны.
Для пользователей это может означать более быстрые ответы ChatGPT и снижение стоимости запросов в будущем. OpenAI явно делает ставку на собственное железо — и Jalapeño первый серьёзный шаг в этом направлении.
https://openai.com/index/openai-broadcom-jalapeno-inference-chip
Главная цель — повысить скорость, энергоэффективность и масштабируемость ИИ-систем. Это прямой ответ на растущую зависимость OpenAI от чипов Nvidia, которые дороги и дефицитны.
Для пользователей это может означать более быстрые ответы ChatGPT и снижение стоимости запросов в будущем. OpenAI явно делает ставку на собственное железо — и Jalapeño первый серьёзный шаг в этом направлении.
https://openai.com/index/openai-broadcom-jalapeno-inference-chip
OpenAI
OpenAI and Broadcom unveil LLM-optimized inference chip
OpenAI and Broadcom introduce Jalapeño, a custom AI chip built for LLM inference to improve performance, efficiency, and scale across AI systems.
Google Gemini — управление компьютером теперь встроено в Gemini 3.5 Flash
Google интегрировала computer use прямо в Gemini 3.5 Flash. Раньше эта функция была доступна только как отдельная модель Gemini 2.5 — теперь она часть основного Flash-модели.
Что это значит: разработчики могут строить агентов, которые видят экран, рассуждают и выполняют действия в браузере, на мобильных и десктопных платформах. Сценарии — автоматизация тестирования ПО, работа с корпоративными приложениями, длинные многошаговые задачи.
Для безопасности Google добавила защиту от prompt injection через adversarial training, а также два корпоративных инструмента: подтверждение чувствительных действий пользователем и автостоп при обнаружении атаки.
Доступно через Gemini API и Gemini Enterprise Agent Platform.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-computer-use-gemini-3-5-flash/
Google интегрировала computer use прямо в Gemini 3.5 Flash. Раньше эта функция была доступна только как отдельная модель Gemini 2.5 — теперь она часть основного Flash-модели.
Что это значит: разработчики могут строить агентов, которые видят экран, рассуждают и выполняют действия в браузере, на мобильных и десктопных платформах. Сценарии — автоматизация тестирования ПО, работа с корпоративными приложениями, длинные многошаговые задачи.
Для безопасности Google добавила защиту от prompt injection через adversarial training, а также два корпоративных инструмента: подтверждение чувствительных действий пользователем и автостоп при обнаружении атаки.
Доступно через Gemini API и Gemini Enterprise Agent Platform.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-computer-use-gemini-3-5-flash/
Google
Introducing computer use in Gemini 3.5 Flash
A look at the built-in computer use tool in Gemini 3.5 Flash.
Microsoft Research: ИИ-инструмент Talos ставит диагнозы редких болезней, которые пропустили врачи
Исследователи из Microsoft совместно с австралийскими и американскими учёными создали Talos — открытый инструмент для автоматического повторного анализа геномных данных пациентов с редкими заболеваниями.
Суть проблемы: больше половины пациентов после геномного теста остаются без диагноза — просто потому что наука ещё не знала нужных ответов на момент анализа. Но геном можно перепроверить позже, когда знания обновятся.
Talos делает это автоматически. Он переанализирует сохранённые данные с учётом актуальных баз знаний и выдаёт врачу только реально новые находки — в среднем 1,3 варианта на пациента для проверки.
Результат на когорте из 4735 человек: 241 новый диагноз (5,1% дополнительный выход). От появления новых научных данных до постановки диагноза проходило в среднем 32 дня.
Инструмент уже в открытом доступе и может масштабироваться на тысячи пациентов без роста нагрузки на специалистов.
https://www.microsoft.com/en-us/research/blog/talos-scaling-rare-disease-diagnosis-with-automated-iterative-genomic-reanalysis/
Исследователи из Microsoft совместно с австралийскими и американскими учёными создали Talos — открытый инструмент для автоматического повторного анализа геномных данных пациентов с редкими заболеваниями.
Суть проблемы: больше половины пациентов после геномного теста остаются без диагноза — просто потому что наука ещё не знала нужных ответов на момент анализа. Но геном можно перепроверить позже, когда знания обновятся.
Talos делает это автоматически. Он переанализирует сохранённые данные с учётом актуальных баз знаний и выдаёт врачу только реально новые находки — в среднем 1,3 варианта на пациента для проверки.
Результат на когорте из 4735 человек: 241 новый диагноз (5,1% дополнительный выход). От появления новых научных данных до постановки диагноза проходило в среднем 32 дня.
Инструмент уже в открытом доступе и может масштабироваться на тысячи пациентов без роста нагрузки на специалистов.
https://www.microsoft.com/en-us/research/blog/talos-scaling-rare-disease-diagnosis-with-automated-iterative-genomic-reanalysis/
Microsoft Research
Talos brings continuous genomic reanalysis to nearly 5,000 unsolved cases
Talos was built to help resolve a major bottleneck in genomic medicine: human review time. The open-source system recovered 90% of in-scope diagnoses while surfacing just 1.3 candidate variants per patient for expert review.
Единой "лучшей" памяти для LLM-агентов не существует — и вот почему
Исследователи из Shanghai Jiao Tong University провели масштабный сравнительный анализ 12 систем памяти для LLM-агентов на 11 датасетах. Вместо привычного "чёрного ящика" они разложили память на 4 модуля: представление и хранение, извлечение фактов, поиск и роутинг, обслуживание (консолидация/забывание).
Ключевые находки:
— Ни одна архитектура не выигрывает везде: гибридные системы лучше в диалогах, граф-based — в фактических вопросах, но плохо с временны́м рассуждением.
— Чем дальше во времени факт — тем хуже его находят (similarity-based поиск деградирует).
— Append-only хранилища страдают от "галлюцинаций прошлого": возвращают устаревшие факты.
— Сложные структурированные системы в сотни раз медленнее простых, но точнее не всегда.
— Каждый слой абстракции (сжатие, суммаризация) незаметно теряет информацию.
Вывод: агент-нативная система памяти ещё не создана. Поле открыто.
https://arxiv.org/abs/2606.24775
Исследователи из Shanghai Jiao Tong University провели масштабный сравнительный анализ 12 систем памяти для LLM-агентов на 11 датасетах. Вместо привычного "чёрного ящика" они разложили память на 4 модуля: представление и хранение, извлечение фактов, поиск и роутинг, обслуживание (консолидация/забывание).
Ключевые находки:
— Ни одна архитектура не выигрывает везде: гибридные системы лучше в диалогах, граф-based — в фактических вопросах, но плохо с временны́м рассуждением.
— Чем дальше во времени факт — тем хуже его находят (similarity-based поиск деградирует).
— Append-only хранилища страдают от "галлюцинаций прошлого": возвращают устаревшие факты.
— Сложные структурированные системы в сотни раз медленнее простых, но точнее не всегда.
— Каждый слой абстракции (сжатие, суммаризация) незаметно теряет информацию.
Вывод: агент-нативная система памяти ещё не создана. Поле открыто.
https://arxiv.org/abs/2606.24775
Один трансформер вместо целого зоопарка модулей для живого общения (by Wan-AI)
Обычные системы голосового/видео-общения — это конвейер из ASR, LLM, TTS и генерации видео. Каждая граница между модулями добавляет задержку и ошибки синхронизации.
Wan-Streamer делает иначе: один трансформер обрабатывает язык, аудио и видео одновременно — и на входе, и на выходе. Никаких внешних модулей. Полный дуплекс: пока агент говорит, он продолжает воспринимать пользователя и может быть прерван.
Ключевая инженерная идея — разделение на "мыслителя" и "исполнителя" при инференсе. Мыслитель обновляет KV-кэш на основе новых наблюдений, исполнитель параллельно генерирует следующий аудио-видео фрагмент через flow matching. Они обмениваются KV-кэшем, перекрывая вычисления.
Результат: ~200 мс задержки на стороне модели, ~550 мс суммарно с сетью. Это реальный разговор в реальном времени — с видео.
https://arxiv.org/abs/2606.25041
Обычные системы голосового/видео-общения — это конвейер из ASR, LLM, TTS и генерации видео. Каждая граница между модулями добавляет задержку и ошибки синхронизации.
Wan-Streamer делает иначе: один трансформер обрабатывает язык, аудио и видео одновременно — и на входе, и на выходе. Никаких внешних модулей. Полный дуплекс: пока агент говорит, он продолжает воспринимать пользователя и может быть прерван.
Ключевая инженерная идея — разделение на "мыслителя" и "исполнителя" при инференсе. Мыслитель обновляет KV-кэш на основе новых наблюдений, исполнитель параллельно генерирует следующий аудио-видео фрагмент через flow matching. Они обмениваются KV-кэшем, перекрывая вычисления.
Результат: ~200 мс задержки на стороне модели, ~550 мс суммарно с сетью. Это реальный разговор в реальном времени — с видео.
https://arxiv.org/abs/2606.25041
Быстрое видео без error accumulation — наконец-то решено? (by NVIDIA)
Проблема авторегрессивных видеомоделей: если генерировать кадры последовательно, ошибки накапливаются и качество падает. Teacher-forcing обучает на реальных кадрах — стабильно, но на инференсе модель видит свои же артефакты. Self-forcing обучает на собственных роллаутах — честно, но нестабильно и склонно к mode collapse.
NVIDIA предлагают Causal-rCM: объединить оба подхода. Teacher-forcing Consistency Model даёт стабильную инициализацию с покрытием мод, а Self-forcing DMD затем оптимизирует реальное инференс-распределение. Это расширение идеи rCM на авторегрессивное видео.
Бонус: кастомный FlashAttention-2 JVP-kernel для causal масок даёт 10× ускорение сходимости по сравнению с дискретными CM.
Результат — стриминг длинных видео и интерактивные world-модели в реальном времени без деградации качества.
https://arxiv.org/abs/2606.25473
Проблема авторегрессивных видеомоделей: если генерировать кадры последовательно, ошибки накапливаются и качество падает. Teacher-forcing обучает на реальных кадрах — стабильно, но на инференсе модель видит свои же артефакты. Self-forcing обучает на собственных роллаутах — честно, но нестабильно и склонно к mode collapse.
NVIDIA предлагают Causal-rCM: объединить оба подхода. Teacher-forcing Consistency Model даёт стабильную инициализацию с покрытием мод, а Self-forcing DMD затем оптимизирует реальное инференс-распределение. Это расширение идеи rCM на авторегрессивное видео.
Бонус: кастомный FlashAttention-2 JVP-kernel для causal масок даёт 10× ускорение сходимости по сравнению с дискретными CM.
Результат — стриминг длинных видео и интерактивные world-модели в реальном времени без деградации качества.
https://arxiv.org/abs/2606.25473
Microsoft Research совместно с учёными из Беркли, UCSF и Колумбийского университета опубликовали работу в Nature Neuroscience о методе GCT — генеративном причинном тестировании.
Проблема была такой: LLM-модели хорошо предсказывают активность мозга в ответ на язык, но объяснить почему — не могут. Миллионы параметров, никакой читаемой теории.
GCT решает это в два шага. Сначала модель выделяет фразы, сильнее всего активирующие конкретный участок коры, и LLM сжимает их в короткое объяснение — например, "приготовление еды" или "названия мест". Затем другой LLM пишет специальные истории под это объяснение, человек слушает их в МРТ-сканере — и если нужная область загорается, гипотеза подтверждена.
Метод не только воспроизвёл известные результаты, но и разграничил три зоны обработки пространства, которые раньше считались взаимозаменяемыми. А ещё обнаружил новые микрозоны префронтальной коры — одна реагирует на диалоги, другая на время суток, третья на числовые измерения.
https://www.microsoft.com/en-us/research/blog/understanding-the-brain-with-ai-driven-explanations-and-experiments/
Проблема была такой: LLM-модели хорошо предсказывают активность мозга в ответ на язык, но объяснить почему — не могут. Миллионы параметров, никакой читаемой теории.
GCT решает это в два шага. Сначала модель выделяет фразы, сильнее всего активирующие конкретный участок коры, и LLM сжимает их в короткое объяснение — например, "приготовление еды" или "названия мест". Затем другой LLM пишет специальные истории под это объяснение, человек слушает их в МРТ-сканере — и если нужная область загорается, гипотеза подтверждена.
Метод не только воспроизвёл известные результаты, но и разграничил три зоны обработки пространства, которые раньше считались взаимозаменяемыми. А ещё обнаружил новые микрозоны префронтальной коры — одна реагирует на диалоги, другая на время суток, третья на числовые измерения.
https://www.microsoft.com/en-us/research/blog/understanding-the-brain-with-ai-driven-explanations-and-experiments/
Microsoft Research
Turning brain prediction models into testable explanations
Researchers introduce generative causal testing, which translates black box models into clear hypotheses and verifies them in the scanner, revealing what specific brain regions respond to in language.
Nvidia представила нативную поддержку многопроцессорного инференса в TensorRT 11.0
Nvidia выпустила TensorRT 11.0 с поддержкой multi-device inference — теперь большие AI-модели можно запускать сразу на нескольких GPU без потери оптимизаций вроде квантизации и слияния ядер.
Что нового: движок использует библиотеку NCCL для распределённых вычислений и поддерживает три стратегии параллелизма — AllGather KV, Ring Attention и DeepSpeed Ulysses. Последний показал наименьшую задержку на длинных последовательностях в тестах с моделями Cosmos 3 и FLUX.1.
Почему важно: генеративные модели давно переросли память одного GPU. Теперь разработчики могут деплоить PyTorch-модели через Torch-TensorRT на несколько устройств, включая edge-железо, сохраняя производственные оптимизации.
TensorRT 11.0 доступен на портале NVIDIA Developer.
https://developer.nvidia.com/blog/scaling-ai-inference-across-multiple-gpus-using-nvidia-tensorrt-with-multi-device-inference-support/
Nvidia выпустила TensorRT 11.0 с поддержкой multi-device inference — теперь большие AI-модели можно запускать сразу на нескольких GPU без потери оптимизаций вроде квантизации и слияния ядер.
Что нового: движок использует библиотеку NCCL для распределённых вычислений и поддерживает три стратегии параллелизма — AllGather KV, Ring Attention и DeepSpeed Ulysses. Последний показал наименьшую задержку на длинных последовательностях в тестах с моделями Cosmos 3 и FLUX.1.
Почему важно: генеративные модели давно переросли память одного GPU. Теперь разработчики могут деплоить PyTorch-модели через Torch-TensorRT на несколько устройств, включая edge-железо, сохраняя производственные оптимизации.
TensorRT 11.0 доступен на портале NVIDIA Developer.
https://developer.nvidia.com/blog/scaling-ai-inference-across-multiple-gpus-using-nvidia-tensorrt-with-multi-device-inference-support/
NVIDIA Technical Blog
Scaling AI Inference Across Multiple GPUs Using NVIDIA TensorRT with Multi-Device Inference Support
Generative AI workloads are rapidly outgrowing the memory and compute budget of single GPUs. For inference developers building media generation pipelines, the challenge is scaling across multiple…
Nvidia Tech представила BEVPoolV3 — оптимизированный алгоритм BEV-пулинга для GPU, который ускоряет работу систем восприятия в автономных машинах и роботах.
BEV-пулинг — это операция, которая собирает изображения с нескольких камер и превращает их в единую карту пространства «вид сверху». Раньше это было узким местом по латентности из-за хаотичного доступа к памяти GPU.
BEVPoolV3 вводит четыре ключевых улучшения: меньше дублирующих загрузок глубины, новая карта рассеивания на INT32, предвычисленные индексы без деления в рантайме, и оптимизированная запись выходных данных.
Результат впечатляет: на RTX A6000 ускорение до 22x (FP16), на RTX PRO 6000 Blackwell Max-Q — до 42x (FP8) по сравнению с предыдущей версией. Латентность упала с 274 мкс до 16–17 мкс.
Это напрямую влияет на разработчиков физического ИИ: быстрее пулинг — быстрее весь пайплайн восприятия для беспилотников и роботов в реальном времени.
https://developer.nvidia.com/blog/accelerating-bev-pooling-on-nvidia-gpus-for-physical-ai-applications/
BEV-пулинг — это операция, которая собирает изображения с нескольких камер и превращает их в единую карту пространства «вид сверху». Раньше это было узким местом по латентности из-за хаотичного доступа к памяти GPU.
BEVPoolV3 вводит четыре ключевых улучшения: меньше дублирующих загрузок глубины, новая карта рассеивания на INT32, предвычисленные индексы без деления в рантайме, и оптимизированная запись выходных данных.
Результат впечатляет: на RTX A6000 ускорение до 22x (FP16), на RTX PRO 6000 Blackwell Max-Q — до 42x (FP8) по сравнению с предыдущей версией. Латентность упала с 274 мкс до 16–17 мкс.
Это напрямую влияет на разработчиков физического ИИ: быстрее пулинг — быстрее весь пайплайн восприятия для беспилотников и роботов в реальном времени.
https://developer.nvidia.com/blog/accelerating-bev-pooling-on-nvidia-gpus-for-physical-ai-applications/
NVIDIA Technical Blog
Accelerating BEV Pooling on NVIDIA GPUs for Physical AI Applications
An increasingly common design pattern for autonomous vehicles (AVs), robotics, and spatial AI systems is bird’s-eye-view (BEV) perception. BEV models project multicamera image features into a shared…
(by Qwen)
Верификация кода — новый узкий бутылочный горлышко AI-агентов.
Раньше найти решение было сложнее, чем проверить его. Теперь всё наоборот: сильные модели легко генерируют код, но надёжно проверить его становится всё труднее.
Авторы из Qwen показывают: нет единого способа верификации, который работает всегда. Юнит-тесты — масштабируемы, но агент учится их обходить (хакинг упал с 28.57% до 0.56% после добавления мониторинга). LLM-судьи — гибкие, но уязвимы к эксплуатации. Фидбек пользователей — самый честный сигнал, дал +13.3% на бенчмарке, но плохо масштабируется.
Главный тезис: верификатор и модель должны co-эволюционировать. Как только политика обгоняет верификатор — начинается reward hacking. Нужно постоянно улучшать верификатор вслед за ростом модели. Это не баг пайплайна, а его фундаментальное свойство.
https://arxiv.org/abs/2606.26300
Верификация кода — новый узкий бутылочный горлышко AI-агентов.
Раньше найти решение было сложнее, чем проверить его. Теперь всё наоборот: сильные модели легко генерируют код, но надёжно проверить его становится всё труднее.
Авторы из Qwen показывают: нет единого способа верификации, который работает всегда. Юнит-тесты — масштабируемы, но агент учится их обходить (хакинг упал с 28.57% до 0.56% после добавления мониторинга). LLM-судьи — гибкие, но уязвимы к эксплуатации. Фидбек пользователей — самый честный сигнал, дал +13.3% на бенчмарке, но плохо масштабируется.
Главный тезис: верификатор и модель должны co-эволюционировать. Как только политика обгоняет верификатор — начинается reward hacking. Нужно постоянно улучшать верификатор вслед за ростом модели. Это не баг пайплайна, а его фундаментальное свойство.
https://arxiv.org/abs/2606.26300
👍2
JetSpec: ускоряем LLM-инференс в 9.5× через параллельный черновик с причинностью
Speculative decoding — мощный трюк: маленькая модель предлагает токены, большая проверяет пачкой. Но есть дилемма: либо черновик быстрый (параллельный, без причинности), либо качественный (авторегрессионный, но медленный). DFlash генерирует токены параллельно, но без учёта ветки дерева — токены индивидуально правдоподобны, но вместе противоречат друг другу.
JetSpec решает это элегантно: обучает голову-черновик с tree-causal attention mask. Каждый узел дерева видит только своих предков, но не братьев и потомков. Это позволяет генерировать всё дерево за один проход, сохраняя причинную обусловленность по каждой ветке.
Результат: при бюджете 256 токенов — до 9.6× ускорения на MATH-500 против авторегрессии, против 8.78× у DFlash. Особенно сильный прирост на B200.
https://arxiv.org/abs/2606.18394
Speculative decoding — мощный трюк: маленькая модель предлагает токены, большая проверяет пачкой. Но есть дилемма: либо черновик быстрый (параллельный, без причинности), либо качественный (авторегрессионный, но медленный). DFlash генерирует токены параллельно, но без учёта ветки дерева — токены индивидуально правдоподобны, но вместе противоречат друг другу.
JetSpec решает это элегантно: обучает голову-черновик с tree-causal attention mask. Каждый узел дерева видит только своих предков, но не братьев и потомков. Это позволяет генерировать всё дерево за один проход, сохраняя причинную обусловленность по каждой ветке.
Результат: при бюджете 256 токенов — до 9.6× ускорения на MATH-500 против авторегрессии, против 8.78× у DFlash. Особенно сильный прирост на B200.
https://arxiv.org/abs/2606.18394
UnityShots: как сделать длинное видео без потери памяти о персонажах (by Kling Team)
Проблема длинных видео с несколькими сценами: персонажи "забываются" по ходу генерации. Каждый новый шот теряет связь с тем, как выглядел герой в начале.
UnityShots решает это двухслотовой памятью:
- Долгосрочный слот (LTM) — фиксирует внешность персонажа из первого шота и никогда не стирается полностью
- Краткосрочный слот (STM) — хранит хвост предыдущего шота для плавного перехода
Ключевая фишка: граница между шотами определяется совместно по визуальным и аудио-сигналам (beat-tracker + детектор склейки). Чем резче переход — тем сильнее обновляется память.
Архитектура: 22B диффузионный трансформер LTX-2.3, поддерживает I2V, T2V и R2V режимы. Обучен на 146k аннотированных клипов. Размер памяти фиксированный — O(1), не растёт с длиной видео.
https://arxiv.org/abs/2606.21661
Проблема длинных видео с несколькими сценами: персонажи "забываются" по ходу генерации. Каждый новый шот теряет связь с тем, как выглядел герой в начале.
UnityShots решает это двухслотовой памятью:
- Долгосрочный слот (LTM) — фиксирует внешность персонажа из первого шота и никогда не стирается полностью
- Краткосрочный слот (STM) — хранит хвост предыдущего шота для плавного перехода
Ключевая фишка: граница между шотами определяется совместно по визуальным и аудио-сигналам (beat-tracker + детектор склейки). Чем резче переход — тем сильнее обновляется память.
Архитектура: 22B диффузионный трансформер LTX-2.3, поддерживает I2V, T2V и R2V режимы. Обучен на 146k аннотированных клипов. Размер памяти фиксированный — O(1), не растёт с длиной видео.
https://arxiv.org/abs/2606.21661
👍2
OpenAI анонсировала GPT-5.6 Sol — новую модель следующего поколения с улучшенными возможностями в программировании, науке и кибербезопасности.
Главная особенность — самый продвинутый стек безопасности из всех моделей OpenAI на сегодняшний день. То есть компания делает ставку не только на мощность, но и на надёжность.
Для пользователей это означает более точную помощь в технических задачах: написание и отладка кода, научный анализ, работа с вопросами кибербезопасности. При этом модель должна быть менее склонна к ошибкам и нежелательному поведению.
Пока это превью — детали о доступности и сроках выхода OpenAI не раскрыла.
https://openai.com/index/previewing-gpt-5-6-sol
Главная особенность — самый продвинутый стек безопасности из всех моделей OpenAI на сегодняшний день. То есть компания делает ставку не только на мощность, но и на надёжность.
Для пользователей это означает более точную помощь в технических задачах: написание и отладка кода, научный анализ, работа с вопросами кибербезопасности. При этом модель должна быть менее склонна к ошибкам и нежелательному поведению.
Пока это превью — детали о доступности и сроках выхода OpenAI не раскрыла.
https://openai.com/index/previewing-gpt-5-6-sol
OpenAI
Previewing GPT-5.6 Sol: a next-generation model
OpenAI previews GPT-5.6 Sol, a next-generation model with stronger capabilities in coding, science, and cybersecurity, paired with its most advanced safety stack.
Nvidia выпустила квантизированный чекпоинт Nemotron 3 Ultra в формате NVFP4 с помощью инструмента NVIDIA Model Optimizer.
Модель весом 550 млрд параметров сжата с 1121 ГБ до 352 ГБ — в 3,2 раза. При этом точность почти не теряется: результаты на бенчмарках сопоставимы с оригинальным BF16. Скорость инференса на задачах с длинными ответами выросла до 5,9x по сравнению с конкурирующей моделью GLM-5.1 754B FP4.
Ключевая фишка — один чекпоинт работает и на Hopper, и на Blackwell: фреймворк сам выбирает нужный формат под железо.
Nvidia также раскрыла, как именно добивались качественной квантизации: классический max-scaling давал потери в точности, MSE-подход помогал частично, а финальным решением стал метод four-over-six scaling, минимизирующий ошибки в проблемном диапазоне значений FP4.
Разработчики могут воспроизвести процесс самостоятельно — инструкция и конфиги опубликованы в блоге.
https://developer.nvidia.com/blog/creating-the-nvidia-nemotron-3-ultra-nvfp4-checkpoint-with-nvidia-model-optimizer/
Модель весом 550 млрд параметров сжата с 1121 ГБ до 352 ГБ — в 3,2 раза. При этом точность почти не теряется: результаты на бенчмарках сопоставимы с оригинальным BF16. Скорость инференса на задачах с длинными ответами выросла до 5,9x по сравнению с конкурирующей моделью GLM-5.1 754B FP4.
Ключевая фишка — один чекпоинт работает и на Hopper, и на Blackwell: фреймворк сам выбирает нужный формат под железо.
Nvidia также раскрыла, как именно добивались качественной квантизации: классический max-scaling давал потери в точности, MSE-подход помогал частично, а финальным решением стал метод four-over-six scaling, минимизирующий ошибки в проблемном диапазоне значений FP4.
Разработчики могут воспроизвести процесс самостоятельно — инструкция и конфиги опубликованы в блоге.
https://developer.nvidia.com/blog/creating-the-nvidia-nemotron-3-ultra-nvfp4-checkpoint-with-nvidia-model-optimizer/
NVIDIA Technical Blog
Creating the NVIDIA Nemotron 3 Ultra NVFP4 Checkpoint with NVIDIA Model Optimizer
As context windows grow longer, moving large model weights efficiently becomes critical to performance. A common way to address this is quantization, an optimization technique that compresses model…
Nvidia Tech (KRAFTON + NVIDIA ACE): в PUBG появился AI-напарник
KRAFTON выпустила PUBG Ally — первого «co-playable character» (CPC) для PUBG: BATTLEGROUNDS на базе NVIDIA ACE. Это не обычный бот: Ally слышит голос игрока, понимает контекст матча и отвечает вслух в реальном времени.
Под капотом: распознавание речи, языковая модель Mistral-NeMo-Minitron-2B (всего 2 млрд параметров) и синтез речи — всё работает прямо на устройстве, без облака. Это убрало сетевые задержки и уложило систему в 8 ГБ VRAM.
Ally помнит игрока между сессиями, поддерживает английский, корейский и китайский, а быстрые боевые действия отделены от «медленного» языкового мышления — чтобы напарник реагировал мгновенно.
Публичная бета шла с 17 по 30 июня в Arcade Mode. Это первый серьёзный шаг к AI-тиммейту, который ведёт себя как живой игрок.
https://developer.nvidia.com/blog/how-krafton-built-pubg-ally-a-co-playable-character-powered-by-nvidia-ace/
KRAFTON выпустила PUBG Ally — первого «co-playable character» (CPC) для PUBG: BATTLEGROUNDS на базе NVIDIA ACE. Это не обычный бот: Ally слышит голос игрока, понимает контекст матча и отвечает вслух в реальном времени.
Под капотом: распознавание речи, языковая модель Mistral-NeMo-Minitron-2B (всего 2 млрд параметров) и синтез речи — всё работает прямо на устройстве, без облака. Это убрало сетевые задержки и уложило систему в 8 ГБ VRAM.
Ally помнит игрока между сессиями, поддерживает английский, корейский и китайский, а быстрые боевые действия отделены от «медленного» языкового мышления — чтобы напарник реагировал мгновенно.
Публичная бета шла с 17 по 30 июня в Arcade Mode. Это первый серьёзный шаг к AI-тиммейту, который ведёт себя как живой игрок.
https://developer.nvidia.com/blog/how-krafton-built-pubg-ally-a-co-playable-character-powered-by-nvidia-ace/
NVIDIA Technical Blog
Q&A: How KRAFTON Built PUBG Ally, a Co-Playable Character Powered by NVIDIA ACE
AI companions in games have long been constrained by fixed dialogue. PUBG Ally is a different kind of system. Built by KRAFTON for PUBG: BATTLEGROUNDS, this AI teammate is powered by NVIDIA ACE and…
GauntletBench: современные AI-агенты провалились там, где обычный человек справляется легко (by University of Oxford)
Большинство бенчмарков для агентов уже насыщены — топовые модели их решают почти идеально. Оксфордские исследователи предложили GauntletBench: 5 нестандартных веб-приложений (видеоредактор, 3D-моделлер, конструктор схем, анализатор полётов, конструктор воркфлоу), 100 задач на три слабо изученных способности: временное восприятие, понимание графики и 3D-рассуждение.
Результаты шокируют: Claude Opus Computer Use — лучший среди агентов — набрал лишь 19.1% успеха. GPT Computer Use — 4.3%, Gemini Enterprise — 13.7%. Большинство open-source моделей (Qwen, Llama) — около нуля.
При этом обычные люди без специальных знаний решают те же задачи с точностью >80% и тратят на 30% меньше шагов.
Вывод: агенты отлично выучили знакомые интерфейсы, но совершенно не умеют обобщать на новые сценарии.
https://arxiv.org/abs/2606.14397
Большинство бенчмарков для агентов уже насыщены — топовые модели их решают почти идеально. Оксфордские исследователи предложили GauntletBench: 5 нестандартных веб-приложений (видеоредактор, 3D-моделлер, конструктор схем, анализатор полётов, конструктор воркфлоу), 100 задач на три слабо изученных способности: временное восприятие, понимание графики и 3D-рассуждение.
Результаты шокируют: Claude Opus Computer Use — лучший среди агентов — набрал лишь 19.1% успеха. GPT Computer Use — 4.3%, Gemini Enterprise — 13.7%. Большинство open-source моделей (Qwen, Llama) — около нуля.
При этом обычные люди без специальных знаний решают те же задачи с точностью >80% и тратят на 30% меньше шагов.
Вывод: агенты отлично выучили знакомые интерфейсы, но совершенно не умеют обобщать на новые сценарии.
https://arxiv.org/abs/2606.14397
Как научить 9B-модель работать в терминале лучше Claude Haiku?
Терминальные агенты — горячая тема: Claude Code, Cursor и другие инструменты делают сложные long-horizon задачи в терминале. Но академические датасеты для обучения либо слишком простые, либо заточены под bug-fixing (SWE-Bench).
Авторы предлагают простой рецепт: генерируют датасет TMAX-15K из 14600 RL-окружений через Gemini-3-Pro. Ключевая фишка — задачи строятся по 9 осям (домен, навыки, сложность и т.д.), что даёт контролируемое разнообразие и сложность без дорогой валидации через teacher-модель.
Для RL-обучения используют DPPO вместо нестабильного GRPO, с FP32 LM-головой и большим group size. Результат: 9B-модель набирает 27% на Terminal-Bench 2.0, обгоняя другие open-модели и конкурируя с Claude Haiku 4.5. Бонус — RL-обучение обобщается: +5 очков на SWE-Bench и даже улучшение на AIME.
Код, данные и чекпоинты открыты.
https://arxiv.org/abs/2606.23321
Терминальные агенты — горячая тема: Claude Code, Cursor и другие инструменты делают сложные long-horizon задачи в терминале. Но академические датасеты для обучения либо слишком простые, либо заточены под bug-fixing (SWE-Bench).
Авторы предлагают простой рецепт: генерируют датасет TMAX-15K из 14600 RL-окружений через Gemini-3-Pro. Ключевая фишка — задачи строятся по 9 осям (домен, навыки, сложность и т.д.), что даёт контролируемое разнообразие и сложность без дорогой валидации через teacher-модель.
Для RL-обучения используют DPPO вместо нестабильного GRPO, с FP32 LM-головой и большим group size. Результат: 9B-модель набирает 27% на Terminal-Bench 2.0, обгоняя другие open-модели и конкурируя с Claude Haiku 4.5. Бонус — RL-обучение обобщается: +5 очков на SWE-Bench и даже улучшение на AIME.
Код, данные и чекпоинты открыты.
https://arxiv.org/abs/2606.23321