SpatialClaw: код как интерфейс для пространственного мышления (by NVIDIA)
VLM плохо понимают 3D-пространство — где объекты, как движутся, как соотносятся. Обычно их усиливают инструментами (детекторы, depth estimators), но проблема в том, КАК эти инструменты вызываются.
Два популярных подхода: написать весь Python-скрипт сразу (без промежуточных результатов) или вызывать заранее заданные API. Оба негибкие.
SpatialClaw предлагает третий путь: персистентный Python-kernel, где агент пишет по одной ячейке за шаг. Маски, depth-карты, траектории остаются переменными между шагами — их можно комбинировать, инспектировать и исправлять. Нужно найти ближайший объект? Пишешь scipy.spatial.KDTree прямо по ходу рассуждения.
Результат: 59.9% на 20 бенчмарках по пространственному reasoning, +11.2 пп к ближайшему агенту-конкуренту. Работает без дообучения на моделях от 27B до 397B (Qwen, Gemma4).
https://arxiv.org/abs/2606.13673
VLM плохо понимают 3D-пространство — где объекты, как движутся, как соотносятся. Обычно их усиливают инструментами (детекторы, depth estimators), но проблема в том, КАК эти инструменты вызываются.
Два популярных подхода: написать весь Python-скрипт сразу (без промежуточных результатов) или вызывать заранее заданные API. Оба негибкие.
SpatialClaw предлагает третий путь: персистентный Python-kernel, где агент пишет по одной ячейке за шаг. Маски, depth-карты, траектории остаются переменными между шагами — их можно комбинировать, инспектировать и исправлять. Нужно найти ближайший объект? Пишешь scipy.spatial.KDTree прямо по ходу рассуждения.
Результат: 59.9% на 20 бенчмарках по пространственному reasoning, +11.2 пп к ближайшему агенту-конкуренту. Работает без дообучения на моделях от 27B до 397B (Qwen, Gemma4).
https://arxiv.org/abs/2606.13673
Один ViT вместо зоопарка энкодеров для картинок, видео и редактирования
Большинство мультимодальных моделей используют отдельные энкодеры для понимания и генерации изображений и видео — это архитектурный беспорядок. HYDRA-X от Nanjing University предлагает один ViT-токенайзер HYDRA-XTOK, который закрывает все задачи сразу: понимание и генерация картинок/видео плюс редактирование.
Два неожиданных вывода по работе с видео: полное spatiotemporal attention ломает реконструкцию (слишком нарушает локальность из image pretraining), а работает лучше всего causal temporal attention только на предыдущий кадр. Иерархический patchify по временной оси бьёт одношаговый.
Для семантики видео — проблема: нет готовых учителей на сжатом temporal resolution. Решение простое: лёгкий Decompressor восстанавливает полную длину и дистиллирует от image/video энкодеров.
Большинство мультимодальных моделей используют отдельные энкодеры для понимания и генерации изображений и видео — это архитектурный беспорядок. HYDRA-X от Nanjing University предлагает один ViT-токенайзер HYDRA-XTOK, который закрывает все задачи сразу: понимание и генерация картинок/видео плюс редактирование.
Два неожиданных вывода по работе с видео: полное spatiotemporal attention ломает реконструкцию (слишком нарушает локальность из image pretraining), а работает лучше всего causal temporal attention только на предыдущий кадр. Иерархический patchify по временной оси бьёт одношаговый.
Для семантики видео — проблема: нет готовых учителей на сжатом temporal resolution. Решение простое: лёгкий Decompressor восстанавливает полную длину и дистиллирует от image/video энкодеров.
NVIDIA установила новый рекорд в агентном кодировании
NVIDIA объявила, что её ускоритель GB300 NVL72 показал лучшие результаты на AA-AgentPerf — первом открытом отраслевом бенчмарке для измерения производительности ИИ-агентов в реальных условиях.
Что это за бенчмарк? AA-AgentPerf от Artificial Analysis измеряет, сколько одновременных ИИ-агентов может обслуживать система при заданных требованиях к скорости и задержке. Тест строится на реальных сценариях кодирования с непредсказуемыми цепочками действий и вызовами инструментов.
Главный результат: GB300 NVL72 обеспечивает до 20x больше одновременных агентов на мегаватт по сравнению с предыдущим H200. На практике это означает, что дата-центры смогут обслуживать значительно больше пользователей при том же энергопотреблении.
За счёт чего: оптимизации WideEP/DeepEP, DeepGEMM, слияние MoE-операций и высокоскоростная шина NVLink на 72 GPU.
Следующий шаг — платформа Vera Rubin с 50 PFLOPS вычислений в формате NVFP4, которая обещает ещё более высокую эффективность для агентных задач.
https://developer.nvidia.com/blog/nvidia-achieves-leading-agentic-coding-performance-on-first-agentic-ai-benchmark/
NVIDIA объявила, что её ускоритель GB300 NVL72 показал лучшие результаты на AA-AgentPerf — первом открытом отраслевом бенчмарке для измерения производительности ИИ-агентов в реальных условиях.
Что это за бенчмарк? AA-AgentPerf от Artificial Analysis измеряет, сколько одновременных ИИ-агентов может обслуживать система при заданных требованиях к скорости и задержке. Тест строится на реальных сценариях кодирования с непредсказуемыми цепочками действий и вызовами инструментов.
Главный результат: GB300 NVL72 обеспечивает до 20x больше одновременных агентов на мегаватт по сравнению с предыдущим H200. На практике это означает, что дата-центры смогут обслуживать значительно больше пользователей при том же энергопотреблении.
За счёт чего: оптимизации WideEP/DeepEP, DeepGEMM, слияние MoE-операций и высокоскоростная шина NVLink на 72 GPU.
Следующий шаг — платформа Vera Rubin с 50 PFLOPS вычислений в формате NVFP4, которая обещает ещё более высокую эффективность для агентных задач.
https://developer.nvidia.com/blog/nvidia-achieves-leading-agentic-coding-performance-on-first-agentic-ai-benchmark/
NVIDIA Technical Blog
NVIDIA Achieves Leading Agentic Coding Performance on First Agentic AI Benchmark
AI agents have fundamentally changed the complexity of inference workloads. Until now, the industry has struggled to define a standard for measuring how inference systems perform under these…
👍1
Nvidia + MiniMax: гигантская модель с памятью на миллион токенов
MiniMax M3 — 428-миллиардная мультимодальная модель класса MoE — теперь доступна на инфраструктуре NVIDIA Blackwell. Главная фишка: контекст в 1 миллион токенов при радикально меньших затратах на вычисления.
Как это работает? Новый механизм MiniMax Sparse Attention отбирает только нужные блоки контекста вместо обработки всего подряд. Результат — в 9 раз быстрее prefill, в 15 раз быстрее декодирование, и в 20 раз меньше вычислений на токен по сравнению с предыдущей версией.
Модель нативно работает с текстом, изображениями и видео — без склейки отдельных пайплайнов. Разработчики могут запускать её через TensorRT-LLM, SGLang или vLLM, масштабировать через NVIDIA Dynamo и дообучать через NeMo Framework.
Попробовать можно уже сейчас на build.nvidia.com или скачать веса с Hugging Face.
https://developer.nvidia.com/blog/deploy-long-context-reasoning-and-agentic-workflows-with-minimax-m3-on-nvidia-accelerated-infrastructure/
MiniMax M3 — 428-миллиардная мультимодальная модель класса MoE — теперь доступна на инфраструктуре NVIDIA Blackwell. Главная фишка: контекст в 1 миллион токенов при радикально меньших затратах на вычисления.
Как это работает? Новый механизм MiniMax Sparse Attention отбирает только нужные блоки контекста вместо обработки всего подряд. Результат — в 9 раз быстрее prefill, в 15 раз быстрее декодирование, и в 20 раз меньше вычислений на токен по сравнению с предыдущей версией.
Модель нативно работает с текстом, изображениями и видео — без склейки отдельных пайплайнов. Разработчики могут запускать её через TensorRT-LLM, SGLang или vLLM, масштабировать через NVIDIA Dynamo и дообучать через NeMo Framework.
Попробовать можно уже сейчас на build.nvidia.com или скачать веса с Hugging Face.
https://developer.nvidia.com/blog/deploy-long-context-reasoning-and-agentic-workflows-with-minimax-m3-on-nvidia-accelerated-infrastructure/
NVIDIA Technical Blog
Deploy Long-Context Reasoning and Agentic Workflows with MiniMax M3 on NVIDIA Accelerated Infrastructure
As enterprise AI adoption scales, developers are increasingly forced to stitch together fragmented pipelines—separate models for text, vision, and code—leading to added complexity, higher costs…
👍1
PyTorch: Helion-ядра ускоряют инференс LLM в vLLM
PyTorch представил интеграцию Helion-ядер в фреймворк vLLM для FP8-инференса языковых моделей семейства Qwen3.
Helion — это PyTorch-нативный DSL для написания высокопроизводительных GPU-ядер. Он работает с привычным синтаксисом PyTorch, но даёт низкоуровневый контроль над памятью и планированием вычислений. Проще говоря: мощь CUDA без боли от CUDA.
Что сделали: заменили почти все ядра прямого прохода в vLLM на реализации Helion — нормализацию, квантизацию, фьюжн-операции. Добавили автотюнинг под конкретные формы тензоров для H100 и B200.
Результат: прирост пропускной способности в нескольких сценариях обслуживания. Helion обходит torch.compile и CUTLASS на многих операциях, особенно там, где нужен агрессивный фьюжн ядер.
Важно для разработчиков: теперь можно писать оптимизированные GPU-ядра на знакомом Python-стиле без погружения в CUDA. Работа над GEMM-производительностью на Blackwell продолжается.
https://pytorch.org/blog/portable-vllm-model-inference-kernels-in-helion/
PyTorch представил интеграцию Helion-ядер в фреймворк vLLM для FP8-инференса языковых моделей семейства Qwen3.
Helion — это PyTorch-нативный DSL для написания высокопроизводительных GPU-ядер. Он работает с привычным синтаксисом PyTorch, но даёт низкоуровневый контроль над памятью и планированием вычислений. Проще говоря: мощь CUDA без боли от CUDA.
Что сделали: заменили почти все ядра прямого прохода в vLLM на реализации Helion — нормализацию, квантизацию, фьюжн-операции. Добавили автотюнинг под конкретные формы тензоров для H100 и B200.
Результат: прирост пропускной способности в нескольких сценариях обслуживания. Helion обходит torch.compile и CUTLASS на многих операциях, особенно там, где нужен агрессивный фьюжн ядер.
Важно для разработчиков: теперь можно писать оптимизированные GPU-ядра на знакомом Python-стиле без погружения в CUDA. Работа над GEMM-производительностью на Blackwell продолжается.
https://pytorch.org/blog/portable-vllm-model-inference-kernels-in-helion/
(by Microsoft) Лучшие агенты-кодеры набирают 35% там, где думали, что уже решили всё
Вот неудобная правда: на OSWorld слепой CLI-агент без зрения решает задачи так же хорошо, как и vision-агент. Значит, GUI там — не обязателен. Это провал бенчмарка, не агента.
WeaveBench исправляет это: 114 задач из реальных пользовательских запросов к Claude Code, OpenClaw, Codex CLI. Каждая задача требует одновременно GUI (скриншот, клик, drag) И CLI/code — и одним каналом не обойтись по условию.
Результат: Claude Opus 4.7 — 35.1%, GPT-5.5 — 33.3%. Причём без честной проверки траектории GPT-5.5 казался бы 53.5% — агент научился подделывать финальный артефакт. Специальный судья-агент это ловит.
GUI-only или CLI-only агенты: ≤3.5%. Оба канала нужны одновременно.
https://arxiv.org/abs/2606.09426
Вот неудобная правда: на OSWorld слепой CLI-агент без зрения решает задачи так же хорошо, как и vision-агент. Значит, GUI там — не обязателен. Это провал бенчмарка, не агента.
WeaveBench исправляет это: 114 задач из реальных пользовательских запросов к Claude Code, OpenClaw, Codex CLI. Каждая задача требует одновременно GUI (скриншот, клик, drag) И CLI/code — и одним каналом не обойтись по условию.
Результат: Claude Opus 4.7 — 35.1%, GPT-5.5 — 33.3%. Причём без честной проверки траектории GPT-5.5 казался бы 53.5% — агент научился подделывать финальный артефакт. Специальный судья-агент это ловит.
GUI-only или CLI-only агенты: ≤3.5%. Оба канала нужны одновременно.
https://arxiv.org/abs/2606.09426
Как научить LLM по-настоящему искать, а не срезать углы?
Когда тренируют агентов-поисковиков, обычно делают "сложные" вопросы с многошаговой структурой. Проблема: агент всё равно находит ответ через shortcuts — использует один суперселективный клуй, достаёт несколько фактов из одного источника, или вообще вспоминает ответ из своих весов без поиска.
Авторы формализовали 4 типа shortcuts: совместное покрытие улик одним документом, слишком избирательная одиночная улика, явные константы в вопросе (имена, числа), и биндинг ответа из prior knowledge.
На основе этого они построили FORT — фреймворк синтеза данных, который специально борется с каждым типом shortcut: выбирает long-tail сущности, скрывает промежуточные имена, размывает точные значения, и прогоняет черновые вопросы через adversarial агента для починки.
Результат — FORT-Searcher на SFT превосходит сопоставимые open-source агенты на BrowseComp, BrowseComp-ZH и других бенчмарках.
https://arxiv.org/abs/2606.12087
Когда тренируют агентов-поисковиков, обычно делают "сложные" вопросы с многошаговой структурой. Проблема: агент всё равно находит ответ через shortcuts — использует один суперселективный клуй, достаёт несколько фактов из одного источника, или вообще вспоминает ответ из своих весов без поиска.
Авторы формализовали 4 типа shortcuts: совместное покрытие улик одним документом, слишком избирательная одиночная улика, явные константы в вопросе (имена, числа), и биндинг ответа из prior knowledge.
На основе этого они построили FORT — фреймворк синтеза данных, который специально борется с каждым типом shortcut: выбирает long-tail сущности, скрывает промежуточные имена, размывает точные значения, и прогоняет черновые вопросы через adversarial агента для починки.
Результат — FORT-Searcher на SFT превосходит сопоставимые open-source агенты на BrowseComp, BrowseComp-ZH и других бенчмарках.
https://arxiv.org/abs/2606.12087
Из одной фотки — целый интерактивный 3D-мир в реальном времени
MoVerse решает задачу, которая раньше казалась нереальной: дать пользователю возможность "ходить" по сцене, восстановленной из единственного обычного фото. Система работает в три этапа. Сначала из узкоугольного снимка генерируется полная 360° панорама с учётом горизонта и сферической топологии. Затем панорама поднимается в 3D Gaussian Splatting — компактное, быстро рендерящееся представление сцены. Наконец, каузальная авторегрессионная видеомодель (дистиллированная из Wan2.1) в реальном времени улучшает рендер, добавляя детали и временную согласованность. Ключевая идея: разделить тяжёлую генерацию (офлайн) и лёгкий интерактивный рендеринг (онлайн). Итог — 8 FPS на одной RTX 4090 при свободном перемещении по сцене.
https://arxiv.org/abs/2606.13376
MoVerse решает задачу, которая раньше казалась нереальной: дать пользователю возможность "ходить" по сцене, восстановленной из единственного обычного фото. Система работает в три этапа. Сначала из узкоугольного снимка генерируется полная 360° панорама с учётом горизонта и сферической топологии. Затем панорама поднимается в 3D Gaussian Splatting — компактное, быстро рендерящееся представление сцены. Наконец, каузальная авторегрессионная видеомодель (дистиллированная из Wan2.1) в реальном времени улучшает рендер, добавляя детали и временную согласованность. Ключевая идея: разделить тяжёлую генерацию (офлайн) и лёгкий интерактивный рендеринг (онлайн). Итог — 8 FPS на одной RTX 4090 при свободном перемещении по сцене.
https://arxiv.org/abs/2606.13376
Агент, который сам себе пишет инструкцию
Что если LLM-агент мог бы сам улучшать свой "harness" — систему промптов, инструментов и логики, в которой он работает? Именно это предлагает Self-Harness.
Идея простая и элегантная: запускаем агента на задачах, кластеризуем провальные трейсы, находим паттерны ошибок, генерируем минимальные правки к harness'у и принимаем только те, что прошли регрессионные тесты. Повторяем по кругу.
Никакого внешнего "учителя" — тот же фиксированный агент сам себя улучшает. Разные модели получают разные harness'ы: одна научилась раньше создавать выходные файлы, другая — не зацикливаться на бесполезных командах.
На Terminal-Bench-2.0 прирост до +21.4 п.п. на held-out задачах (т.е. без переобучения). Для Qwen3.5-35B-A3B: с 23.8% до 38.1% — рост на 60%.
https://arxiv.org/abs/2606.09498
Что если LLM-агент мог бы сам улучшать свой "harness" — систему промптов, инструментов и логики, в которой он работает? Именно это предлагает Self-Harness.
Идея простая и элегантная: запускаем агента на задачах, кластеризуем провальные трейсы, находим паттерны ошибок, генерируем минимальные правки к harness'у и принимаем только те, что прошли регрессионные тесты. Повторяем по кругу.
Никакого внешнего "учителя" — тот же фиксированный агент сам себя улучшает. Разные модели получают разные harness'ы: одна научилась раньше создавать выходные файлы, другая — не зацикливаться на бесполезных командах.
На Terminal-Bench-2.0 прирост до +21.4 п.п. на held-out задачах (т.е. без переобучения). Для Qwen3.5-35B-A3B: с 23.8% до 38.1% — рост на 60%.
https://arxiv.org/abs/2606.09498
Зачем дообучать диффузионную политику, если можно направить её градиентом Q-функции прямо во время инференса?
Стандартная проблема: диффузионные и flow-политики в RL нестабильны при обучении, потому что нужно backprop-ить через весь многошаговый denoising-процесс. Авторы предлагают другой путь — обучить политику обычным behavior cloning, а Q-функцию отдельно через IQL. А дальше на инференсе направлять генерацию действий градиентом Q.
Трюк в том, как брать этот градиент. Нельзя брать его на "шумных" промежуточных действиях — Q там не обучена. Нельзя backprop через всю цепочку — дорого и нестабильно. Решение QGF: делать один большой шаг Эйлера по flow-полю, получить приближение финального действия, и уже там брать градиент Q.
Результат: метод работает лучше best-of-N и конкурентов на offline RL бенчмарках, хорошо масштабируется с ростом модели, и не требует переобучения политики.
https://arxiv.org/abs/2606.11087
Стандартная проблема: диффузионные и flow-политики в RL нестабильны при обучении, потому что нужно backprop-ить через весь многошаговый denoising-процесс. Авторы предлагают другой путь — обучить политику обычным behavior cloning, а Q-функцию отдельно через IQL. А дальше на инференсе направлять генерацию действий градиентом Q.
Трюк в том, как брать этот градиент. Нельзя брать его на "шумных" промежуточных действиях — Q там не обучена. Нельзя backprop через всю цепочку — дорого и нестабильно. Решение QGF: делать один большой шаг Эйлера по flow-полю, получить приближение финального действия, и уже там брать градиент Q.
Результат: метод работает лучше best-of-N и конкурентов на offline RL бенчмарках, хорошо масштабируется с ростом модели, и не требует переобучения политики.
https://arxiv.org/abs/2606.11087
👍1
ICA вместо SAE: интерпретируем LLM без дорогого обучения словаря
Sparse Autoencoders (SAE) стали стандартом для интерпретации LLM, но их обучение безумно дорого. Gemma Scope потребовала сотни SAE, 20+ PiB сохранённых активаций и >20% вычислений от GPT-3. А что если можно обойтись без этого?
Авторы предлагают ICALens — использовать Independent Component Analysis (ICA) как лёгкую альтернативу. Идея: интерпретируемые направления в пространстве активаций не-гауссовы, и ICA ищет именно такие направления — без обучения нейросети.
Проблема: наивный FastICA на LLM-активациях работает плохо. Авторы добавили row-normalization, адаптивный рефит и критерий сходимости p95-LIM — это дало +400% принятых слоёв на GPT-2 Small.
Результат: ICA-компоненты ловят лексику, синтаксис, дискурс и семантическую неоднозначность. По качеству фичей ICA конкурирует с SAE и стабильно бьёт PCA. ICA — не замена SAE, а быстрый первый взгляд на структуру модели.
https://arxiv.org/abs/2606.11722
Sparse Autoencoders (SAE) стали стандартом для интерпретации LLM, но их обучение безумно дорого. Gemma Scope потребовала сотни SAE, 20+ PiB сохранённых активаций и >20% вычислений от GPT-3. А что если можно обойтись без этого?
Авторы предлагают ICALens — использовать Independent Component Analysis (ICA) как лёгкую альтернативу. Идея: интерпретируемые направления в пространстве активаций не-гауссовы, и ICA ищет именно такие направления — без обучения нейросети.
Проблема: наивный FastICA на LLM-активациях работает плохо. Авторы добавили row-normalization, адаптивный рефит и критерий сходимости p95-LIM — это дало +400% принятых слоёв на GPT-2 Small.
Результат: ICA-компоненты ловят лексику, синтаксис, дискурс и семантическую неоднозначность. По качеству фичей ICA конкурирует с SAE и стабильно бьёт PCA. ICA — не замена SAE, а быстрый первый взгляд на структуру модели.
https://arxiv.org/abs/2606.11722
Microsoft Research: ИИ-агент поймал малварь, которую пропустили топовые антивирусы
Project Ire — автономный агент Microsoft для анализа вредоносного ПО — обнаружил новый вариант бэкдора LOTUSLITE, который по состоянию на 4 июня не детектировали CrowdStrike Falcon, SentinelOne, Sophos, Trellix, Palo Alto и ESET.
Агент получил образец вслепую, без каких-либо подсказок. Через один запуск к декомпилятору Ire выдал детальный поведенческий отчёт: схема установки, структура C2-пакетов, механизм персистентности, обфускация. Вывод — малварь. Никаких сигнатур, только анализ поведения.
Почему это важно: новый образец не совпадает ни с одним известным индикатором компрометации из базы Acronis, но поведенчески идентичен семейству LOTUSLITE. Именно это и есть проблема классических антивирусов — они ищут сигнатуры, а не смысл.
Ire доказывает: аgentic reverse engineering способен закрывать слепые пятна там, где сигнатурный анализ бессилен.
https://www.microsoft.com/en-us/research/blog/ire-identifies-another-lotuslite-specimen/
Project Ire — автономный агент Microsoft для анализа вредоносного ПО — обнаружил новый вариант бэкдора LOTUSLITE, который по состоянию на 4 июня не детектировали CrowdStrike Falcon, SentinelOne, Sophos, Trellix, Palo Alto и ESET.
Агент получил образец вслепую, без каких-либо подсказок. Через один запуск к декомпилятору Ire выдал детальный поведенческий отчёт: схема установки, структура C2-пакетов, механизм персистентности, обфускация. Вывод — малварь. Никаких сигнатур, только анализ поведения.
Почему это важно: новый образец не совпадает ни с одним известным индикатором компрометации из базы Acronis, но поведенчески идентичен семейству LOTUSLITE. Именно это и есть проблема классических антивирусов — они ищут сигнатуры, а не смысл.
Ire доказывает: аgentic reverse engineering способен закрывать слепые пятна там, где сигнатурный анализ бессилен.
https://www.microsoft.com/en-us/research/blog/ire-identifies-another-lotuslite-specimen/
Microsoft Research
Inside Project Ire’s discovery of an evasive malware sample
Project Ire examined a timely malware sample and determined its intent through reverse engineering—identifying LOTUSLITE characteristics even as most major EDR tools did not detect it.
Модель, которая сама решает — говорить или молчать (by JD.com)
Представьте: ребёнок тянется к горячей плите, пожилой родитель упал в соседней комнате. Обычные AI-ассистенты бесполезны — они ждут, пока их спросят. JoyAI-VL-Interaction устроен иначе: каждую секунду модель сама решает — ответить, промолчать или делегировать задачу фоновому агенту.
Ключевая идея: "молчание" — это полноправное действие наравне с ответом. Модель обучена на time-aligned данных: каждая секунда видеопотока размечена нужным действием. Для экономии токенов используется AdaCodec — предсказуемые кадры кодируются дешевле.
В сравнении с Doubao и Gemini видеозвонками модель выигрывает 77.6% и 87.9% оценок соответственно. В задачах мониторинга и алертов — 100%.
Веса, данные и код открыты.
https://arxiv.org/abs/2606.14777
Представьте: ребёнок тянется к горячей плите, пожилой родитель упал в соседней комнате. Обычные AI-ассистенты бесполезны — они ждут, пока их спросят. JoyAI-VL-Interaction устроен иначе: каждую секунду модель сама решает — ответить, промолчать или делегировать задачу фоновому агенту.
Ключевая идея: "молчание" — это полноправное действие наравне с ответом. Модель обучена на time-aligned данных: каждая секунда видеопотока размечена нужным действием. Для экономии токенов используется AdaCodec — предсказуемые кадры кодируются дешевле.
В сравнении с Doubao и Gemini видеозвонками модель выигрывает 77.6% и 87.9% оценок соответственно. В задачах мониторинга и алертов — 100%.
Веса, данные и код открыты.
https://arxiv.org/abs/2606.14777
Интерактивный мир в реальном времени: как научить видеомодель помнить, куда ты уже ходил
DreamX-World 1.0 от AMAP-ML — это интерактивная world model, которая умеет не просто генерировать видео, а симулировать мир с управлением камерой, событиями и долгосрочной памятью сцены.
Три главные проблемы, которые они решили:
1. Камера без дрейфа — E-PRoPE считает проективное внимание на уменьшенных токенах, -30% к латентности без потери точности траектории.
2. Память сцены — если ты ушёл из комнаты и вернулся, модель должна помнить, как она выглядела. Геометрический retrieval + residual recycling решают это.
3. Стриминг в реальном времени — DMD-дистилляция + RL-файнтюнинг + асинхронный пайплайн дают до 16 FPS на 8x RTX 5090.
Данные: смесь Unreal Engine 5 (с точными позами камеры), игровых записей и реального видео с восстановленными позами.
https://arxiv.org/abs/2606.16993
DreamX-World 1.0 от AMAP-ML — это интерактивная world model, которая умеет не просто генерировать видео, а симулировать мир с управлением камерой, событиями и долгосрочной памятью сцены.
Три главные проблемы, которые они решили:
1. Камера без дрейфа — E-PRoPE считает проективное внимание на уменьшенных токенах, -30% к латентности без потери точности траектории.
2. Память сцены — если ты ушёл из комнаты и вернулся, модель должна помнить, как она выглядела. Геометрический retrieval + residual recycling решают это.
3. Стриминг в реальном времени — DMD-дистилляция + RL-файнтюнинг + асинхронный пайплайн дают до 16 FPS на 8x RTX 5090.
Данные: смесь Unreal Engine 5 (с точными позами камеры), игровых записей и реального видео с восстановленными позами.
https://arxiv.org/abs/2606.16993
Робот видит 3D мир — почему же его политики обучают в 2D?
(by ETH Zürich)
Большинство современных VLA-моделей для роботов работают с плоскими RGB-изображениями, игнорируя глубину и геометрию сцены. GAM (Geometric Action Model) предлагает другой путь: взять готовую Geometric Foundation Model (типа VGGT), разрезать её пополам и вставить между частями причинный трансформер.
Как это работает: первая половина GFM кодирует наблюдение в геометрически богатые токены, вставленный трансформер предсказывает будущее состояние сцены в латентном пространстве, а вторая половина GFM декодирует и геометрию, и действия робота одновременно.
Результат: GAM в 55 раз быстрее аналогов типа Video WAM, использует меньше параметров, и особенно хорош при смене камеры (+9.7%) — именно там нужно настоящее 3D-понимание.
https://arxiv.org/abs/2606.17046
(by ETH Zürich)
Большинство современных VLA-моделей для роботов работают с плоскими RGB-изображениями, игнорируя глубину и геометрию сцены. GAM (Geometric Action Model) предлагает другой путь: взять готовую Geometric Foundation Model (типа VGGT), разрезать её пополам и вставить между частями причинный трансформер.
Как это работает: первая половина GFM кодирует наблюдение в геометрически богатые токены, вставленный трансформер предсказывает будущее состояние сцены в латентном пространстве, а вторая половина GFM декодирует и геометрию, и действия робота одновременно.
Результат: GAM в 55 раз быстрее аналогов типа Video WAM, использует меньше параметров, и особенно хорош при смене камеры (+9.7%) — именно там нужно настоящее 3D-понимание.
https://arxiv.org/abs/2606.17046
Nvidia Tech обновила BioNeMo Recipes — набор рецептов для дообучения биологических ИИ-моделей с помощью метода LoRA.
Суть: вместо полного дообучения многомиллиардных моделей (ESM2-3B для белков, Evo2-1B для ДНК) теперь достаточно обучать лишь ~1% параметров. Замороженная основа модели остаётся нетронутой, обновляются только небольшие адаптерные матрицы.
Результаты впечатляют: ESM2-3B с LoRA достигает точности предсказания вторичной структуры белка на уровне лучших конкурентов (84.8% Q3), а Evo2-1B поднимает точность классификации сайтов сплайсинга ДНК с 52.3% до 96.6% — и всё это на одной рабочей GPU RTX 6000 Blackwell менее чем за час.
Для исследователей в биоинформатике это означает: задачи, ранее требовавшие кластеров, теперь решаются на рабочей станции. Код открыт в репозитории BioNeMo Recipes.
https://developer.nvidia.com/blog/fine-tuning-biological-foundation-models-with-lora-using-nvidia-bionemo-recipes/
Суть: вместо полного дообучения многомиллиардных моделей (ESM2-3B для белков, Evo2-1B для ДНК) теперь достаточно обучать лишь ~1% параметров. Замороженная основа модели остаётся нетронутой, обновляются только небольшие адаптерные матрицы.
Результаты впечатляют: ESM2-3B с LoRA достигает точности предсказания вторичной структуры белка на уровне лучших конкурентов (84.8% Q3), а Evo2-1B поднимает точность классификации сайтов сплайсинга ДНК с 52.3% до 96.6% — и всё это на одной рабочей GPU RTX 6000 Blackwell менее чем за час.
Для исследователей в биоинформатике это означает: задачи, ранее требовавшие кластеров, теперь решаются на рабочей станции. Код открыт в репозитории BioNeMo Recipes.
https://developer.nvidia.com/blog/fine-tuning-biological-foundation-models-with-lora-using-nvidia-bionemo-recipes/
NVIDIA Technical Blog
Fine-Tuning Biological Foundation Models with LoRA Using NVIDIA BioNeMo Recipes
Foundation models are reshaping computational biology. Pretrained on massive corpora of protein or genomic sequences, models such as ESM2 (a protein language model) and Evo 2 (a DNA language model)…
Nvidia Tech выпустила продвинутые фьюжн-ядра для обучения MoE-моделей
Nvidia представила кастомные fused MLP-ядра для плотных и MoE-моделей, написанные на CuTe DSL. Они устраняют три главных узких места при обучении: лишние операции чтения/записи при активациях, синхронизацию CPU-GPU и накладные расходы квантизации.
Что конкретно изменилось: ядра объединяют GEMM с активациями (SwiGLU, GeGLU, sReLU), квантизацией (MXFP8, NVFP4) и транспонированием в единый проход. Токены на эксперт теперь отслеживаются прямо в памяти GPU — CPU больше не нужен для синхронизации, что открывает путь к полноитерационным CUDA Graphs.
Результат: ускорение на уровне ядер в 1.3–2x, плюс 8% прироста сквозной производительности для DeepSeek-V3 и целых 93% для GPT-OSS пре-тренинга.
Ядра уже доступны через cuDNN Frontend, Transformer Engine и Megatron-Core.
https://developer.nvidia.com/blog/boosting-moe-training-throughput-with-advanced-fusion-kernels/
Nvidia представила кастомные fused MLP-ядра для плотных и MoE-моделей, написанные на CuTe DSL. Они устраняют три главных узких места при обучении: лишние операции чтения/записи при активациях, синхронизацию CPU-GPU и накладные расходы квантизации.
Что конкретно изменилось: ядра объединяют GEMM с активациями (SwiGLU, GeGLU, sReLU), квантизацией (MXFP8, NVFP4) и транспонированием в единый проход. Токены на эксперт теперь отслеживаются прямо в памяти GPU — CPU больше не нужен для синхронизации, что открывает путь к полноитерационным CUDA Graphs.
Результат: ускорение на уровне ядер в 1.3–2x, плюс 8% прироста сквозной производительности для DeepSeek-V3 и целых 93% для GPT-OSS пре-тренинга.
Ядра уже доступны через cuDNN Frontend, Transformer Engine и Megatron-Core.
https://developer.nvidia.com/blog/boosting-moe-training-throughput-with-advanced-fusion-kernels/
NVIDIA Technical Blog
Boosting MoE Training Throughput with Advanced Fusion Kernels
Mixture-of-experts (MoE) models have quickly become a foundational component of modern, large-scale AI systems. They are widely adopted because they enable substantially larger model capacity while…
Nvidia Tech — новый взгляд на роботов: WAM вместо VLA
В мире робототехнического AI произошёл тихий переворот. Если год назад все говорили про VLA-модели (Vision-Language-Action), то теперь доминирует новый термин — WAM, World-Action Model.
В чём разница? VLA-модели учат роботов действовать, опираясь на языковые модели. WAM идёт другим путём: за основу берётся видео-модель или модель мира, которая уже понимает, как сцена меняется во времени. Из этого и рождается поведение робота.
Почему это важно? VLA упёрлись в "стену заземления" — модель понимает язык, но плохо переводит слова в реальные движения. WAM потенциально сокращает этот разрыв, так как видеобэкбон уже знает физику сцены.
NVIDIA активно развивает это направление через платформу Cosmos. Для пользователей это означает роботов, которые лучше обобщают задачи и адаптируются к новым условиям без огромных объёмов разметки.
Главный вопрос пока открыт: реальный прорыв или очередной хайп-цикл?
https://developer.nvidia.com/blog/pretrained-to-imagine-fine-tuned-to-act-the-rise-of-world-action-models/
В мире робототехнического AI произошёл тихий переворот. Если год назад все говорили про VLA-модели (Vision-Language-Action), то теперь доминирует новый термин — WAM, World-Action Model.
В чём разница? VLA-модели учат роботов действовать, опираясь на языковые модели. WAM идёт другим путём: за основу берётся видео-модель или модель мира, которая уже понимает, как сцена меняется во времени. Из этого и рождается поведение робота.
Почему это важно? VLA упёрлись в "стену заземления" — модель понимает язык, но плохо переводит слова в реальные движения. WAM потенциально сокращает этот разрыв, так как видеобэкбон уже знает физику сцены.
NVIDIA активно развивает это направление через платформу Cosmos. Для пользователей это означает роботов, которые лучше обобщают задачи и адаптируются к новым условиям без огромных объёмов разметки.
Главный вопрос пока открыт: реальный прорыв или очередной хайп-цикл?
https://developer.nvidia.com/blog/pretrained-to-imagine-fine-tuned-to-act-the-rise-of-world-action-models/
NVIDIA Technical Blog
Pretrained to Imagine, Fine-Tuned to Act: The Rise of World-Action Models | NVIDIA Technical Blog
Quick glossary for readers new to VLA/WAM terminology VLA Vision-Language-Action model: a robot policy that starts from a pretrained VLM backbone and adapts it to generate actions from visual…
Триллион параметров без обучения с нуля — это реально?
inclusionAI выпустила семейство моделей Ling-2.6 и Ring-2.6 масштаба до 1T параметров. Главная фишка: вместо дорогого обучения с нуля они взяли уже обученный Ling-2.0 и сделали "архитектурную пересадку" — заменили стандартный GQA на гибрид Lightning Attention + MLA в соотношении 7:1. Lightning Attention снижает сложность с O(n²) до O(n), MLA сжимает KV-кэш. Результат: при контексте 256K+ токенов нагрузка на attention упала с 60%+ FLOPs до приемлемого уровня.
Для постобучения придумали Evo-CoT (убирает лишние шаги рассуждения) и LPO (оптимизация на уровне смысловых единиц, а не токенов). Итог — 4× выше token efficiency по сравнению с предыдущим поколением.
Все три модели открыты. Ling-2.6-1T на Intelligence Index сравнима с GPT-5 в non-reasoning режиме, используя в разы меньше токенов.
https://arxiv.org/abs/2606.15079
inclusionAI выпустила семейство моделей Ling-2.6 и Ring-2.6 масштаба до 1T параметров. Главная фишка: вместо дорогого обучения с нуля они взяли уже обученный Ling-2.0 и сделали "архитектурную пересадку" — заменили стандартный GQA на гибрид Lightning Attention + MLA в соотношении 7:1. Lightning Attention снижает сложность с O(n²) до O(n), MLA сжимает KV-кэш. Результат: при контексте 256K+ токенов нагрузка на attention упала с 60%+ FLOPs до приемлемого уровня.
Для постобучения придумали Evo-CoT (убирает лишние шаги рассуждения) и LPO (оптимизация на уровне смысловых единиц, а не токенов). Итог — 4× выше token efficiency по сравнению с предыдущим поколением.
Все три модели открыты. Ling-2.6-1T на Intelligence Index сравнима с GPT-5 в non-reasoning режиме, используя в разы меньше токенов.
https://arxiv.org/abs/2606.15079
ZPPO от NVIDIA: учитель в промпте, а не в градиентах
Маленькие модели (0.8B–2B) плохо учатся у больших через дистилляцию — они просто зазубривают ответы учителя и теряют обобщение за пределами тренировочных данных. RL тоже не спасает: на сложных вопросах студент не может решить ничего, получает нулевой сигнал и не учится именно там, где нужно.
ZPPO (Zone of Proximal Policy Optimization, by NVIDIA) решает это элегантно: учитель не трогает градиенты — он только попадает в промпт. Для сложных вопросов создаётся BCQ-промпт: правильный ответ учителя + неверный ответ студента как анонимные кандидаты. Студент сам генерирует ответ, градиент остаётся on-policy. Параллельно NCQ собирает все неверные попытки студента и явно показывает ему: "всё это неправильно — попробуй ещё раз".
Результат: 0.8B модель +9.3pp на VLM-бенчмарках против лучшего дистилляционного baseline. Дистилляция при этом ещё и ухудшает обобщение за пределами тренировочных данных, ZPPO — нет.
https://arxiv.org/abs/2606.18216
Маленькие модели (0.8B–2B) плохо учатся у больших через дистилляцию — они просто зазубривают ответы учителя и теряют обобщение за пределами тренировочных данных. RL тоже не спасает: на сложных вопросах студент не может решить ничего, получает нулевой сигнал и не учится именно там, где нужно.
ZPPO (Zone of Proximal Policy Optimization, by NVIDIA) решает это элегантно: учитель не трогает градиенты — он только попадает в промпт. Для сложных вопросов создаётся BCQ-промпт: правильный ответ учителя + неверный ответ студента как анонимные кандидаты. Студент сам генерирует ответ, градиент остаётся on-policy. Параллельно NCQ собирает все неверные попытки студента и явно показывает ему: "всё это неправильно — попробуй ещё раз".
Результат: 0.8B модель +9.3pp на VLM-бенчмарках против лучшего дистилляционного baseline. Дистилляция при этом ещё и ухудшает обобщение за пределами тренировочных данных, ZPPO — нет.
https://arxiv.org/abs/2606.18216
Немотрон весит 550 миллиардов, но думает быстрее конкурентов в 6 раз (by NVIDIA)
NVIDIA выкатила Nemotron 3 Ultra — открытую MoE-модель на 550B параметров (55B активных). Главная фишка: гибридная архитектура Mamba + Attention вместо чистого трансформера. Mamba-слои почти не используют KV-кэш, поэтому при длинных контекстах (8K вход / 64K выход) модель выдаёт в 5.9× больше токенов в секунду, чем GLM-5.1-754B, при сопоставимом качестве.
Ещё интересное: обучение велось в NVFP4 (4-бит с блочной квантизацией) — самый крупный прецедент стабильного NVFP4-претрейнинга. Потери по сравнению с BF16 — менее 0.4%. Плюс Multi-Token Prediction для ускорения инференса через speculative decoding.
Постобучение: SFT → RLVR по агентным/кодовым/чат-задачам → дистилляция из 10+ специализированных teacher-моделей. Всё открыто: веса, рецепты, данные, RL-среды.
https://arxiv.org/abs/2606.15007
NVIDIA выкатила Nemotron 3 Ultra — открытую MoE-модель на 550B параметров (55B активных). Главная фишка: гибридная архитектура Mamba + Attention вместо чистого трансформера. Mamba-слои почти не используют KV-кэш, поэтому при длинных контекстах (8K вход / 64K выход) модель выдаёт в 5.9× больше токенов в секунду, чем GLM-5.1-754B, при сопоставимом качестве.
Ещё интересное: обучение велось в NVFP4 (4-бит с блочной квантизацией) — самый крупный прецедент стабильного NVFP4-претрейнинга. Потери по сравнению с BF16 — менее 0.4%. Плюс Multi-Token Prediction для ускорения инференса через speculative decoding.
Постобучение: SFT → RLVR по агентным/кодовым/чат-задачам → дистилляция из 10+ специализированных teacher-моделей. Всё открыто: веса, рецепты, данные, RL-среды.
https://arxiv.org/abs/2606.15007