Топовые VLM не могут отследить мячик под стаканчиком (by NUS)
Помните игру в напёрсток? Оказывается, это непосильная задача для современных видео-моделей. Авторы из NUS проверили: Gemini-3-Pro, GPT-4o и другие топовые VLM справляются с задачей отслеживания объекта не лучше случайного угадывания (33%).
Хитрость в том, что существующие бенчмарки содержат "читы" — различимые стаканчики или прозрачные чашки, по которым модель угадывает ответ по одному кадру без реального трекинга. Авторы создали VET-Bench с визуально идентичными объектами, где единственный способ решить задачу — отследить движение во времени.
Результат: все модели падают до случайного уровня. Теоретически доказано, что задача NC1-complete, то есть трансформеры фиксированной глубины принципиально ограничены без промежуточных вычислений.
Решение — SGCoT (Spatiotemporal Grounded Chain-of-Thought): модель явно генерирует траектории объектов как цепочку рассуждений. Итог: 91% точности против 34% у лучшей базовой модели.
Помните игру в напёрсток? Оказывается, это непосильная задача для современных видео-моделей. Авторы из NUS проверили: Gemini-3-Pro, GPT-4o и другие топовые VLM справляются с задачей отслеживания объекта не лучше случайного угадывания (33%).
Хитрость в том, что существующие бенчмарки содержат "читы" — различимые стаканчики или прозрачные чашки, по которым модель угадывает ответ по одному кадру без реального трекинга. Авторы создали VET-Bench с визуально идентичными объектами, где единственный способ решить задачу — отследить движение во времени.
Результат: все модели падают до случайного уровня. Теоретически доказано, что задача NC1-complete, то есть трансформеры фиксированной глубины принципиально ограничены без промежуточных вычислений.
Решение — SGCoT (Spatiotemporal Grounded Chain-of-Thought): модель явно генерирует траектории объектов как цепочку рассуждений. Итог: 91% точности против 34% у лучшей базовой модели.
AI учится чувствовать "научный вкус" — что стоит исследовать, а что нет
Умение выбирать перспективные направления в науке — это то, что отличает великих учёных. Можно ли этому научить AI?
Авторы из OpenMOSS предлагают RLCF (Reinforcement Learning from Community Feedback): вместо отзывов людей используют цитирования как сигнал "вкуса" научного сообщества. Собрали 700K пар абстрактов из одной области и эпохи, где один из них цитируется больше — это и есть предпочтение.
Обучили два агента:
Scientific Judge — оценивает пары статей и предсказывает, какая наберёт больше цитат (обгоняет GPT-4.5 и Gemini 3 Pro)
Scientific Thinker — по статье предлагает перспективную идею для продолжения, используя Judge как reward model
Ключевой результат: Judge обобщается на будущие годы и незнакомые области — значит, он уловил что-то реальное, а не просто запомнил паттерны.
Вывод авторов: научный вкус — не мистическая черта гениев, а обучаемый навык.
https://arxiv.org/abs/2603.14473
Умение выбирать перспективные направления в науке — это то, что отличает великих учёных. Можно ли этому научить AI?
Авторы из OpenMOSS предлагают RLCF (Reinforcement Learning from Community Feedback): вместо отзывов людей используют цитирования как сигнал "вкуса" научного сообщества. Собрали 700K пар абстрактов из одной области и эпохи, где один из них цитируется больше — это и есть предпочтение.
Обучили два агента:
Scientific Judge — оценивает пары статей и предсказывает, какая наберёт больше цитат (обгоняет GPT-4.5 и Gemini 3 Pro)
Scientific Thinker — по статье предлагает перспективную идею для продолжения, используя Judge как reward model
Ключевой результат: Judge обобщается на будущие годы и незнакомые области — значит, он уловил что-то реальное, а не просто запомнил паттерны.
Вывод авторов: научный вкус — не мистическая черта гениев, а обучаемый навык.
https://arxiv.org/abs/2603.14473
👍2
Видео и аудио в реальном времени за 0.7 секунды вместо 197?
Современные joint audio-visual модели типа LTX-2 и Veo 3 генерируют видео+аудио с потрясающим качеством, но с огромной задержкой — нужно обработать всю последовательность целиком, прежде чем выдать хоть что-то. 197 секунд до первого чанка — это не стриминг, это пытка.
OmniForcing решает это через дистилляцию: берут тяжёлую bidirectional модель и превращают её в causal autoregressive генератор, который стримит чанки синхронно по обоим модальностям.
Главная боль — асимметрия частот: видео идёт на 3 FPS, аудио на 25 FPS. Наивная каузальная маска вызывает Softmax collapse и взрывы градиентов в аудио-стриме. Авторы решают это через Audio Attention Sink с Identity RoPE (позиционно-агностичный буфер памяти) и Modality-Independent Rolling KV-Cache со сложностью O(L) вместо квадратичной.
Результат: ~25 FPS стриминг на одном GPU, TTFC ~0.7 секунды против 197 у учителя, при сопоставимом качестве.
https://arxiv.org/abs/2603.11647
Современные joint audio-visual модели типа LTX-2 и Veo 3 генерируют видео+аудио с потрясающим качеством, но с огромной задержкой — нужно обработать всю последовательность целиком, прежде чем выдать хоть что-то. 197 секунд до первого чанка — это не стриминг, это пытка.
OmniForcing решает это через дистилляцию: берут тяжёлую bidirectional модель и превращают её в causal autoregressive генератор, который стримит чанки синхронно по обоим модальностям.
Главная боль — асимметрия частот: видео идёт на 3 FPS, аудио на 25 FPS. Наивная каузальная маска вызывает Softmax collapse и взрывы градиентов в аудио-стриме. Авторы решают это через Audio Attention Sink с Identity RoPE (позиционно-агностичный буфер памяти) и Modality-Independent Rolling KV-Cache со сложностью O(L) вместо квадратичной.
Результат: ~25 FPS стриминг на одном GPU, TTFC ~0.7 секунды против 197 у учителя, при сопоставимом качестве.
https://arxiv.org/abs/2603.11647
👍2
Nvidia Tech запускает Project Rheo — симуляцию для обучения роботов в больницах
К 2030 году миру не хватит 10 миллионов врачей. Nvidia решает эту проблему нестандартно: вместо того чтобы обучать роботов в реальных больницах, компания предлагает обучать их в цифровых двойниках клиник.
Project Rheo — это blueprint для создания виртуальных операционных, где роботы тренируются перекладывать хирургические лотки, собирать медицинское оборудование и возить тележки с припасами. Всё это до того, как машина окажется рядом с живым пациентом.
В основе — Isaac Sim, Isaac Lab и модели GR00T. Разработчики буквально в нескольких строках кода собирают сцену: предоперационная комната, хирургический лоток, робот Unitree G1 — и запускают обучение.
Почему важно: реальные больницы слишком хаотичны и опасны для тестирования ИИ. Симуляция даёт тысячи сценариев без риска для пациентов и без огромных затрат на развёртывание роботов по всему миру.
https://developer.nvidia.com/blog/using-simulation-to-build-robotic-systems-for-hospital-automation/
К 2030 году миру не хватит 10 миллионов врачей. Nvidia решает эту проблему нестандартно: вместо того чтобы обучать роботов в реальных больницах, компания предлагает обучать их в цифровых двойниках клиник.
Project Rheo — это blueprint для создания виртуальных операционных, где роботы тренируются перекладывать хирургические лотки, собирать медицинское оборудование и возить тележки с припасами. Всё это до того, как машина окажется рядом с живым пациентом.
В основе — Isaac Sim, Isaac Lab и модели GR00T. Разработчики буквально в нескольких строках кода собирают сцену: предоперационная комната, хирургический лоток, робот Unitree G1 — и запускают обучение.
Почему важно: реальные больницы слишком хаотичны и опасны для тестирования ИИ. Симуляция даёт тысячи сценариев без риска для пациентов и без огромных затрат на развёртывание роботов по всему миру.
https://developer.nvidia.com/blog/using-simulation-to-build-robotic-systems-for-hospital-automation/
NVIDIA Technical Blog
Using Simulation to Build Robotic Systems for Hospital Automation
Healthcare faces a structural demand–capacity crisis: a projected global shortfall of ~10 million clinicians by 2030, billions of diagnostic exams annually with significant unmet demand…
Nvidia представила NVIDIA Groq 3 LPX — новый ускоритель вывода для платформы Vera Rubin.
Это стоечная система из 256 LPU-чипов, заточенная под низкую задержку и агентные AI-системы. Ключевые цифры: 315 PFLOPS вычислений, 128 ГБ SRAM и пропускная способность 40 ПБ/с на чип.
Главная идея — разделение труда. Vera Rubin NVL72 берёт на себя prefill и обработку длинного контекста, а LPX ускоряет самую чувствительную к задержкам часть — генерацию токенов. Вместе они дают до 35x больше throughput на мегаватт и до 10x больше потенциального дохода на триллионных моделях.
Зачем это нужно? Когда скорость генерации достигает 1000 токенов в секунду на пользователя, AI перестаёт быть чатом и становится инструментом реального времени. Это критично для мультиагентных систем, которые должны думать и координироваться непрерывно.
Инфраструктура будущего строится уже сейчас.
https://developer.nvidia.com/blog/inside-nvidia-groq-3-lpx-the-low-latency-inference-accelerator-for-the-nvidia-vera-rubin-platform/
Это стоечная система из 256 LPU-чипов, заточенная под низкую задержку и агентные AI-системы. Ключевые цифры: 315 PFLOPS вычислений, 128 ГБ SRAM и пропускная способность 40 ПБ/с на чип.
Главная идея — разделение труда. Vera Rubin NVL72 берёт на себя prefill и обработку длинного контекста, а LPX ускоряет самую чувствительную к задержкам часть — генерацию токенов. Вместе они дают до 35x больше throughput на мегаватт и до 10x больше потенциального дохода на триллионных моделях.
Зачем это нужно? Когда скорость генерации достигает 1000 токенов в секунду на пользователя, AI перестаёт быть чатом и становится инструментом реального времени. Это критично для мультиагентных систем, которые должны думать и координироваться непрерывно.
Инфраструктура будущего строится уже сейчас.
https://developer.nvidia.com/blog/inside-nvidia-groq-3-lpx-the-low-latency-inference-accelerator-for-the-nvidia-vera-rubin-platform/
NVIDIA Technical Blog
Inside NVIDIA Groq 3 LPX: The Low-Latency Inference Accelerator for the NVIDIA Vera Rubin Platform
NVIDIA Groq 3 LPX is a new rack-scale inference accelerator for the NVIDIA Vera Rubin platform, designed for the low-latency and large-context demands of agentic systems. Co-designed with the NVIDIA…
Nvidia представила CMX — новую платформу хранения контекстной памяти для ИИ-инференса.
Суть проблемы: агентные ИИ-системы с длинным контекстом (миллионы токенов) постоянно упираются в нехватку GPU-памяти. Хранить KV-кэш дорого, пересчитывать — ещё дороже.
Решение — CMX Context Memory Storage на базе чипа BlueField-4. Это новый уровень памяти между GPU HBM и обычным хранилищем: быстрый флеш с RDMA-доступом через Spectrum-X Ethernet. Система встраивается в платформу Vera Rubin и масштабируется на весь POD.
Результат: в 5 раз больше токенов в секунду и в 5 раз выше энергоэффективность по сравнению с традиционным хранилищем. GPU перестают простаивать в ожидании данных.
Для кого важно: провайдеры ИИ-инфраструктуры и компании, строящие агентные системы с длинным контекстом — теперь масштабироваться дешевле и быстрее.
https://developer.nvidia.com/blog/introducing-nvidia-bluefield-4-powered-inference-context-memory-storage-platform-for-the-next-frontier-of-ai/
Суть проблемы: агентные ИИ-системы с длинным контекстом (миллионы токенов) постоянно упираются в нехватку GPU-памяти. Хранить KV-кэш дорого, пересчитывать — ещё дороже.
Решение — CMX Context Memory Storage на базе чипа BlueField-4. Это новый уровень памяти между GPU HBM и обычным хранилищем: быстрый флеш с RDMA-доступом через Spectrum-X Ethernet. Система встраивается в платформу Vera Rubin и масштабируется на весь POD.
Результат: в 5 раз больше токенов в секунду и в 5 раз выше энергоэффективность по сравнению с традиционным хранилищем. GPU перестают простаивать в ожидании данных.
Для кого важно: провайдеры ИИ-инфраструктуры и компании, строящие агентные системы с длинным контекстом — теперь масштабироваться дешевле и быстрее.
https://developer.nvidia.com/blog/introducing-nvidia-bluefield-4-powered-inference-context-memory-storage-platform-for-the-next-frontier-of-ai/
NVIDIA Technical Blog
Introducing NVIDIA BlueField-4-Powered CMX Context Memory Storage Platform for the Next Frontier of AI
AI‑native organizations increasingly face scaling challenges as agentic AI workflows drive context windows to millions of tokens and models scale toward trillions of parameters. These systems rely on…
Как поймать галлюцинацию VLM за руку — прямо в процессе мышления? (by NUS)
Модель смотрит на фото велосипедиста, "видит" мотоцикл, описывает его в деталях — а потом отвечает "нет, мотоцикла нет". Правильный ответ, двойная ошибка. Авторы называют это "вычислительным когнитивным диссонансом".
Идея: галлюцинации — не точечная ошибка, а сбой в цепочке. Авторы разбивают рассуждение VLM на стадии (восприятие → доказательства → ответ) и вводят три метрики:
- HEvi: нестабильность на этапе восприятия
- SConf: конфликт между доказательствами и ответом (нарушение Марковского условия)
- HAns: неопределённость финального решения
Каждая генерация превращается в точку в 3D "когнитивном пространстве". Нормальные ответы кластеризуются в плотное подмногообразие, галлюцинации — геометрические аномалии на его краях.
Детекция работает за один проход, без разметки галлюцинаций, устойчива к 30% шума в калибровочных данных. SOTA на POPE, MME, MS-COCO.
https://arxiv.org/abs/2603.15557
Модель смотрит на фото велосипедиста, "видит" мотоцикл, описывает его в деталях — а потом отвечает "нет, мотоцикла нет". Правильный ответ, двойная ошибка. Авторы называют это "вычислительным когнитивным диссонансом".
Идея: галлюцинации — не точечная ошибка, а сбой в цепочке. Авторы разбивают рассуждение VLM на стадии (восприятие → доказательства → ответ) и вводят три метрики:
- HEvi: нестабильность на этапе восприятия
- SConf: конфликт между доказательствами и ответом (нарушение Марковского условия)
- HAns: неопределённость финального решения
Каждая генерация превращается в точку в 3D "когнитивном пространстве". Нормальные ответы кластеризуются в плотное подмногообразие, галлюцинации — геометрические аномалии на его краях.
Детекция работает за один проход, без разметки галлюцинаций, устойчива к 30% шума в калибровочных данных. SOTA на POPE, MME, MS-COCO.
https://arxiv.org/abs/2603.15557
POLCA: LLM как оптимизатор программ (by DeepMind)
Что если использовать LLM не для генерации текста, а для оптимизации сложных систем — промптов, агентов, CUDA-кернелов? Проблема: LLM-оптимизаторы нестабильны и зацикливаются, особенно когда оценка шумная и дорогая.
POLCA решает это через ε-Net — механизм памяти на основе эмбеддингов. Идея: новый кандидат добавляется в пул только если он семантически достаточно отличается от уже имеющихся. Это убивает двух зайцев: не тратим бюджет на похожие варианты и не переобучаемся под шумные оценки.
Дополнительно: приоритизация кандидатов через UCB, минибатч-оценка и сжатие памяти для глобального контекста.
На τ-bench, HotpotQA, VeriBench и KernelBench POLCA стабильно обгоняет AlphaEvolve и GEPA по скорости сходимости и итоговому качеству.
https://arxiv.org/abs/2603.14769
Что если использовать LLM не для генерации текста, а для оптимизации сложных систем — промптов, агентов, CUDA-кернелов? Проблема: LLM-оптимизаторы нестабильны и зацикливаются, особенно когда оценка шумная и дорогая.
POLCA решает это через ε-Net — механизм памяти на основе эмбеддингов. Идея: новый кандидат добавляется в пул только если он семантически достаточно отличается от уже имеющихся. Это убивает двух зайцев: не тратим бюджет на похожие варианты и не переобучаемся под шумные оценки.
Дополнительно: приоритизация кандидатов через UCB, минибатч-оценка и сжатие памяти для глобального контекста.
На τ-bench, HotpotQA, VeriBench и KernelBench POLCA стабильно обгоняет AlphaEvolve и GEPA по скорости сходимости и итоговому качеству.
https://arxiv.org/abs/2603.14769
👍1
EnterpriseOps-Gym: насколько готовы LLM-агенты к реальной корпоративной работе? (by ServiceNow)
Спойлер: совсем не готовы. Лучший результат — Claude Opus 4.5 с 37.4%.
Авторы создали огромный бенчмарк для оценки LLM-агентов в корпоративной среде: 1150 задач, 8 доменов (HR, ITSM, CSM, Email, Teams и др.), 512 инструментов, 164 таблицы БД. Агент должен выполнять длинные цепочки действий (до 34 шагов), соблюдать политики доступа и уметь отказываться от невыполнимых задач.
Ключевые находки:
— Простые домены (Email, Teams): до 51-52%. Сложные (ITSM, кросс-доменные): 28-30%.
— Обнаружить "невозможную" задачу и правильно отказаться умеет лишь 53.9% времени даже лучшая модель.
— Главный bottleneck — стратегическое планирование, а не вызов инструментов. Дать агенту готовый план улучшает результат на 14-35 п.п.
— Мультиагентная оркестрация не помогает и даже ухудшает из-за зависимостей между шагами.
https://arxiv.org/abs/2603.13594
Спойлер: совсем не готовы. Лучший результат — Claude Opus 4.5 с 37.4%.
Авторы создали огромный бенчмарк для оценки LLM-агентов в корпоративной среде: 1150 задач, 8 доменов (HR, ITSM, CSM, Email, Teams и др.), 512 инструментов, 164 таблицы БД. Агент должен выполнять длинные цепочки действий (до 34 шагов), соблюдать политики доступа и уметь отказываться от невыполнимых задач.
Ключевые находки:
— Простые домены (Email, Teams): до 51-52%. Сложные (ITSM, кросс-доменные): 28-30%.
— Обнаружить "невозможную" задачу и правильно отказаться умеет лишь 53.9% времени даже лучшая модель.
— Главный bottleneck — стратегическое планирование, а не вызов инструментов. Дать агенту готовый план улучшает результат на 14-35 п.п.
— Мультиагентная оркестрация не помогает и даже ухудшает из-за зависимостей между шагами.
https://arxiv.org/abs/2603.13594
👍1
LLM для реального железа, а не для leetcode
Большинство code LLM обучены на GitHub и хороши для обычного кода. Но что если нужно написать Verilog для чипа, CUDA-ядро, прошивку для STM32 или CAD-скрипт? Лучшие модели справляются с этим на 28-40% — и это провал.
Beihang University выпустили InCoder-32B — первую LLM, заточенную под промышленный код. Ключевая идея: для каждого домена воссоздали реальный тулчейн. Verilog проверяется через Icarus Verilog + Yosys, CUDA-ядра запускаются на настоящем A100, прошивки гоняются в симуляторе Renode с виртуальным STM32F407, CAD-скрипты валидируются через OpenCascade.
На этих средах генерируют обучающие данные с верифицированными сигналами — не прокси, а настоящие промышленные критерии. Обучение трёхступенчатое: претрейн → мидтрейн с расширением контекста до 128K → пострейн с execution-grounded верификацией.
Результат: на общих бенчмарках 74.8% SWE-bench, на промышленных — лучший open-source по всем доменам, обгоняя Claude Sonnet 4.6 и Qwen3.5-397B.
Большинство code LLM обучены на GitHub и хороши для обычного кода. Но что если нужно написать Verilog для чипа, CUDA-ядро, прошивку для STM32 или CAD-скрипт? Лучшие модели справляются с этим на 28-40% — и это провал.
Beihang University выпустили InCoder-32B — первую LLM, заточенную под промышленный код. Ключевая идея: для каждого домена воссоздали реальный тулчейн. Verilog проверяется через Icarus Verilog + Yosys, CUDA-ядра запускаются на настоящем A100, прошивки гоняются в симуляторе Renode с виртуальным STM32F407, CAD-скрипты валидируются через OpenCascade.
На этих средах генерируют обучающие данные с верифицированными сигналами — не прокси, а настоящие промышленные критерии. Обучение трёхступенчатое: претрейн → мидтрейн с расширением контекста до 128K → пострейн с execution-grounded верификацией.
Результат: на общих бенчмарках 74.8% SWE-bench, на промышленных — лучший open-source по всем доменам, обгоняя Claude Sonnet 4.6 и Qwen3.5-397B.
Больше шагов — не значит лучше. Как верификация спасает агентов от накопления ошибок.
Классическая проблема агентных LLM: чем длиннее цепочка рассуждений, тем больше шанс, что ранняя ошибка утащит весь вывод в пропасть. MiroMind предлагают два уровня верификации прямо в процессе инференса.
Локальный верификатор проверяет каждый промежуточный шаг — вызов инструмента, гипотезу, план — и при необходимости заставляет модель пересмотреть решение прямо сейчас. Глобальный верификатор в конце аудирует весь трек рассуждений и сравнивает кандидатные пути к ответу.
Параллельно авторы вводят "agentic mid-training" — отдельную стадию обучения, где модель учится декомпозиции задач, работе с инструментами и промежуточным суммаризациям. Результат: MiroThinker-1.7 решает задачи за меньшее число шагов, а H1 бьёт конкурентов на BrowseComp (88.2) и BrowseComp-ZH (84.4).
https://arxiv.org/abs/2603.15726
Классическая проблема агентных LLM: чем длиннее цепочка рассуждений, тем больше шанс, что ранняя ошибка утащит весь вывод в пропасть. MiroMind предлагают два уровня верификации прямо в процессе инференса.
Локальный верификатор проверяет каждый промежуточный шаг — вызов инструмента, гипотезу, план — и при необходимости заставляет модель пересмотреть решение прямо сейчас. Глобальный верификатор в конце аудирует весь трек рассуждений и сравнивает кандидатные пути к ответу.
Параллельно авторы вводят "agentic mid-training" — отдельную стадию обучения, где модель учится декомпозиции задач, работе с инструментами и промежуточным суммаризациям. Результат: MiroThinker-1.7 решает задачи за меньшее число шагов, а H1 бьёт конкурентов на BrowseComp (88.2) и BrowseComp-ZH (84.4).
https://arxiv.org/abs/2603.15726
Nvidia на GTC 2026 представила концепцию AI Grid — распределённой инфраструктуры для вывода AI-моделей.
Суть: телеком-операторы и облачные провайдеры превращают свои сети в единую управляемую платформу, где AI-нагрузки умно распределяются между региональными узлами, edge-локациями и дата-центрами.
Что это даёт на практике: единая плоскость управления маршрутизирует запросы с учётом задержки, стоимости и требований по суверенитету данных. Бенчмарки Comcast показали, что AI Grid держит задержку голосового AI в пределах 500 мс даже при пиковой нагрузке, а стоимость токена снижается на 52–76% по сравнению с централизованной архитектурой.
Почему важно: по мере роста AI-сервисов узкое место смещается с обучения на предсказуемый инференс в реальном времени. AI Grid решает именно эту проблему для голоса, видео и персонализированных приложений.
https://developer.nvidia.com/blog/building-the-ai-grid-with-nvidia-orchestrating-intelligence-everywhere/
Суть: телеком-операторы и облачные провайдеры превращают свои сети в единую управляемую платформу, где AI-нагрузки умно распределяются между региональными узлами, edge-локациями и дата-центрами.
Что это даёт на практике: единая плоскость управления маршрутизирует запросы с учётом задержки, стоимости и требований по суверенитету данных. Бенчмарки Comcast показали, что AI Grid держит задержку голосового AI в пределах 500 мс даже при пиковой нагрузке, а стоимость токена снижается на 52–76% по сравнению с централизованной архитектурой.
Почему важно: по мере роста AI-сервисов узкое место смещается с обучения на предсказуемый инференс в реальном времени. AI Grid решает именно эту проблему для голоса, видео и персонализированных приложений.
https://developer.nvidia.com/blog/building-the-ai-grid-with-nvidia-orchestrating-intelligence-everywhere/
NVIDIA Technical Blog
Building the AI Grid with NVIDIA: Orchestrating Intelligence Everywhere
AI-native services are exposing a new bottleneck in AI infrastructure: As millions of users, agents, and devices demand access to intelligence, the challenge is shifting from peak training throughput…
NVIDIA Dynamo 1.0: до 7x прирост производительности для масштабного AI-инференса
NVIDIA выпустила Dynamo 1.0 — production-ready фреймворк для распределённого инференса на нескольких GPU-узлах одновременно.
Что нового: поддержка агентного AI с приоритетной маршрутизацией запросов, ускорение мультимодального инференса через разделение этапов encode/prefill/decode, нативная поддержка видеогенерации и инструмент ModelExpress для запуска моделей в 7x быстрее через стриминг весов.
Почему важно: на железе Blackwell система показала 7x рост пропускной способности (данные SemiAnalysis). Фреймворк уже используют ByteDance, Tencent, Pinterest, SoftBank и десятки других компаний. AWS, Google Cloud, Azure и Oracle интегрировали Dynamo в свои Kubernetes-среды.
Для пользователей: меньше задержек при работе с агентами и мультимодальными моделями, более дешёвый инференс за счёт умного кэширования KV-блоков.
https://developer.nvidia.com/blog/nvidia-dynamo-1-production-ready/
NVIDIA выпустила Dynamo 1.0 — production-ready фреймворк для распределённого инференса на нескольких GPU-узлах одновременно.
Что нового: поддержка агентного AI с приоритетной маршрутизацией запросов, ускорение мультимодального инференса через разделение этапов encode/prefill/decode, нативная поддержка видеогенерации и инструмент ModelExpress для запуска моделей в 7x быстрее через стриминг весов.
Почему важно: на железе Blackwell система показала 7x рост пропускной способности (данные SemiAnalysis). Фреймворк уже используют ByteDance, Tencent, Pinterest, SoftBank и десятки других компаний. AWS, Google Cloud, Azure и Oracle интегрировали Dynamo в свои Kubernetes-среды.
Для пользователей: меньше задержек при работе с агентами и мультимодальными моделями, более дешёвый инференс за счёт умного кэширования KV-блоков.
https://developer.nvidia.com/blog/nvidia-dynamo-1-production-ready/
NVIDIA Technical Blog
How NVIDIA Dynamo 1.0 Powers Multi-Node Inference at Production Scale
Reasoning models are growing rapidly in size and are increasingly being integrated into agentic AI workflows that interact with other models and external tools. Deploying these models and workflows in…
Nvidia обновила DGX Spark — теперь до 4 узлов
Nvidia расширила возможности своей настольной AI-станции DGX Spark. Теперь устройства можно объединять в кластер до четырёх узлов (раньше — максимум два), что даёт доступ к 512 ГБ памяти и позволяет запускать модели до 700 млрд параметров прямо на рабочем столе.
Что важно: при минимальном межузловом обмене данными масштабирование почти линейное. Например, задержка на токен (TPOT) сокращается вчетверо при переходе с одного на четыре узла.
Также добавлена поддержка мультиагентных сценариев — четыре параллельных агента выполняют задачи лишь в 2,6 раза дольше, чем один. Плюс интеграция с NVIDIA NemoClaw и OpenShell для безопасного запуска автономных агентов локально.
Для кого это важно: разработчики AI-агентов получают мощную локальную альтернативу облаку без компромиссов по производительности.
https://developer.nvidia.com/blog/scaling-autonomous-ai-agents-and-workloads-with-nvidia-dgx-spark/
Nvidia расширила возможности своей настольной AI-станции DGX Spark. Теперь устройства можно объединять в кластер до четырёх узлов (раньше — максимум два), что даёт доступ к 512 ГБ памяти и позволяет запускать модели до 700 млрд параметров прямо на рабочем столе.
Что важно: при минимальном межузловом обмене данными масштабирование почти линейное. Например, задержка на токен (TPOT) сокращается вчетверо при переходе с одного на четыре узла.
Также добавлена поддержка мультиагентных сценариев — четыре параллельных агента выполняют задачи лишь в 2,6 раза дольше, чем один. Плюс интеграция с NVIDIA NemoClaw и OpenShell для безопасного запуска автономных агентов локально.
Для кого это важно: разработчики AI-агентов получают мощную локальную альтернативу облаку без компромиссов по производительности.
https://developer.nvidia.com/blog/scaling-autonomous-ai-agents-and-workloads-with-nvidia-dgx-spark/
NVIDIA Technical Blog
Scaling Autonomous AI Agents and Workloads with NVIDIA DGX Spark
Autonomous AI agents are driving the next wave of AI innovation. These agents must often manage long-running tasks that use multiple communication channels and background subprocesses simultaneously…
Клеман Делангё, CEO Hugging Face, анонсировал новое расширение для командной строки HF. Оно автоматически определяет, какая модель и квантизация лучше всего подойдут под железо конкретного пользователя, и сразу запускает локального coding-агента.
Проще говоря: одна команда в терминале — и у тебя свой ИИ-помощник для кода, который работает прямо на твоём компьютере. Без облака, без подписки, без слежки за твоими данными.
Делангё подчёркивает четыре главных плюса: локально, приватно, бесплатно и быстро. Всё это стало возможным благодаря open-source экосистеме.
https://x.com/ClementDelangue/status/2033982183791108278
Проще говоря: одна команда в терминале — и у тебя свой ИИ-помощник для кода, который работает прямо на твоём компьютере. Без облака, без подписки, без слежки за твоими данными.
Делангё подчёркивает четыре главных плюса: локально, приватно, бесплатно и быстро. Всё это стало возможным благодаря open-source экосистеме.
https://x.com/ClementDelangue/status/2033982183791108278
X (formerly Twitter)
clem 🤗 (@ClementDelangue) on X
We just released an hf CLI extension to detect the best model/quant for a user's hardware and then spins up a local coding agent.
Time to go local/private/free/fast for your agents thanks to open-source!
Time to go local/private/free/fast for your agents thanks to open-source!
OpenAI выпустила GPT-5.4 mini — новую компактную модель, которая уже доступна в ChatGPT, Codex и через API.
Модель заточена под работу с кодом, управление компьютером, мультимодальные задачи и работу в составе агентных систем. При этом она в два раза быстрее, чем GPT-5 mini.
Судя по всему, OpenAI активно развивает линейку "мини"-моделей — быстрых и дешёвых, но при этом всё более способных. GPT-5.4 mini явно метит в разработчиков и тех, кто строит AI-агентов.
https://x.com/OpenAI/status/2033953592424731072
Модель заточена под работу с кодом, управление компьютером, мультимодальные задачи и работу в составе агентных систем. При этом она в два раза быстрее, чем GPT-5 mini.
Судя по всему, OpenAI активно развивает линейку "мини"-моделей — быстрых и дешёвых, но при этом всё более способных. GPT-5.4 mini явно метит в разработчиков и тех, кто строит AI-агентов.
https://x.com/OpenAI/status/2033953592424731072
X (formerly Twitter)
OpenAI (@OpenAI) on X
GPT-5.4 mini is available today in ChatGPT, Codex, and the API.
Optimized for coding, computer use, multimodal understanding, and subagents. And it’s 2x faster than GPT-5 mini.
https://t.co/DKh2cC5S3F
Optimized for coding, computer use, multimodal understanding, and subagents. And it’s 2x faster than GPT-5 mini.
https://t.co/DKh2cC5S3F
Baidu сделал OCR-модель на 4B параметров, которая бьёт пайплайны из десятков компонентов (by Baidu)
Классический OCR — это зоопарк: детектор разметки, распознаватель текста, отдельный LLM для понимания. Ошибка на одном этапе убивает всё. Baidu решили упаковать всё это в одну модель — Qianfan-OCR.
Три ключевых идеи:
1. End-to-end архитектура: один VLM делает и разметку, и распознавание, и понимание. Никакого каскада ошибок.
2. Layout-as-Thought: если документ сложный, модель сначала "думает" через think-токены — генерирует bounding boxes и порядок чтения, а потом выдаёт результат. Для простых документов этот шаг пропускается.
3. Единая модель для всего: таблицы, формулы, рукописный текст, графики, VQA — всё через промпты.
Результат: 93.12 на OmniDocBench v1.5 — первое место среди end-to-end моделей, обогнав Gemini 2.5 Pro, Qwen3-VL-235B и GPT-4o.
https://arxiv.org/abs/2603.13398
Классический OCR — это зоопарк: детектор разметки, распознаватель текста, отдельный LLM для понимания. Ошибка на одном этапе убивает всё. Baidu решили упаковать всё это в одну модель — Qianfan-OCR.
Три ключевых идеи:
1. End-to-end архитектура: один VLM делает и разметку, и распознавание, и понимание. Никакого каскада ошибок.
2. Layout-as-Thought: если документ сложный, модель сначала "думает" через think-токены — генерирует bounding boxes и порядок чтения, а потом выдаёт результат. Для простых документов этот шаг пропускается.
3. Единая модель для всего: таблицы, формулы, рукописный текст, графики, VQA — всё через промпты.
Результат: 93.12 на OmniDocBench v1.5 — первое место среди end-to-end моделей, обогнав Gemini 2.5 Pro, Qwen3-VL-235B и GPT-4o.
https://arxiv.org/abs/2603.13398
❤2
Галлюцинации в мультимодальных моделях рождаются в момент неопределённости — и это можно поймать (by Cornell)
Авторы заметили любопытный паттерн: в мультимодальных reasoning-моделях галлюцинации чаще всего появляются сразу после слов-переходов (however, wait, but). Оказалось, что именно эти токены имеют наибольшую энтропию — то есть модель в этот момент максимально "не уверена", какой путь рассуждения выбрать.
Решение — LEAD (Latent Entropy-Aware Decoding). Идея проста: когда энтропия токена высокая, вместо одного дискретного токена модель получает взвешенную смесь эмбеддингов всего словаря (по вероятностям). Так сохраняется семантическое разнообразие, и модель не "схлопывается" в галлюцинацию. Плюс в моменты высокой энтропии добавляется визуальный guidance-вектор, чтобы модель не теряла связь с картинкой.
Метод plug-and-play, без дообучения, работает поверх любой MLRM.
https://arxiv.org/abs/2603.13366
Авторы заметили любопытный паттерн: в мультимодальных reasoning-моделях галлюцинации чаще всего появляются сразу после слов-переходов (however, wait, but). Оказалось, что именно эти токены имеют наибольшую энтропию — то есть модель в этот момент максимально "не уверена", какой путь рассуждения выбрать.
Решение — LEAD (Latent Entropy-Aware Decoding). Идея проста: когда энтропия токена высокая, вместо одного дискретного токена модель получает взвешенную смесь эмбеддингов всего словаря (по вероятностям). Так сохраняется семантическое разнообразие, и модель не "схлопывается" в галлюцинацию. Плюс в моменты высокой энтропии добавляется визуальный guidance-вектор, чтобы модель не теряла связь с картинкой.
Метод plug-and-play, без дообучения, работает поверх любой MLRM.
https://arxiv.org/abs/2603.13366
Видеомодели с пространственной памятью: ни явная, ни неявная — а мозаичная
Хочешь, чтобы видеомодель помнила сцену при возвращении камеры? Есть два подхода: явная память (3D-облака точек, гауссианы) — геометрически точная, но ломается на динамических объектах. Неявная память (позированные кадры через attention) — гибкая, но дрейфует и жрёт контекст.
Авторы предлагают MosaicMem — гибрид на уровне патчей. Каждый патч геометрически поднимается в 3D (как в явной памяти), а при возврате камеры — проецируется и подаётся в модель через нативный attention (как в неявной). Получается "мозаика": нужные патчи вставляются точно куда надо, а модель сама дорисовывает динамику и новый контент по тексту.
Итог: точнее управление камерой, чем у неявной памяти, и поддержка движущихся объектов в отличие от явной. Плюс — длинные навигационные видео и редактирование сцен через копирование патчей.
https://arxiv.org/abs/2603.17117
Хочешь, чтобы видеомодель помнила сцену при возвращении камеры? Есть два подхода: явная память (3D-облака точек, гауссианы) — геометрически точная, но ломается на динамических объектах. Неявная память (позированные кадры через attention) — гибкая, но дрейфует и жрёт контекст.
Авторы предлагают MosaicMem — гибрид на уровне патчей. Каждый патч геометрически поднимается в 3D (как в явной памяти), а при возврате камеры — проецируется и подаётся в модель через нативный attention (как в неявной). Получается "мозаика": нужные патчи вставляются точно куда надо, а модель сама дорисовывает динамику и новый контент по тексту.
Итог: точнее управление камерой, чем у неявной памяти, и поддержка движущихся объектов в отличие от явной. Плюс — длинные навигационные видео и редактирование сцен через копирование патчей.
https://arxiv.org/abs/2603.17117
Один математик, ноль строк кода вручную — и новая теорема доказана машиной
Исследователь из Вашингтонского университета поставил эксперимент: можно ли формализовать новый результат в математической физике, не написав ни строчки Lean самому?
Задача — доказать, что единственные стационарные решения системы Власова-Максвелла-Ландау (плазма с кулоновскими столкновениями) — это максвеллианы с нулевым E и константным B. Результат новый, даже сформулировать его в Lean было нельзя — пришлось определять оператор Ландау и тороидальную структуру с нуля.
Пайплайн: Gemini DeepThink придумал доказательство за 5 диалогов → Claude Code написал весь Lean-код (~10K строк) → Aristotle автоматически закрыл 111 лемм → итог: 0 sorry, всё верифицировано.
10 дней работы, $200 на подписку Claude, полный лог всех промптов и коммитов в открытом доступе. Главный вывод: research-level формализация стала доступна математикам без экспертизы в Lean.
https://arxiv.org/abs/2603.15929
Исследователь из Вашингтонского университета поставил эксперимент: можно ли формализовать новый результат в математической физике, не написав ни строчки Lean самому?
Задача — доказать, что единственные стационарные решения системы Власова-Максвелла-Ландау (плазма с кулоновскими столкновениями) — это максвеллианы с нулевым E и константным B. Результат новый, даже сформулировать его в Lean было нельзя — пришлось определять оператор Ландау и тороидальную структуру с нуля.
Пайплайн: Gemini DeepThink придумал доказательство за 5 диалогов → Claude Code написал весь Lean-код (~10K строк) → Aristotle автоматически закрыл 111 лемм → итог: 0 sorry, всё верифицировано.
10 дней работы, $200 на подписку Claude, полный лог всех промптов и коммитов в открытом доступе. Главный вывод: research-level формализация стала доступна математикам без экспертизы в Lean.
https://arxiv.org/abs/2603.15929