PyTorch выпустил ExecuTorch для голосовых агентов на устройствах

PyTorch представил расширение ExecuTorch — платформы для запуска голосовых AI-моделей прямо на устройстве, без облака и Python-рантайма.

Что внутри: поддержка пяти моделей — Voxtral Realtime (стриминг-транскрипция, 4B), Parakeet TDT (офлайн-распознавание), Sortformer (диаризация), Whisper и Silero VAD. Работает на CPU, GPU и NPU под Linux, macOS, Windows, Android и iOS.

Главная фишка — модели экспортируются напрямую из PyTorch-кода без переписывания на C++. Один экспорт — любой бэкенд: XNNPACK, Metal, CUDA или Qualcomm. Int4-квантизация сжимает модели в 3-4 раза.

LM Studio уже использует ExecuTorch в продакшне для голосовой транскрипции.

Для разработчиков доступны готовые C++ application layers и мобильные приложения как стартовая точка.

https://pytorch.org/blog/building-voice-agents-with-executorch-a-cross-platform-foundation-for-on-device-audio/

Первый полностью открытый поисковый агент от академиков, который бьёт корпоративные модели

Год назад топовые LLM набирали меньше 10 баллов на BrowseComp. Сегодня — уже десятки агентов переваливают за 50. Но весь прогресс закрыт: Google, OpenAI, Kimi молчат о своих данных. Академики из OpenSeeker решили сломать эту монополию.

Ключевые идеи:
1. QA-синтез через веб-граф: берут случайные страницы, строят граф связей, извлекают сущности и намеренно "замутняют" их — получают сложные многошаговые вопросы, которые нельзя решить поверхностным паттерн-матчингом.

2. Denoised trajectory synthesis: при генерации траекторий вспомогательный LLM "чистит" историю инструментов для учителя, но модель обучается на сырых, зашумлённых данных — учится сама фильтровать шум.

Результат: Qwen3-30B с SFT на 11.7k примерах набирает 29.5% на BrowseComp и 48.4% на BrowseComp-ZH — обходя Alibaba Tongyi DeepResearch (46.7%), обученный с RL. Всё открыто: данные, траектории, веса.

https://arxiv.org/abs/2603.15594

World model для реального города — это уже не фантастика (by NAVER AI Lab)

Что если бы симулятор мира работал не в воображаемом пространстве, а в реальном городе? NAVER AI Lab сделали именно это: Seoul World Model (SWM) генерирует видео на километры вперёд, привязанное к реальной карте Сеула.

Ключевая идея — retrieval-augmented generation: по GPS-координатам и траектории камеры модель достаёт реальные стрит-вью фотографии и использует их как визуальные якоря при генерации.

Три главные проблемы и решения:
1. Временное рассогласование → cross-temporal pairing (референсы из другого времени, чтобы модель не копировала случайных пешеходов)
2. Редкие кадры стрит-вью → интерполяция через видеодиффузию между ключевыми кадрами
3. Дрейф при долгой генерации → virtual lookahead sink: вставка будущего референса как "виртуальной цели" впереди по маршруту

Модель обобщается на Пусан и Энн-Арбор без дообучения. Можно попросить: "поджечь машину" или "добавить Годзиллу между небоскрёбами".

https://arxiv.org/abs/2603.15583

Топовые VLM не могут отследить мячик под стаканчиком (by NUS)

Помните игру в напёрсток? Оказывается, это непосильная задача для современных видео-моделей. Авторы из NUS проверили: Gemini-3-Pro, GPT-4o и другие топовые VLM справляются с задачей отслеживания объекта не лучше случайного угадывания (33%).

Хитрость в том, что существующие бенчмарки содержат "читы" — различимые стаканчики или прозрачные чашки, по которым модель угадывает ответ по одному кадру без реального трекинга. Авторы создали VET-Bench с визуально идентичными объектами, где единственный способ решить задачу — отследить движение во времени.

Результат: все модели падают до случайного уровня. Теоретически доказано, что задача NC1-complete, то есть трансформеры фиксированной глубины принципиально ограничены без промежуточных вычислений.

Решение — SGCoT (Spatiotemporal Grounded Chain-of-Thought): модель явно генерирует траектории объектов как цепочку рассуждений. Итог: 91% точности против 34% у лучшей базовой модели.

AI учится чувствовать "научный вкус" — что стоит исследовать, а что нет

Умение выбирать перспективные направления в науке — это то, что отличает великих учёных. Можно ли этому научить AI?

Авторы из OpenMOSS предлагают RLCF (Reinforcement Learning from Community Feedback): вместо отзывов людей используют цитирования как сигнал "вкуса" научного сообщества. Собрали 700K пар абстрактов из одной области и эпохи, где один из них цитируется больше — это и есть предпочтение.

Обучили два агента:
Scientific Judge — оценивает пары статей и предсказывает, какая наберёт больше цитат (обгоняет GPT-4.5 и Gemini 3 Pro)
Scientific Thinker — по статье предлагает перспективную идею для продолжения, используя Judge как reward model

Ключевой результат: Judge обобщается на будущие годы и незнакомые области — значит, он уловил что-то реальное, а не просто запомнил паттерны.

Вывод авторов: научный вкус — не мистическая черта гениев, а обучаемый навык.

https://arxiv.org/abs/2603.14473

Видео и аудио в реальном времени за 0.7 секунды вместо 197?

Современные joint audio-visual модели типа LTX-2 и Veo 3 генерируют видео+аудио с потрясающим качеством, но с огромной задержкой — нужно обработать всю последовательность целиком, прежде чем выдать хоть что-то. 197 секунд до первого чанка — это не стриминг, это пытка.

OmniForcing решает это через дистилляцию: берут тяжёлую bidirectional модель и превращают её в causal autoregressive генератор, который стримит чанки синхронно по обоим модальностям.

Главная боль — асимметрия частот: видео идёт на 3 FPS, аудио на 25 FPS. Наивная каузальная маска вызывает Softmax collapse и взрывы градиентов в аудио-стриме. Авторы решают это через Audio Attention Sink с Identity RoPE (позиционно-агностичный буфер памяти) и Modality-Independent Rolling KV-Cache со сложностью O(L) вместо квадратичной.

Результат: ~25 FPS стриминг на одном GPU, TTFC ~0.7 секунды против 197 у учителя, при сопоставимом качестве.

https://arxiv.org/abs/2603.11647

Nvidia Tech запускает Project Rheo — симуляцию для обучения роботов в больницах

К 2030 году миру не хватит 10 миллионов врачей. Nvidia решает эту проблему нестандартно: вместо того чтобы обучать роботов в реальных больницах, компания предлагает обучать их в цифровых двойниках клиник.

Project Rheo — это blueprint для создания виртуальных операционных, где роботы тренируются перекладывать хирургические лотки, собирать медицинское оборудование и возить тележки с припасами. Всё это до того, как машина окажется рядом с живым пациентом.

В основе — Isaac Sim, Isaac Lab и модели GR00T. Разработчики буквально в нескольких строках кода собирают сцену: предоперационная комната, хирургический лоток, робот Unitree G1 — и запускают обучение.

Почему важно: реальные больницы слишком хаотичны и опасны для тестирования ИИ. Симуляция даёт тысячи сценариев без риска для пациентов и без огромных затрат на развёртывание роботов по всему миру.

https://developer.nvidia.com/blog/using-simulation-to-build-robotic-systems-for-hospital-automation/

Nvidia представила NVIDIA Groq 3 LPX — новый ускоритель вывода для платформы Vera Rubin.

Это стоечная система из 256 LPU-чипов, заточенная под низкую задержку и агентные AI-системы. Ключевые цифры: 315 PFLOPS вычислений, 128 ГБ SRAM и пропускная способность 40 ПБ/с на чип.

Главная идея — разделение труда. Vera Rubin NVL72 берёт на себя prefill и обработку длинного контекста, а LPX ускоряет самую чувствительную к задержкам часть — генерацию токенов. Вместе они дают до 35x больше throughput на мегаватт и до 10x больше потенциального дохода на триллионных моделях.

Зачем это нужно? Когда скорость генерации достигает 1000 токенов в секунду на пользователя, AI перестаёт быть чатом и становится инструментом реального времени. Это критично для мультиагентных систем, которые должны думать и координироваться непрерывно.

Инфраструктура будущего строится уже сейчас.

https://developer.nvidia.com/blog/inside-nvidia-groq-3-lpx-the-low-latency-inference-accelerator-for-the-nvidia-vera-rubin-platform/

Nvidia представила CMX — новую платформу хранения контекстной памяти для ИИ-инференса.

Суть проблемы: агентные ИИ-системы с длинным контекстом (миллионы токенов) постоянно упираются в нехватку GPU-памяти. Хранить KV-кэш дорого, пересчитывать — ещё дороже.

Решение — CMX Context Memory Storage на базе чипа BlueField-4. Это новый уровень памяти между GPU HBM и обычным хранилищем: быстрый флеш с RDMA-доступом через Spectrum-X Ethernet. Система встраивается в платформу Vera Rubin и масштабируется на весь POD.

Результат: в 5 раз больше токенов в секунду и в 5 раз выше энергоэффективность по сравнению с традиционным хранилищем. GPU перестают простаивать в ожидании данных.

Для кого важно: провайдеры ИИ-инфраструктуры и компании, строящие агентные системы с длинным контекстом — теперь масштабироваться дешевле и быстрее.

https://developer.nvidia.com/blog/introducing-nvidia-bluefield-4-powered-inference-context-memory-storage-platform-for-the-next-frontier-of-ai/

Как поймать галлюцинацию VLM за руку — прямо в процессе мышления? (by NUS)

Модель смотрит на фото велосипедиста, "видит" мотоцикл, описывает его в деталях — а потом отвечает "нет, мотоцикла нет". Правильный ответ, двойная ошибка. Авторы называют это "вычислительным когнитивным диссонансом".

Идея: галлюцинации — не точечная ошибка, а сбой в цепочке. Авторы разбивают рассуждение VLM на стадии (восприятие → доказательства → ответ) и вводят три метрики:
- HEvi: нестабильность на этапе восприятия
- SConf: конфликт между доказательствами и ответом (нарушение Марковского условия)
- HAns: неопределённость финального решения

Каждая генерация превращается в точку в 3D "когнитивном пространстве". Нормальные ответы кластеризуются в плотное подмногообразие, галлюцинации — геометрические аномалии на его краях.

Детекция работает за один проход, без разметки галлюцинаций, устойчива к 30% шума в калибровочных данных. SOTA на POPE, MME, MS-COCO.

https://arxiv.org/abs/2603.15557

POLCA: LLM как оптимизатор программ (by DeepMind)

Что если использовать LLM не для генерации текста, а для оптимизации сложных систем — промптов, агентов, CUDA-кернелов? Проблема: LLM-оптимизаторы нестабильны и зацикливаются, особенно когда оценка шумная и дорогая.

POLCA решает это через ε-Net — механизм памяти на основе эмбеддингов. Идея: новый кандидат добавляется в пул только если он семантически достаточно отличается от уже имеющихся. Это убивает двух зайцев: не тратим бюджет на похожие варианты и не переобучаемся под шумные оценки.

Дополнительно: приоритизация кандидатов через UCB, минибатч-оценка и сжатие памяти для глобального контекста.

На τ-bench, HotpotQA, VeriBench и KernelBench POLCA стабильно обгоняет AlphaEvolve и GEPA по скорости сходимости и итоговому качеству.

https://arxiv.org/abs/2603.14769

EnterpriseOps-Gym: насколько готовы LLM-агенты к реальной корпоративной работе? (by ServiceNow)

Спойлер: совсем не готовы. Лучший результат — Claude Opus 4.5 с 37.4%.

Авторы создали огромный бенчмарк для оценки LLM-агентов в корпоративной среде: 1150 задач, 8 доменов (HR, ITSM, CSM, Email, Teams и др.), 512 инструментов, 164 таблицы БД. Агент должен выполнять длинные цепочки действий (до 34 шагов), соблюдать политики доступа и уметь отказываться от невыполнимых задач.

Ключевые находки:
— Простые домены (Email, Teams): до 51-52%. Сложные (ITSM, кросс-доменные): 28-30%.
— Обнаружить "невозможную" задачу и правильно отказаться умеет лишь 53.9% времени даже лучшая модель.
— Главный bottleneck — стратегическое планирование, а не вызов инструментов. Дать агенту готовый план улучшает результат на 14-35 п.п.
— Мультиагентная оркестрация не помогает и даже ухудшает из-за зависимостей между шагами.

https://arxiv.org/abs/2603.13594

LLM для реального железа, а не для leetcode

Большинство code LLM обучены на GitHub и хороши для обычного кода. Но что если нужно написать Verilog для чипа, CUDA-ядро, прошивку для STM32 или CAD-скрипт? Лучшие модели справляются с этим на 28-40% — и это провал.

Beihang University выпустили InCoder-32B — первую LLM, заточенную под промышленный код. Ключевая идея: для каждого домена воссоздали реальный тулчейн. Verilog проверяется через Icarus Verilog + Yosys, CUDA-ядра запускаются на настоящем A100, прошивки гоняются в симуляторе Renode с виртуальным STM32F407, CAD-скрипты валидируются через OpenCascade.

На этих средах генерируют обучающие данные с верифицированными сигналами — не прокси, а настоящие промышленные критерии. Обучение трёхступенчатое: претрейн → мидтрейн с расширением контекста до 128K → пострейн с execution-grounded верификацией.

Результат: на общих бенчмарках 74.8% SWE-bench, на промышленных — лучший open-source по всем доменам, обгоняя Claude Sonnet 4.6 и Qwen3.5-397B.

Больше шагов — не значит лучше. Как верификация спасает агентов от накопления ошибок.

Классическая проблема агентных LLM: чем длиннее цепочка рассуждений, тем больше шанс, что ранняя ошибка утащит весь вывод в пропасть. MiroMind предлагают два уровня верификации прямо в процессе инференса.

Локальный верификатор проверяет каждый промежуточный шаг — вызов инструмента, гипотезу, план — и при необходимости заставляет модель пересмотреть решение прямо сейчас. Глобальный верификатор в конце аудирует весь трек рассуждений и сравнивает кандидатные пути к ответу.

Параллельно авторы вводят "agentic mid-training" — отдельную стадию обучения, где модель учится декомпозиции задач, работе с инструментами и промежуточным суммаризациям. Результат: MiroThinker-1.7 решает задачи за меньшее число шагов, а H1 бьёт конкурентов на BrowseComp (88.2) и BrowseComp-ZH (84.4).

https://arxiv.org/abs/2603.15726

Nvidia на GTC 2026 представила концепцию AI Grid — распределённой инфраструктуры для вывода AI-моделей.

Суть: телеком-операторы и облачные провайдеры превращают свои сети в единую управляемую платформу, где AI-нагрузки умно распределяются между региональными узлами, edge-локациями и дата-центрами.

Что это даёт на практике: единая плоскость управления маршрутизирует запросы с учётом задержки, стоимости и требований по суверенитету данных. Бенчмарки Comcast показали, что AI Grid держит задержку голосового AI в пределах 500 мс даже при пиковой нагрузке, а стоимость токена снижается на 52–76% по сравнению с централизованной архитектурой.

Почему важно: по мере роста AI-сервисов узкое место смещается с обучения на предсказуемый инференс в реальном времени. AI Grid решает именно эту проблему для голоса, видео и персонализированных приложений.

https://developer.nvidia.com/blog/building-the-ai-grid-with-nvidia-orchestrating-intelligence-everywhere/

NVIDIA Dynamo 1.0: до 7x прирост производительности для масштабного AI-инференса

NVIDIA выпустила Dynamo 1.0 — production-ready фреймворк для распределённого инференса на нескольких GPU-узлах одновременно.

Что нового: поддержка агентного AI с приоритетной маршрутизацией запросов, ускорение мультимодального инференса через разделение этапов encode/prefill/decode, нативная поддержка видеогенерации и инструмент ModelExpress для запуска моделей в 7x быстрее через стриминг весов.

Почему важно: на железе Blackwell система показала 7x рост пропускной способности (данные SemiAnalysis). Фреймворк уже используют ByteDance, Tencent, Pinterest, SoftBank и десятки других компаний. AWS, Google Cloud, Azure и Oracle интегрировали Dynamo в свои Kubernetes-среды.

Для пользователей: меньше задержек при работе с агентами и мультимодальными моделями, более дешёвый инференс за счёт умного кэширования KV-блоков.

https://developer.nvidia.com/blog/nvidia-dynamo-1-production-ready/

Nvidia обновила DGX Spark — теперь до 4 узлов

Nvidia расширила возможности своей настольной AI-станции DGX Spark. Теперь устройства можно объединять в кластер до четырёх узлов (раньше — максимум два), что даёт доступ к 512 ГБ памяти и позволяет запускать модели до 700 млрд параметров прямо на рабочем столе.

Что важно: при минимальном межузловом обмене данными масштабирование почти линейное. Например, задержка на токен (TPOT) сокращается вчетверо при переходе с одного на четыре узла.

Также добавлена поддержка мультиагентных сценариев — четыре параллельных агента выполняют задачи лишь в 2,6 раза дольше, чем один. Плюс интеграция с NVIDIA NemoClaw и OpenShell для безопасного запуска автономных агентов локально.

Для кого это важно: разработчики AI-агентов получают мощную локальную альтернативу облаку без компромиссов по производительности.

https://developer.nvidia.com/blog/scaling-autonomous-ai-agents-and-workloads-with-nvidia-dgx-spark/

Клеман Делангё, CEO Hugging Face, анонсировал новое расширение для командной строки HF. Оно автоматически определяет, какая модель и квантизация лучше всего подойдут под железо конкретного пользователя, и сразу запускает локального coding-агента.

Проще говоря: одна команда в терминале — и у тебя свой ИИ-помощник для кода, который работает прямо на твоём компьютере. Без облака, без подписки, без слежки за твоими данными.

Делангё подчёркивает четыре главных плюса: локально, приватно, бесплатно и быстро. Всё это стало возможным благодаря open-source экосистеме.

https://x.com/ClementDelangue/status/2033982183791108278

OpenAI выпустила GPT-5.4 mini — новую компактную модель, которая уже доступна в ChatGPT, Codex и через API.

Модель заточена под работу с кодом, управление компьютером, мультимодальные задачи и работу в составе агентных систем. При этом она в два раза быстрее, чем GPT-5 mini.

Судя по всему, OpenAI активно развивает линейку "мини"-моделей — быстрых и дешёвых, но при этом всё более способных. GPT-5.4 mini явно метит в разработчиков и тех, кто строит AI-агентов.

https://x.com/OpenAI/status/2033953592424731072

Baidu сделал OCR-модель на 4B параметров, которая бьёт пайплайны из десятков компонентов (by Baidu)

Классический OCR — это зоопарк: детектор разметки, распознаватель текста, отдельный LLM для понимания. Ошибка на одном этапе убивает всё. Baidu решили упаковать всё это в одну модель — Qianfan-OCR.

Три ключевых идеи:

1. End-to-end архитектура: один VLM делает и разметку, и распознавание, и понимание. Никакого каскада ошибок.

2. Layout-as-Thought: если документ сложный, модель сначала "думает" через think-токены — генерирует bounding boxes и порядок чтения, а потом выдаёт результат. Для простых документов этот шаг пропускается.

3. Единая модель для всего: таблицы, формулы, рукописный текст, графики, VQA — всё через промпты.

Результат: 93.12 на OmniDocBench v1.5 — первое место среди end-to-end моделей, обогнав Gemini 2.5 Pro, Qwen3-VL-235B и GPT-4o.

https://arxiv.org/abs/2603.13398