Создать 45 тысяч сред для обучения SWE-агентов? Дорого, но окупается.

Главная боль при обучении агентов для автоматического решения GitHub-issue — нехватка качественных исполняемых сред. Их создание стоит огромных денег и вычислительных ресурсов.

Авторы выпустили OpenSWE: 45 320 Docker-окружений из 12.8k репозиториев, потратив $891K на сборку и ещё $576K на отбор траекторий. Всё полностью открыто: Dockerfile'ы, скрипты оценки, пайплайн на 64 нодах.

Ключевая идея — не просто масштаб, а difficulty-aware фильтрация. Среды бывают бесполезны по двум причинам: PR не решает issue (misalignment) или issue напрямую подсказывает решение (triviality). Авторы отсеивают и то, и другое, оставляя ~9k сред с нужным уровнем сложности.

Результат: модели на Qwen2.5 достигают 62.4% (32B) и 66.0% (72B) на SWE-Bench Verified — SOTA среди SFT-методов. Бонус: +12 пунктов на математических бенчмарках без деградации.

https://arxiv.org/abs/2603.13023

Как понять, умеет ли embedding-модель по-настоящему "помнить"?

Существующие бенчмарки для эмбеддингов (MTEB и подобные) тестируют поиск по хорошо структурированным текстам. Но в агентных системах и AI-ассистентах всё иначе: нужно вспоминать фрагментарные, контекстно-зависимые воспоминания из далёкого прошлого.

Авторы из KaLM-Embedding предложили LMEB — новый бенчмарк специально для long-horizon memory retrieval. Он охватывает 4 типа памяти: эпизодическую (события с временными метками), диалоговую (многоходовые разговоры), семантическую (факты и знания) и процедурную (навыки и последовательности действий). Итого: 22 датасета, 193 задачи.

Ключевые находки после тестирования 15 моделей: больший размер модели не гарантирует лучший результат, а LMEB и MTEB практически ортогональны (корреляция близка к нулю) — то есть хорошо искать по пассажам и хорошо "помнить" это разные навыки.

https://arxiv.org/abs/2603.12572

Как рисовать картину: сначала набросок, потом детали — и это работает в мультимодальных LLM

Главная проблема объединённых моделей (понимание + генерация изображений) — конфликт между семантическими фичами для понимания и детализированными латентами для генерации. Одно мешает другому.

CHEERS решает это через явное разделение: сначала LLM работает только с семантическими токенами (SigLIP2 поверх VAE-латентов), а высокочастотные детали вводятся позже, на этапе генерации через cascaded flow matching head с двумя стадиями.

Стадия 1: генерируем низкочастотную семантику на малом разрешении. Стадия 2: адаптивно подмешиваем высокочастотные детали через gating-сеть. Причём интенсивность инъекции деталей сама регулируется в зависимости от шага диффузии — без явного supervision.

Бонус: 4x сжатие токенов через Pixel-Unshuffle. Модель обгоняет конкурентов при 20% от их вычислительных затрат.

https://arxiv.org/abs/2603.12793

CREATE: тест на ассоциативную креативность LLM (by NYU)

Насколько креативны языковые модели? Не в смысле "напиши стихотворение", а по-настоящему: могут ли они находить неочевидные, но меткие связи между реальными концептами?

Авторы из NYU предложили бенчмарк CREATE. Задача: найти нетривиальные пути между сущностями через граф знаний. Например, как Дакота Джонсон связана с актёрами фэнтези? Через Криса Эванса (снимались вместе) или через Антонио Бандераса (её отчим, снимался в Шреке). Оба пути верны, но второй — куда интереснее.

Метрика оценивает сразу качество и разнообразность найденных путей. Frontier-модели справляются неплохо, но проваливаются на distinctive решениях — тех, что реально выбиваются из общей массы ответов.

Главный сюрприз: больше токенов на рассуждение ≠ больше креативности. Модели просто топчутся в одном углу концептуального пространства.

https://arxiv.org/abs/2603.09970

Зачем тратить одинаковое число токенов на скучные и динамичные кадры?

EVATok — адаптивный видеотокенизатор, который умно распределяет токены по временным блокам видео: статичным и повторяющимся сценам — меньше токенов, динамичным и сложным — больше.

Как это работает? Четыре стадии:
1. Обучается proxy-токенизатор, способный реконструировать видео при любом распределении токенов
2. С его помощью для каждого видео ищется оптимальное распределение (максимум proxy reward — метрики quality-cost)
3. Обучается лёгкий роутер, который быстро предсказывает оптимальное распределение
4. Финальный адаптивный токенизатор обучается уже с предсказаниями роутера

Результат: при сопоставимом или лучшем качестве — экономия токенов от 24% и выше по сравнению с фиксированными токенизаторами. Подход от HKU, работает поверх Q-Former архитектуры.

https://arxiv.org/abs/2603.12267

PyTorch выпустил ExecuTorch для голосовых агентов на устройствах

PyTorch представил расширение ExecuTorch — платформы для запуска голосовых AI-моделей прямо на устройстве, без облака и Python-рантайма.

Что внутри: поддержка пяти моделей — Voxtral Realtime (стриминг-транскрипция, 4B), Parakeet TDT (офлайн-распознавание), Sortformer (диаризация), Whisper и Silero VAD. Работает на CPU, GPU и NPU под Linux, macOS, Windows, Android и iOS.

Главная фишка — модели экспортируются напрямую из PyTorch-кода без переписывания на C++. Один экспорт — любой бэкенд: XNNPACK, Metal, CUDA или Qualcomm. Int4-квантизация сжимает модели в 3-4 раза.

LM Studio уже использует ExecuTorch в продакшне для голосовой транскрипции.

Для разработчиков доступны готовые C++ application layers и мобильные приложения как стартовая точка.

https://pytorch.org/blog/building-voice-agents-with-executorch-a-cross-platform-foundation-for-on-device-audio/

Первый полностью открытый поисковый агент от академиков, который бьёт корпоративные модели

Год назад топовые LLM набирали меньше 10 баллов на BrowseComp. Сегодня — уже десятки агентов переваливают за 50. Но весь прогресс закрыт: Google, OpenAI, Kimi молчат о своих данных. Академики из OpenSeeker решили сломать эту монополию.

Ключевые идеи:
1. QA-синтез через веб-граф: берут случайные страницы, строят граф связей, извлекают сущности и намеренно "замутняют" их — получают сложные многошаговые вопросы, которые нельзя решить поверхностным паттерн-матчингом.

2. Denoised trajectory synthesis: при генерации траекторий вспомогательный LLM "чистит" историю инструментов для учителя, но модель обучается на сырых, зашумлённых данных — учится сама фильтровать шум.

Результат: Qwen3-30B с SFT на 11.7k примерах набирает 29.5% на BrowseComp и 48.4% на BrowseComp-ZH — обходя Alibaba Tongyi DeepResearch (46.7%), обученный с RL. Всё открыто: данные, траектории, веса.

https://arxiv.org/abs/2603.15594

World model для реального города — это уже не фантастика (by NAVER AI Lab)

Что если бы симулятор мира работал не в воображаемом пространстве, а в реальном городе? NAVER AI Lab сделали именно это: Seoul World Model (SWM) генерирует видео на километры вперёд, привязанное к реальной карте Сеула.

Ключевая идея — retrieval-augmented generation: по GPS-координатам и траектории камеры модель достаёт реальные стрит-вью фотографии и использует их как визуальные якоря при генерации.

Три главные проблемы и решения:
1. Временное рассогласование → cross-temporal pairing (референсы из другого времени, чтобы модель не копировала случайных пешеходов)
2. Редкие кадры стрит-вью → интерполяция через видеодиффузию между ключевыми кадрами
3. Дрейф при долгой генерации → virtual lookahead sink: вставка будущего референса как "виртуальной цели" впереди по маршруту

Модель обобщается на Пусан и Энн-Арбор без дообучения. Можно попросить: "поджечь машину" или "добавить Годзиллу между небоскрёбами".

https://arxiv.org/abs/2603.15583

Топовые VLM не могут отследить мячик под стаканчиком (by NUS)

Помните игру в напёрсток? Оказывается, это непосильная задача для современных видео-моделей. Авторы из NUS проверили: Gemini-3-Pro, GPT-4o и другие топовые VLM справляются с задачей отслеживания объекта не лучше случайного угадывания (33%).

Хитрость в том, что существующие бенчмарки содержат "читы" — различимые стаканчики или прозрачные чашки, по которым модель угадывает ответ по одному кадру без реального трекинга. Авторы создали VET-Bench с визуально идентичными объектами, где единственный способ решить задачу — отследить движение во времени.

Результат: все модели падают до случайного уровня. Теоретически доказано, что задача NC1-complete, то есть трансформеры фиксированной глубины принципиально ограничены без промежуточных вычислений.

Решение — SGCoT (Spatiotemporal Grounded Chain-of-Thought): модель явно генерирует траектории объектов как цепочку рассуждений. Итог: 91% точности против 34% у лучшей базовой модели.

AI учится чувствовать "научный вкус" — что стоит исследовать, а что нет

Умение выбирать перспективные направления в науке — это то, что отличает великих учёных. Можно ли этому научить AI?

Авторы из OpenMOSS предлагают RLCF (Reinforcement Learning from Community Feedback): вместо отзывов людей используют цитирования как сигнал "вкуса" научного сообщества. Собрали 700K пар абстрактов из одной области и эпохи, где один из них цитируется больше — это и есть предпочтение.

Обучили два агента:
Scientific Judge — оценивает пары статей и предсказывает, какая наберёт больше цитат (обгоняет GPT-4.5 и Gemini 3 Pro)
Scientific Thinker — по статье предлагает перспективную идею для продолжения, используя Judge как reward model

Ключевой результат: Judge обобщается на будущие годы и незнакомые области — значит, он уловил что-то реальное, а не просто запомнил паттерны.

Вывод авторов: научный вкус — не мистическая черта гениев, а обучаемый навык.

https://arxiv.org/abs/2603.14473

Видео и аудио в реальном времени за 0.7 секунды вместо 197?

Современные joint audio-visual модели типа LTX-2 и Veo 3 генерируют видео+аудио с потрясающим качеством, но с огромной задержкой — нужно обработать всю последовательность целиком, прежде чем выдать хоть что-то. 197 секунд до первого чанка — это не стриминг, это пытка.

OmniForcing решает это через дистилляцию: берут тяжёлую bidirectional модель и превращают её в causal autoregressive генератор, который стримит чанки синхронно по обоим модальностям.

Главная боль — асимметрия частот: видео идёт на 3 FPS, аудио на 25 FPS. Наивная каузальная маска вызывает Softmax collapse и взрывы градиентов в аудио-стриме. Авторы решают это через Audio Attention Sink с Identity RoPE (позиционно-агностичный буфер памяти) и Modality-Independent Rolling KV-Cache со сложностью O(L) вместо квадратичной.

Результат: ~25 FPS стриминг на одном GPU, TTFC ~0.7 секунды против 197 у учителя, при сопоставимом качестве.

https://arxiv.org/abs/2603.11647

Nvidia Tech запускает Project Rheo — симуляцию для обучения роботов в больницах

К 2030 году миру не хватит 10 миллионов врачей. Nvidia решает эту проблему нестандартно: вместо того чтобы обучать роботов в реальных больницах, компания предлагает обучать их в цифровых двойниках клиник.

Project Rheo — это blueprint для создания виртуальных операционных, где роботы тренируются перекладывать хирургические лотки, собирать медицинское оборудование и возить тележки с припасами. Всё это до того, как машина окажется рядом с живым пациентом.

В основе — Isaac Sim, Isaac Lab и модели GR00T. Разработчики буквально в нескольких строках кода собирают сцену: предоперационная комната, хирургический лоток, робот Unitree G1 — и запускают обучение.

Почему важно: реальные больницы слишком хаотичны и опасны для тестирования ИИ. Симуляция даёт тысячи сценариев без риска для пациентов и без огромных затрат на развёртывание роботов по всему миру.

https://developer.nvidia.com/blog/using-simulation-to-build-robotic-systems-for-hospital-automation/

Nvidia представила NVIDIA Groq 3 LPX — новый ускоритель вывода для платформы Vera Rubin.

Это стоечная система из 256 LPU-чипов, заточенная под низкую задержку и агентные AI-системы. Ключевые цифры: 315 PFLOPS вычислений, 128 ГБ SRAM и пропускная способность 40 ПБ/с на чип.

Главная идея — разделение труда. Vera Rubin NVL72 берёт на себя prefill и обработку длинного контекста, а LPX ускоряет самую чувствительную к задержкам часть — генерацию токенов. Вместе они дают до 35x больше throughput на мегаватт и до 10x больше потенциального дохода на триллионных моделях.

Зачем это нужно? Когда скорость генерации достигает 1000 токенов в секунду на пользователя, AI перестаёт быть чатом и становится инструментом реального времени. Это критично для мультиагентных систем, которые должны думать и координироваться непрерывно.

Инфраструктура будущего строится уже сейчас.

https://developer.nvidia.com/blog/inside-nvidia-groq-3-lpx-the-low-latency-inference-accelerator-for-the-nvidia-vera-rubin-platform/

Nvidia представила CMX — новую платформу хранения контекстной памяти для ИИ-инференса.

Суть проблемы: агентные ИИ-системы с длинным контекстом (миллионы токенов) постоянно упираются в нехватку GPU-памяти. Хранить KV-кэш дорого, пересчитывать — ещё дороже.

Решение — CMX Context Memory Storage на базе чипа BlueField-4. Это новый уровень памяти между GPU HBM и обычным хранилищем: быстрый флеш с RDMA-доступом через Spectrum-X Ethernet. Система встраивается в платформу Vera Rubin и масштабируется на весь POD.

Результат: в 5 раз больше токенов в секунду и в 5 раз выше энергоэффективность по сравнению с традиционным хранилищем. GPU перестают простаивать в ожидании данных.

Для кого важно: провайдеры ИИ-инфраструктуры и компании, строящие агентные системы с длинным контекстом — теперь масштабироваться дешевле и быстрее.

https://developer.nvidia.com/blog/introducing-nvidia-bluefield-4-powered-inference-context-memory-storage-platform-for-the-next-frontier-of-ai/

Как поймать галлюцинацию VLM за руку — прямо в процессе мышления? (by NUS)

Модель смотрит на фото велосипедиста, "видит" мотоцикл, описывает его в деталях — а потом отвечает "нет, мотоцикла нет". Правильный ответ, двойная ошибка. Авторы называют это "вычислительным когнитивным диссонансом".

Идея: галлюцинации — не точечная ошибка, а сбой в цепочке. Авторы разбивают рассуждение VLM на стадии (восприятие → доказательства → ответ) и вводят три метрики:
- HEvi: нестабильность на этапе восприятия
- SConf: конфликт между доказательствами и ответом (нарушение Марковского условия)
- HAns: неопределённость финального решения

Каждая генерация превращается в точку в 3D "когнитивном пространстве". Нормальные ответы кластеризуются в плотное подмногообразие, галлюцинации — геометрические аномалии на его краях.

Детекция работает за один проход, без разметки галлюцинаций, устойчива к 30% шума в калибровочных данных. SOTA на POPE, MME, MS-COCO.

https://arxiv.org/abs/2603.15557

POLCA: LLM как оптимизатор программ (by DeepMind)

Что если использовать LLM не для генерации текста, а для оптимизации сложных систем — промптов, агентов, CUDA-кернелов? Проблема: LLM-оптимизаторы нестабильны и зацикливаются, особенно когда оценка шумная и дорогая.

POLCA решает это через ε-Net — механизм памяти на основе эмбеддингов. Идея: новый кандидат добавляется в пул только если он семантически достаточно отличается от уже имеющихся. Это убивает двух зайцев: не тратим бюджет на похожие варианты и не переобучаемся под шумные оценки.

Дополнительно: приоритизация кандидатов через UCB, минибатч-оценка и сжатие памяти для глобального контекста.

На τ-bench, HotpotQA, VeriBench и KernelBench POLCA стабильно обгоняет AlphaEvolve и GEPA по скорости сходимости и итоговому качеству.

https://arxiv.org/abs/2603.14769

EnterpriseOps-Gym: насколько готовы LLM-агенты к реальной корпоративной работе? (by ServiceNow)

Спойлер: совсем не готовы. Лучший результат — Claude Opus 4.5 с 37.4%.

Авторы создали огромный бенчмарк для оценки LLM-агентов в корпоративной среде: 1150 задач, 8 доменов (HR, ITSM, CSM, Email, Teams и др.), 512 инструментов, 164 таблицы БД. Агент должен выполнять длинные цепочки действий (до 34 шагов), соблюдать политики доступа и уметь отказываться от невыполнимых задач.

Ключевые находки:
— Простые домены (Email, Teams): до 51-52%. Сложные (ITSM, кросс-доменные): 28-30%.
— Обнаружить "невозможную" задачу и правильно отказаться умеет лишь 53.9% времени даже лучшая модель.
— Главный bottleneck — стратегическое планирование, а не вызов инструментов. Дать агенту готовый план улучшает результат на 14-35 п.п.
— Мультиагентная оркестрация не помогает и даже ухудшает из-за зависимостей между шагами.

https://arxiv.org/abs/2603.13594

LLM для реального железа, а не для leetcode

Большинство code LLM обучены на GitHub и хороши для обычного кода. Но что если нужно написать Verilog для чипа, CUDA-ядро, прошивку для STM32 или CAD-скрипт? Лучшие модели справляются с этим на 28-40% — и это провал.

Beihang University выпустили InCoder-32B — первую LLM, заточенную под промышленный код. Ключевая идея: для каждого домена воссоздали реальный тулчейн. Verilog проверяется через Icarus Verilog + Yosys, CUDA-ядра запускаются на настоящем A100, прошивки гоняются в симуляторе Renode с виртуальным STM32F407, CAD-скрипты валидируются через OpenCascade.

На этих средах генерируют обучающие данные с верифицированными сигналами — не прокси, а настоящие промышленные критерии. Обучение трёхступенчатое: претрейн → мидтрейн с расширением контекста до 128K → пострейн с execution-grounded верификацией.

Результат: на общих бенчмарках 74.8% SWE-bench, на промышленных — лучший open-source по всем доменам, обгоняя Claude Sonnet 4.6 и Qwen3.5-397B.

Больше шагов — не значит лучше. Как верификация спасает агентов от накопления ошибок.

Классическая проблема агентных LLM: чем длиннее цепочка рассуждений, тем больше шанс, что ранняя ошибка утащит весь вывод в пропасть. MiroMind предлагают два уровня верификации прямо в процессе инференса.

Локальный верификатор проверяет каждый промежуточный шаг — вызов инструмента, гипотезу, план — и при необходимости заставляет модель пересмотреть решение прямо сейчас. Глобальный верификатор в конце аудирует весь трек рассуждений и сравнивает кандидатные пути к ответу.

Параллельно авторы вводят "agentic mid-training" — отдельную стадию обучения, где модель учится декомпозиции задач, работе с инструментами и промежуточным суммаризациям. Результат: MiroThinker-1.7 решает задачи за меньшее число шагов, а H1 бьёт конкурентов на BrowseComp (88.2) и BrowseComp-ZH (84.4).

https://arxiv.org/abs/2603.15726

Nvidia на GTC 2026 представила концепцию AI Grid — распределённой инфраструктуры для вывода AI-моделей.

Суть: телеком-операторы и облачные провайдеры превращают свои сети в единую управляемую платформу, где AI-нагрузки умно распределяются между региональными узлами, edge-локациями и дата-центрами.

Что это даёт на практике: единая плоскость управления маршрутизирует запросы с учётом задержки, стоимости и требований по суверенитету данных. Бенчмарки Comcast показали, что AI Grid держит задержку голосового AI в пределах 500 мс даже при пиковой нагрузке, а стоимость токена снижается на 52–76% по сравнению с централизованной архитектурой.

Почему важно: по мере роста AI-сервисов узкое место смещается с обучения на предсказуемый инференс в реальном времени. AI Grid решает именно эту проблему для голоса, видео и персонализированных приложений.

https://developer.nvidia.com/blog/building-the-ai-grid-with-nvidia-orchestrating-intelligence-everywhere/

NVIDIA Dynamo 1.0: до 7x прирост производительности для масштабного AI-инференса

NVIDIA выпустила Dynamo 1.0 — production-ready фреймворк для распределённого инференса на нескольких GPU-узлах одновременно.

Что нового: поддержка агентного AI с приоритетной маршрутизацией запросов, ускорение мультимодального инференса через разделение этапов encode/prefill/decode, нативная поддержка видеогенерации и инструмент ModelExpress для запуска моделей в 7x быстрее через стриминг весов.

Почему важно: на железе Blackwell система показала 7x рост пропускной способности (данные SemiAnalysis). Фреймворк уже используют ByteDance, Tencent, Pinterest, SoftBank и десятки других компаний. AWS, Google Cloud, Azure и Oracle интегрировали Dynamo в свои Kubernetes-среды.

Для пользователей: меньше задержек при работе с агентами и мультимодальными моделями, более дешёвый инференс за счёт умного кэширования KV-блоков.

https://developer.nvidia.com/blog/nvidia-dynamo-1-production-ready/