Умные черновики для умных задач: как научить спекулятивный декодинг выбирать нужного помощника

Спекулятивный декодинг — отличный способ ускорить LLM: маленькая draft-модель предлагает токены, большая верифицирует пачкой. Но что если draft обучена на «не том» датасете?

TAPS исследует ровно это. Берём два специализированных черновика — один на MathInstruct, другой на ShareGPT — и сравниваем стратегии их комбинирования: усреднение весов, роутинг по уверенности, и merged-tree верификация.

Результаты чёткие: усреднение весов — плохая идея. Роутинг по confidence уже лучше. Лучший результат — merged-tree верификация, когда оба черновика предлагают токены одновременно, а верификатор выбирает лучшее дерево.

Бонус: confidence оказался лучшим сигналом для роутинга, чем энтропия. А на глубоких уровнях дерева доминирует тот черновик, который соответствует задаче.

https://arxiv.org/abs/2603.27027

Что если картинки и звук — просто ещё один язык?

LongCat-Next берёт радикальную идею: все модальности (текст, изображения, аудио) превращаются в дискретные токены и скармливаются одному авторегрессионному трансформеру. Никаких отдельных энкодеров-костылей — всё через единый словарь токенов.

Главная боль: изображения непрерывны и высокоразмерны, их сложно запихнуть в конечный кодбук без потерь. Авторы решают это через Residual Vector Quantization (RVQ) — квантуем остатки от остатков, сохраняя детали. Визуальный токенайзер dNaViT работает при произвольном разрешении с компрессией до 28x.

Аудио — аналогично: Whisper-энкодер + RVQ, 12.5 Гц, с детокенайзером на flow matching.

Всё это объединяется в MoE-backbone под названием DiNA (Discrete Native Autoregression). Один авторегрессивный objective — текст, картинки, звук вместе.

https://arxiv.org/abs/2603.27538

"Виртуальная клетка" — теперь не метафора, а модель

(by DAMO Academy / Alibaba)

Один из главных вопросов биологии: можно ли симулировать клетку in silico? Lingshu-Cell — шаг в эту сторону. Это генеративная модель для одноклеточных данных (scRNA-seq), основанная на masked discrete diffusion.

Ключевая идея: вместо того чтобы добавлять непрерывный шум (как в диффузионных моделях) или генерировать гены по одному (как в AR-моделях), модель случайно маскирует значения экспрессии генов и учится их восстанавливать. Это идеально подходит для разреженных дискретных данных scRNA-seq.

Что умеет модель:
— генерировать реалистичные клеточные популяции (~18 000 генов) без предварительного отбора генов
— работать на 9 тканях и 5 видах (человек, мышь, макак, зебрафиш, дрозофила)
— предсказывать ответ клеток на генетические и цитокиновые пертурбации

На бенчмарке Virtual Cell Challenge H1 модель показала лидирующий результат, обучившись всего на 600K клетках.

https://arxiv.org/abs/2603.25240

Nvidia Tech выпустила CloudXR.js — JavaScript SDK для стриминга VR/AR-контента прямо в браузер.

Раньше для запуска XR-приложений нужны были нативные приложения, установки и сборки под конкретные устройства. Теперь достаточно ссылки: пользователь открывает URL в браузере гарнитуры — и получает полноценный иммерсивный опыт с рендерингом на серверных GPU.

SDK работает по двухуровневой схеме: Node.js-сервер раздаёт веб-клиент, а CloudXR Runtime стримит видео через WebSocket. Поддерживаются кодеки AV1, H.265 и H.264, частота до 120 кадров в секунду. Совместим с Omniverse, Isaac Lab и LÖVR.

Разработчики могут интегрировать CloudXR.js с любым веб-фреймворком — есть готовые примеры на чистом WebGL и React. Поддерживается деплой через Docker и Kubernetes.

Это важно для корпоративного сектора: цифровые двойники, телеоперация роботов, 3D-обучение — всё это теперь доступно без app store и IT-инфраструктуры для управления устройствами.

https://developer.nvidia.com/blog/build-and-stream-browser-based-xr-experiences-with-nvidia-cloudxr-js/

HY-Embodied-0.5: VLM для роботов от Tencent (by Tencent Hunyuan)

Как научить языковую модель управлять роботом в реальном мире? Tencent выпустил семейство моделей HY-Embodied-0.5 — VLM, заточенных под физических агентов.

Ключевые идеи:
1. Mixture-of-Transformers (MoT) — отдельные веса для визуальных и текстовых токенов, чтобы не "убивать" языковые способности тяжёлым визуальным обучением.
2. Visual Latent Tokens — специальные токены в конце визуальной последовательности, улучшающие восприятие (вдохновлено vision registers).
3. Итеративный RL + дистилляция большой модели в маленькую для edge-деплоя.

Два варианта: компактный MoT-2B (2B активных параметров) и мощный MoE-A32B (32B активных / 407B всего). Маленькая модель обходит Qwen3-VL-4B на 10%, большая — бьёт Gemini 3.0 Pro (67.0% vs 63.6%) на 22 бенчмарках по embodied-задачам.

https://arxiv.org/abs/2604.07430

OpenVLThinkerV2: как научить одну модель думать и видеть одновременно (by UCLA NLP)

Обучать мультимодальную модель сразу на десятках задач — боль. Математика даёт бинарные награды, детекция объектов — непрерывные IoU-скоры. Стандартный GRPO с такой смесью нестабилен: одни задачи подавляют другие, градиенты взрываются.

Авторы предложили G2RPO: вместо линейной нормализации наград — нелинейное преобразование через оптимальный транспорт. Идея простая: отсортируй награды по рангу и сопоставь их квантилям стандартного нормального распределения N(0,1). Всё. Никаких скользящих средних, никаких лишних гиперпараметров — и каждая задача получает одинаково сбалансированный градиентный сигнал.

Плюс к этому — управление длиной ответа: для задач на рассуждение модель учится думать развёрнуто, для визуальных — коротко и точно.

Результат: 71.6% на MMMU, 79.5% на MathVista — лучше GPT-4o. На ряде бенчмарков обходит GPT-5 и Gemini 2.5 Pro.

https://arxiv.org/abs/2604.08539

Симулятор одежды без симуляторного проклятия (by Intern Robotics)

Главная проблема sim-to-real для мягких объектов: физические движки врут про деформации ткани, а геометрия в симуляторе не совпадает с реальностью. Итог — синтетические данные бесполезны для обучения реальных роботов.

SIM1 предлагает R2S2R-пайплайн с тремя уровнями выравнивания:
1. Геометрия — 3D-сканирование одежды в метрически точные меши
2. Физика — улучшенный VBD-солвер с виртуальными упругими ограничениями, который не даёт ткани "расползаться"
3. Движения — диффузионная генерация траекторий + фильтрация + рандомизация внешнего вида

Результат: нулевой zero-shot перенос на реального робота с точностью 90% (на π0.5) и 76% (на π0). Самое впечатляющее — 15 синтетических демонстраций заменяют 1 реальную, а прирост к обобщению +50% против baseline на реальных данных.

https://arxiv.org/abs/2604.08544

Nvidia запустила Slinky — инструмент для запуска Slurm-кластеров прямо внутри Kubernetes.

Slurm управляет очередями задач на 65% мощнейших суперкомпьютеров мира, но раньше его приходилось держать отдельно от Kubernetes-инфраструктуры. Slinky решает эту проблему: все компоненты Slurm теперь работают как обычные Kubernetes-поды.

Что это даёт на практике: автоматическое управление GPU через NVIDIA GPU Operator, мониторинг по каждому заданию через Prometheus и Grafana, обновления без остановки задач и поддержка архитектур вроде GB200 NVL72 с межузловой NVLink-связью.

В продакшене Nvidia уже гоняет это на кластерах с 8000+ GPU. Версия 1.1.0 добавила динамическое обнаружение топологии и улучшенное самовосстановление.

Проект открытый — Slinky доступен на GitHub.

https://developer.nvidia.com/blog/running-large-scale-gpu-workloads-on-kubernetes-with-slurm/

Nvidia: сжатие чекпоинтов при обучении LLM экономит $56 000 в месяц

Nvidia опубликовала техническое руководство по снижению затрат на чекпоинты при обучении больших языковых моделей с помощью библиотеки nvCOMP — всего около 30 строк Python.

Проблема: при синхронном сохранении чекпоинтов все GPU простаивают. На 128 GPU Blackwell при обучении модели 405B это обходится более чем в $200 000 в месяц только за время простоя.

Решение: GPU-ускоренное сжатие прямо в памяти видеокарты без лишних пересылок данных. Библиотека nvCOMP поддерживает два алгоритма — ZSTD и gANS. Первый даёт чуть лучшее сжатие (21-29% для dense и MoE моделей), второй работает в 10 раз быстрее и подходит для высокоскоростного хранилища.

Итог: экономия свыше $56 000 в месяц при тех же условиях, плюс ускорение восстановления после сбоев. Для MoE-моделей выгода ещё выше из-за разреженности градиентов.

https://developer.nvidia.com/blog/cut-checkpoint-costs-with-about-30-lines-of-python-and-nvidia-nvcomp/

Nvidia Tech: ускорение предсказания структур белков в масштабе протеома

Nvidia опубликовала технический гайд по созданию высокопроизводительного пайплайна для предсказания структур белковых комплексов с помощью AlphaFold-Multimer на кластерах H100.

Что сделали: расширили базу данных AFDB предсказаниями гомерных и гетерных комплексов, ускорив вычисления через MMseqs2-GPU, TensorRT и cuEquivariance. Ключевое решение — разделить генерацию MSA и инференс структур на независимые SLURM-пайплайны, что позволило максимально загрузить GPU.

Почему важно: большинство белков работают не в одиночку, а в комплексах. До сих пор структурная информация для таких комплексов была практически недоступна в масштабе. Теперь это меняется.

Кому полезно: биоинформатикам, HPC-инженерам и AI-исследователям, работающим с генеративными белковыми моделями. Подход применим в разработке лекарств и системной биологии.

https://developer.nvidia.com/blog/how-to-accelerate-protein-structure-prediction-at-proteome-scale/

Google DeepMind объявил о запуске Gemma 4 — новой открытой модели от Google, которую уже можно использовать для разработки. Gemma — это серия лёгких открытых моделей, которые можно запускать локально или интегрировать в свои проекты. Четвёртое поколение обещает быть заметно мощнее предшественников. Ссылка на старт работы с моделью уже доступна — так что разработчики могут начинать экспериментировать прямо сейчас.

https://x.com/GoogleDeepMind/status/2042283483679039800

Google DeepMind хвастается новой моделью Gemma 4: она бьёт конкурентов, которые в 10 раз крупнее по размеру, и при этом не требует огромных вычислительных мощностей. За первую неделю модель скачали более 10 миллионов раз, а всё семейство Gemma перевалило за 500 миллионов загрузок. Открытое исследовательское сообщество явно оценило — такой интерес говорит о том, что маленькие, но эффективные модели становятся всё популярнее как альтернатива гигантам вроде GPT-4 или Claude.

https://x.com/GoogleDeepMind/status/2042283481640615944

MolmoWeb: открытый веб-агент, который видит браузер как человек

Большинство крутых веб-агентов (типа Computer Use от Anthropic) — закрытые и непрозрачные. MolmoWeb — попытка сделать полностью открытый аналог.

Ключевая идея: агент работает только со скриншотами, без доступа к HTML или дереву доступности (AxTree). Это делает его устойчивым к изменениям верстки и экономит токены — AxTree легко съедает десятки тысяч токенов на страницу.

Для обучения собрали датасет MolmoWebMix: синтетические траектории от LLM-агентов, человеческие демонстрации, данные по GUI-восприятию. Интересный трюк: синтетические траектории генерировал AxTree-агент, но сохранялись скриншоты — так модель учится на визуальном входе.

Результат: MolmoWeb 4B/8B обходит GPT-4o с SoM-разметкой и AxTree, несмотря на разницу в масштабе. Всё открыто: данные, веса, рецепт обучения.

https://arxiv.org/abs/2604.08516

"SFT запоминает, RL обобщает" — а что если это просто артефакт эксперимента?

Популярный тезис в мире LLM: SFT хорошо работает в обучающем домене, но плохо обобщается, тогда как RL умеет генерализовывать. Авторы решили разобраться: а правда ли это свойство SFT, или просто следствие конкретных условий экспериментов?

Оказывается, всё зависит от трёх факторов:

1. Оптимизация: на ранних чекпоинтах OOD-метрики падают, но потом восстанавливаются и превышают базовый уровень. Многие статьи просто останавливались слишком рано.

2. Данные: качественные long-CoT трейсы (с бэктрекингом и верификацией) дают кросс-доменные улучшения даже если обучать только на арифметике (Countdown).

3. Возможности модели: сильные модели усваивают процедурные паттерны, слабые — просто имитируют многословность без реального понимания.

Побочный эффект: long-CoT SFT заметно ухудшает safety — модели начинают самостоятельно рационализировать вредные запросы в процессе "думания".

https://arxiv.org/abs/2604.06628

Скиллы для AI-агентов, которые улучшаются сами — от взаимодействия тысяч пользователей

Представьте: один пользователь нашёл способ обойти баг в инструменте — и это знание автоматически помогло всем остальным. Именно это делает SkillClaw.

Проблема: у LLM-агентов есть "скиллы" — структурированные процедуры работы с инструментами. Но они статичны: агент может за сессию найти рабочее решение, однако оно умрёт вместе с сессией. Следующий пользователь наступит на те же грабли.

Решение: SkillClaw собирает траектории взаимодействий от всех пользователей, группирует их по используемым скиллам, а затем запускает "agentic evolver" — LLM-агента, который анализирует паттерны успехов и провалов и обновляет скиллы: рефайнит существующие или создаёт новые. Обновлённые скиллы синхронизируются обратно ко всем агентам.

Ключевое: эволюция коллективная и полностью автоматическая — пользователь ничего не делает вручную.

https://arxiv.org/abs/2604.08377

Мультимодальный агент научился НЕ использовать инструменты (by Alibaba/Accio)

Современные мультимодальные агенты страдают от "слепого вызова инструментов": они дёргают внешние API в 80-98% случаев, даже когда задача решается напрямую из картинки. Это медленно, шумно и снижает качество.

Ключевая проблема: если штрафовать за лишние вызовы инструментов через обычный скалярный reward (accuracy + efficiency), сигналы мешают друг другу. Агрессивный штраф убивает нужные вызовы, слабый — тонет в дисперсии accuracy-reward.

Решение — HDPO (Hierarchical Decoupled Policy Optimization): два отдельных канала обучения. Accuracy-канал оптимизируется на всех траекториях, efficiency-канал — только на правильных ответах. Градиенты смешиваются лишь в финальном лоссе.

Результат: агент Metis использует инструменты лишь в 2% случаев против 98% у базового GRPO — и при этом бьёт все конкуренты по точности. Меньше шума = лучше рассуждения.

https://arxiv.org/abs/2604.08545

WildDet3D: универсальный 3D-детектор "в дикой природе" (by Ai2)

Что если один детектор умел бы находить любой объект в 3D — по тексту, клику мышью или 2D-боксу, да ещё и с опциональным LiDAR?

Именно это делает WildDet3D. Авторы из Ai2 построили open-vocabulary детектор, который по одной RGB-картинке (и опциональной глубине) предсказывает 3D-боксы для произвольных категорий. Три ключевые идеи:

1. Dual-encoder: отдельный энкодер для семантики (ViT-H) и отдельный для геометрии (RGBD), объединяемые через depth fusion module.

2. Promptable detector: единый интерфейс для текста, 2D-точек и 2D-боксов.

3. WildDet3D-Data: 1M+ изображений, 13.5K категорий — разметка через автоматические кандидаты + верификация людьми.

Результат: 22.6 AP3D на 700+ категориях против 2.3 AP у конкурентов. Модель запускается на iPhone и интегрирована в Meta Quest.

https://arxiv.org/abs/2604.08626

Маленькая VLM как умный компрессор для часовых видео

Проблема длинных видео для мультимодальных LLM простая: тысячи фреймов → миллионы токенов → контекстное окно лопается. Обычные решения либо редко сэмплируют фреймы (и пропускают важные моменты), либо жмут всё равномерно (и теряют детали).

Авторы предлагают Tempo: маленькая VLM (SVLM) сначала "читает" каждый сегмент вместе с запросом пользователя и выдаёт компактные memory tokens. Ключевая фишка — Adaptive Token Allocation (ATA): релевантные сегменты получают 16 токенов/фрейм, скучные фоны сжимаются до 0.5 токена/фрейм. Причём ATA работает без дообучения — просто перехватывает hidden states SVLM для оценки релевантности.

Результат: 6B-модель Tempo набирает 52.3 на LVBench, обгоняя GPT-4o и Gemini 1.5 Pro при в разы меньшем бюджете токенов.

https://arxiv.org/abs/2604.08120

NVIDIA и MiniMax выпустили MiniMax M2.7 — новую версию популярной модели для агентных задач.

M2.7 — это MoE-модель с 230 млрд параметров, но при работе активирует лишь 10 млрд (4,3% от общего числа). Это значит: мощность большой модели при низких затратах на инференс. Контекст — 200К токенов, 256 экспертов.

Что важно для разработчиков: модель оптимизирована под vLLM и SGLang на GPU Blackwell Ultra — прирост производительности до 2,7x всего за месяц. Доступна через NVIDIA NIM и build.nvidia.com, поддерживает файнтюнинг через NeMo Framework.

Веса открыты. Идеально для сложных агентных сценариев, кодинга и исследовательских пайплайнов.

https://developer.nvidia.com/blog/minimax-m2-7-advances-scalable-agentic-workflows-on-nvidia-platforms-for-complex-ai-applications/

Могут ли топовые LLM отличить болт M10 от M20?

Оказывается — с трудом. Исследователи из Waterloo создали FORGE — первый fine-grained бенчмарк для производственных сценариев, где моделям нужно не просто распознать «это болт», а определить конкретный типоразмер, найти дефект поверхности или проверить корректность сборки.

Датасет: 12 972 примера, 2D-изображения + 3D point clouds, 14 категорий деталей, 90 моделей (например, гайки от M10 до M20).

Три задачи: верификация детали, инспекция поверхности (трещины, вмятины), верификация сборки.

Результат: даже GPT-5 и Gemini проваливаются на мелкозернистых задачах — главный bottleneck это понимание морфологии и отсутствие доменных знаний.

Но есть хорошая новость: SFT компактной 3B-модели на их данных даёт +25.6% на новых задачах. Доменная дообучка работает даже на маленьких моделях.

https://arxiv.org/abs/2604.07413