FIPO: как научить модель думать глубже без critic-модели (by Qwen)
Главная проблема GRPO и его наследников — все токены в цепочке рассуждений получают одинаковое вознаграждение. Неважно, был ли токен ключевым шагом логики или просто "и поэтому" — награда одна. Это создаёт потолок: модель не учится строить длинные, сложные рассуждения.
Авторы из Qwen предлагают FIPO: вместо равномерного advantage каждому токену присваивается вес на основе Future-KL — насколько сильно последующая траектория отклоняется от референсной политики. Чем важнее токен для дальнейшего рассуждения, тем выше его вес. Никакого value-model, никакого SFT на Long-CoT данных.
Результат: на AIME 2024 DAPO даёт 50%, FIPO — 58%, обгоняя o1-mini. При этом длина ответов органически выросла с 4к до 10к+ токенов в процессе обучения.
Код и рецепты обучения полностью открыты.
https://arxiv.org/abs/2603.19835
Главная проблема GRPO и его наследников — все токены в цепочке рассуждений получают одинаковое вознаграждение. Неважно, был ли токен ключевым шагом логики или просто "и поэтому" — награда одна. Это создаёт потолок: модель не учится строить длинные, сложные рассуждения.
Авторы из Qwen предлагают FIPO: вместо равномерного advantage каждому токену присваивается вес на основе Future-KL — насколько сильно последующая траектория отклоняется от референсной политики. Чем важнее токен для дальнейшего рассуждения, тем выше его вес. Никакого value-model, никакого SFT на Long-CoT данных.
Результат: на AIME 2024 DAPO даёт 50%, FIPO — 58%, обгоняя o1-mini. При этом длина ответов органически выросла с 4к до 10к+ токенов в процессе обучения.
Код и рецепты обучения полностью открыты.
https://arxiv.org/abs/2603.19835
DreamLite от ByteDance: генерация и редактирование фото на смартфоне за 1 секунду (by ByteDance)
Обычно мобильные диффузионные модели умеют только генерировать картинки. Хочешь ещё и редактировать — ставь вторую модель. DreamLite объединяет оба режима в одной компактной UNet-сети.
Как? Входное изображение и условие просто конкатенируются слева-справа. Для генерации условие — пустое изображение, для редактирования — исходное фото. Задача указывается токеном в начале промпта. Никаких лишних веток и параметров.
Обучение идёт в три прогрессивных стадии: T2I → Edit → Joint Training. После этого ещё SFT + RL с наградами HPSv3 и EditReward. Финальный инференс сжат до 4 шагов через DMD2.
На Xiaomi 14 — 1024×1024 за менее чем 1 секунду. По бенчмаркам обходит SnapGen, SANA-0.6B и VIBE, конкурирует с OmniGen2 и Bagel, которые в разы тяжелее.
https://arxiv.org/abs/2603.28713
Обычно мобильные диффузионные модели умеют только генерировать картинки. Хочешь ещё и редактировать — ставь вторую модель. DreamLite объединяет оба режима в одной компактной UNet-сети.
Как? Входное изображение и условие просто конкатенируются слева-справа. Для генерации условие — пустое изображение, для редактирования — исходное фото. Задача указывается токеном в начале промпта. Никаких лишних веток и параметров.
Обучение идёт в три прогрессивных стадии: T2I → Edit → Joint Training. После этого ещё SFT + RL с наградами HPSv3 и EditReward. Финальный инференс сжат до 4 шагов через DMD2.
На Xiaomi 14 — 1024×1024 за менее чем 1 секунду. По бенчмаркам обходит SnapGen, SANA-0.6B и VIBE, конкурирует с OmniGen2 и Bagel, которые в разы тяжелее.
https://arxiv.org/abs/2603.28713
Умные черновики для умных задач: как научить спекулятивный декодинг выбирать нужного помощника
Спекулятивный декодинг — отличный способ ускорить LLM: маленькая draft-модель предлагает токены, большая верифицирует пачкой. Но что если draft обучена на «не том» датасете?
TAPS исследует ровно это. Берём два специализированных черновика — один на MathInstruct, другой на ShareGPT — и сравниваем стратегии их комбинирования: усреднение весов, роутинг по уверенности, и merged-tree верификация.
Результаты чёткие: усреднение весов — плохая идея. Роутинг по confidence уже лучше. Лучший результат — merged-tree верификация, когда оба черновика предлагают токены одновременно, а верификатор выбирает лучшее дерево.
Бонус: confidence оказался лучшим сигналом для роутинга, чем энтропия. А на глубоких уровнях дерева доминирует тот черновик, который соответствует задаче.
https://arxiv.org/abs/2603.27027
Спекулятивный декодинг — отличный способ ускорить LLM: маленькая draft-модель предлагает токены, большая верифицирует пачкой. Но что если draft обучена на «не том» датасете?
TAPS исследует ровно это. Берём два специализированных черновика — один на MathInstruct, другой на ShareGPT — и сравниваем стратегии их комбинирования: усреднение весов, роутинг по уверенности, и merged-tree верификация.
Результаты чёткие: усреднение весов — плохая идея. Роутинг по confidence уже лучше. Лучший результат — merged-tree верификация, когда оба черновика предлагают токены одновременно, а верификатор выбирает лучшее дерево.
Бонус: confidence оказался лучшим сигналом для роутинга, чем энтропия. А на глубоких уровнях дерева доминирует тот черновик, который соответствует задаче.
https://arxiv.org/abs/2603.27027
Что если картинки и звук — просто ещё один язык?
LongCat-Next берёт радикальную идею: все модальности (текст, изображения, аудио) превращаются в дискретные токены и скармливаются одному авторегрессионному трансформеру. Никаких отдельных энкодеров-костылей — всё через единый словарь токенов.
Главная боль: изображения непрерывны и высокоразмерны, их сложно запихнуть в конечный кодбук без потерь. Авторы решают это через Residual Vector Quantization (RVQ) — квантуем остатки от остатков, сохраняя детали. Визуальный токенайзер dNaViT работает при произвольном разрешении с компрессией до 28x.
Аудио — аналогично: Whisper-энкодер + RVQ, 12.5 Гц, с детокенайзером на flow matching.
Всё это объединяется в MoE-backbone под названием DiNA (Discrete Native Autoregression). Один авторегрессивный objective — текст, картинки, звук вместе.
https://arxiv.org/abs/2603.27538
LongCat-Next берёт радикальную идею: все модальности (текст, изображения, аудио) превращаются в дискретные токены и скармливаются одному авторегрессионному трансформеру. Никаких отдельных энкодеров-костылей — всё через единый словарь токенов.
Главная боль: изображения непрерывны и высокоразмерны, их сложно запихнуть в конечный кодбук без потерь. Авторы решают это через Residual Vector Quantization (RVQ) — квантуем остатки от остатков, сохраняя детали. Визуальный токенайзер dNaViT работает при произвольном разрешении с компрессией до 28x.
Аудио — аналогично: Whisper-энкодер + RVQ, 12.5 Гц, с детокенайзером на flow matching.
Всё это объединяется в MoE-backbone под названием DiNA (Discrete Native Autoregression). Один авторегрессивный objective — текст, картинки, звук вместе.
https://arxiv.org/abs/2603.27538
"Виртуальная клетка" — теперь не метафора, а модель
(by DAMO Academy / Alibaba)
Один из главных вопросов биологии: можно ли симулировать клетку in silico? Lingshu-Cell — шаг в эту сторону. Это генеративная модель для одноклеточных данных (scRNA-seq), основанная на masked discrete diffusion.
Ключевая идея: вместо того чтобы добавлять непрерывный шум (как в диффузионных моделях) или генерировать гены по одному (как в AR-моделях), модель случайно маскирует значения экспрессии генов и учится их восстанавливать. Это идеально подходит для разреженных дискретных данных scRNA-seq.
Что умеет модель:
— генерировать реалистичные клеточные популяции (~18 000 генов) без предварительного отбора генов
— работать на 9 тканях и 5 видах (человек, мышь, макак, зебрафиш, дрозофила)
— предсказывать ответ клеток на генетические и цитокиновые пертурбации
На бенчмарке Virtual Cell Challenge H1 модель показала лидирующий результат, обучившись всего на 600K клетках.
https://arxiv.org/abs/2603.25240
(by DAMO Academy / Alibaba)
Один из главных вопросов биологии: можно ли симулировать клетку in silico? Lingshu-Cell — шаг в эту сторону. Это генеративная модель для одноклеточных данных (scRNA-seq), основанная на masked discrete diffusion.
Ключевая идея: вместо того чтобы добавлять непрерывный шум (как в диффузионных моделях) или генерировать гены по одному (как в AR-моделях), модель случайно маскирует значения экспрессии генов и учится их восстанавливать. Это идеально подходит для разреженных дискретных данных scRNA-seq.
Что умеет модель:
— генерировать реалистичные клеточные популяции (~18 000 генов) без предварительного отбора генов
— работать на 9 тканях и 5 видах (человек, мышь, макак, зебрафиш, дрозофила)
— предсказывать ответ клеток на генетические и цитокиновые пертурбации
На бенчмарке Virtual Cell Challenge H1 модель показала лидирующий результат, обучившись всего на 600K клетках.
https://arxiv.org/abs/2603.25240
Nvidia Tech выпустила CloudXR.js — JavaScript SDK для стриминга VR/AR-контента прямо в браузер.
Раньше для запуска XR-приложений нужны были нативные приложения, установки и сборки под конкретные устройства. Теперь достаточно ссылки: пользователь открывает URL в браузере гарнитуры — и получает полноценный иммерсивный опыт с рендерингом на серверных GPU.
SDK работает по двухуровневой схеме: Node.js-сервер раздаёт веб-клиент, а CloudXR Runtime стримит видео через WebSocket. Поддерживаются кодеки AV1, H.265 и H.264, частота до 120 кадров в секунду. Совместим с Omniverse, Isaac Lab и LÖVR.
Разработчики могут интегрировать CloudXR.js с любым веб-фреймворком — есть готовые примеры на чистом WebGL и React. Поддерживается деплой через Docker и Kubernetes.
Это важно для корпоративного сектора: цифровые двойники, телеоперация роботов, 3D-обучение — всё это теперь доступно без app store и IT-инфраструктуры для управления устройствами.
https://developer.nvidia.com/blog/build-and-stream-browser-based-xr-experiences-with-nvidia-cloudxr-js/
Раньше для запуска XR-приложений нужны были нативные приложения, установки и сборки под конкретные устройства. Теперь достаточно ссылки: пользователь открывает URL в браузере гарнитуры — и получает полноценный иммерсивный опыт с рендерингом на серверных GPU.
SDK работает по двухуровневой схеме: Node.js-сервер раздаёт веб-клиент, а CloudXR Runtime стримит видео через WebSocket. Поддерживаются кодеки AV1, H.265 и H.264, частота до 120 кадров в секунду. Совместим с Omniverse, Isaac Lab и LÖVR.
Разработчики могут интегрировать CloudXR.js с любым веб-фреймворком — есть готовые примеры на чистом WebGL и React. Поддерживается деплой через Docker и Kubernetes.
Это важно для корпоративного сектора: цифровые двойники, телеоперация роботов, 3D-обучение — всё это теперь доступно без app store и IT-инфраструктуры для управления устройствами.
https://developer.nvidia.com/blog/build-and-stream-browser-based-xr-experiences-with-nvidia-cloudxr-js/
NVIDIA Technical Blog
Build and Stream Browser-Based XR Experiences with NVIDIA CloudXR.js
Delivering high-fidelity VR and AR experiences to enterprise users has typically required native application development, custom device management, and complex deployment pipelines. Now…
HY-Embodied-0.5: VLM для роботов от Tencent (by Tencent Hunyuan)
Как научить языковую модель управлять роботом в реальном мире? Tencent выпустил семейство моделей HY-Embodied-0.5 — VLM, заточенных под физических агентов.
Ключевые идеи:
1. Mixture-of-Transformers (MoT) — отдельные веса для визуальных и текстовых токенов, чтобы не "убивать" языковые способности тяжёлым визуальным обучением.
2. Visual Latent Tokens — специальные токены в конце визуальной последовательности, улучшающие восприятие (вдохновлено vision registers).
3. Итеративный RL + дистилляция большой модели в маленькую для edge-деплоя.
Два варианта: компактный MoT-2B (2B активных параметров) и мощный MoE-A32B (32B активных / 407B всего). Маленькая модель обходит Qwen3-VL-4B на 10%, большая — бьёт Gemini 3.0 Pro (67.0% vs 63.6%) на 22 бенчмарках по embodied-задачам.
https://arxiv.org/abs/2604.07430
Как научить языковую модель управлять роботом в реальном мире? Tencent выпустил семейство моделей HY-Embodied-0.5 — VLM, заточенных под физических агентов.
Ключевые идеи:
1. Mixture-of-Transformers (MoT) — отдельные веса для визуальных и текстовых токенов, чтобы не "убивать" языковые способности тяжёлым визуальным обучением.
2. Visual Latent Tokens — специальные токены в конце визуальной последовательности, улучшающие восприятие (вдохновлено vision registers).
3. Итеративный RL + дистилляция большой модели в маленькую для edge-деплоя.
Два варианта: компактный MoT-2B (2B активных параметров) и мощный MoE-A32B (32B активных / 407B всего). Маленькая модель обходит Qwen3-VL-4B на 10%, большая — бьёт Gemini 3.0 Pro (67.0% vs 63.6%) на 22 бенчмарках по embodied-задачам.
https://arxiv.org/abs/2604.07430
OpenVLThinkerV2: как научить одну модель думать и видеть одновременно (by UCLA NLP)
Обучать мультимодальную модель сразу на десятках задач — боль. Математика даёт бинарные награды, детекция объектов — непрерывные IoU-скоры. Стандартный GRPO с такой смесью нестабилен: одни задачи подавляют другие, градиенты взрываются.
Авторы предложили G2RPO: вместо линейной нормализации наград — нелинейное преобразование через оптимальный транспорт. Идея простая: отсортируй награды по рангу и сопоставь их квантилям стандартного нормального распределения N(0,1). Всё. Никаких скользящих средних, никаких лишних гиперпараметров — и каждая задача получает одинаково сбалансированный градиентный сигнал.
Плюс к этому — управление длиной ответа: для задач на рассуждение модель учится думать развёрнуто, для визуальных — коротко и точно.
Результат: 71.6% на MMMU, 79.5% на MathVista — лучше GPT-4o. На ряде бенчмарков обходит GPT-5 и Gemini 2.5 Pro.
https://arxiv.org/abs/2604.08539
Обучать мультимодальную модель сразу на десятках задач — боль. Математика даёт бинарные награды, детекция объектов — непрерывные IoU-скоры. Стандартный GRPO с такой смесью нестабилен: одни задачи подавляют другие, градиенты взрываются.
Авторы предложили G2RPO: вместо линейной нормализации наград — нелинейное преобразование через оптимальный транспорт. Идея простая: отсортируй награды по рангу и сопоставь их квантилям стандартного нормального распределения N(0,1). Всё. Никаких скользящих средних, никаких лишних гиперпараметров — и каждая задача получает одинаково сбалансированный градиентный сигнал.
Плюс к этому — управление длиной ответа: для задач на рассуждение модель учится думать развёрнуто, для визуальных — коротко и точно.
Результат: 71.6% на MMMU, 79.5% на MathVista — лучше GPT-4o. На ряде бенчмарков обходит GPT-5 и Gemini 2.5 Pro.
https://arxiv.org/abs/2604.08539
Симулятор одежды без симуляторного проклятия (by Intern Robotics)
Главная проблема sim-to-real для мягких объектов: физические движки врут про деформации ткани, а геометрия в симуляторе не совпадает с реальностью. Итог — синтетические данные бесполезны для обучения реальных роботов.
SIM1 предлагает R2S2R-пайплайн с тремя уровнями выравнивания:
1. Геометрия — 3D-сканирование одежды в метрически точные меши
2. Физика — улучшенный VBD-солвер с виртуальными упругими ограничениями, который не даёт ткани "расползаться"
3. Движения — диффузионная генерация траекторий + фильтрация + рандомизация внешнего вида
Результат: нулевой zero-shot перенос на реального робота с точностью 90% (на π0.5) и 76% (на π0). Самое впечатляющее — 15 синтетических демонстраций заменяют 1 реальную, а прирост к обобщению +50% против baseline на реальных данных.
https://arxiv.org/abs/2604.08544
Главная проблема sim-to-real для мягких объектов: физические движки врут про деформации ткани, а геометрия в симуляторе не совпадает с реальностью. Итог — синтетические данные бесполезны для обучения реальных роботов.
SIM1 предлагает R2S2R-пайплайн с тремя уровнями выравнивания:
1. Геометрия — 3D-сканирование одежды в метрически точные меши
2. Физика — улучшенный VBD-солвер с виртуальными упругими ограничениями, который не даёт ткани "расползаться"
3. Движения — диффузионная генерация траекторий + фильтрация + рандомизация внешнего вида
Результат: нулевой zero-shot перенос на реального робота с точностью 90% (на π0.5) и 76% (на π0). Самое впечатляющее — 15 синтетических демонстраций заменяют 1 реальную, а прирост к обобщению +50% против baseline на реальных данных.
https://arxiv.org/abs/2604.08544
Nvidia запустила Slinky — инструмент для запуска Slurm-кластеров прямо внутри Kubernetes.
Slurm управляет очередями задач на 65% мощнейших суперкомпьютеров мира, но раньше его приходилось держать отдельно от Kubernetes-инфраструктуры. Slinky решает эту проблему: все компоненты Slurm теперь работают как обычные Kubernetes-поды.
Что это даёт на практике: автоматическое управление GPU через NVIDIA GPU Operator, мониторинг по каждому заданию через Prometheus и Grafana, обновления без остановки задач и поддержка архитектур вроде GB200 NVL72 с межузловой NVLink-связью.
В продакшене Nvidia уже гоняет это на кластерах с 8000+ GPU. Версия 1.1.0 добавила динамическое обнаружение топологии и улучшенное самовосстановление.
Проект открытый — Slinky доступен на GitHub.
https://developer.nvidia.com/blog/running-large-scale-gpu-workloads-on-kubernetes-with-slurm/
Slurm управляет очередями задач на 65% мощнейших суперкомпьютеров мира, но раньше его приходилось держать отдельно от Kubernetes-инфраструктуры. Slinky решает эту проблему: все компоненты Slurm теперь работают как обычные Kubernetes-поды.
Что это даёт на практике: автоматическое управление GPU через NVIDIA GPU Operator, мониторинг по каждому заданию через Prometheus и Grafana, обновления без остановки задач и поддержка архитектур вроде GB200 NVL72 с межузловой NVLink-связью.
В продакшене Nvidia уже гоняет это на кластерах с 8000+ GPU. Версия 1.1.0 добавила динамическое обнаружение топологии и улучшенное самовосстановление.
Проект открытый — Slinky доступен на GitHub.
https://developer.nvidia.com/blog/running-large-scale-gpu-workloads-on-kubernetes-with-slurm/
NVIDIA Technical Blog
Running Large-Scale GPU Workloads on Kubernetes with Slurm
Slurm is an open source cluster management and job scheduling system for Linux. It manages job scheduling for over 65% of TOP500 systems. Most organizations running large-scale AI training have years…
Nvidia: сжатие чекпоинтов при обучении LLM экономит $56 000 в месяц
Nvidia опубликовала техническое руководство по снижению затрат на чекпоинты при обучении больших языковых моделей с помощью библиотеки nvCOMP — всего около 30 строк Python.
Проблема: при синхронном сохранении чекпоинтов все GPU простаивают. На 128 GPU Blackwell при обучении модели 405B это обходится более чем в $200 000 в месяц только за время простоя.
Решение: GPU-ускоренное сжатие прямо в памяти видеокарты без лишних пересылок данных. Библиотека nvCOMP поддерживает два алгоритма — ZSTD и gANS. Первый даёт чуть лучшее сжатие (21-29% для dense и MoE моделей), второй работает в 10 раз быстрее и подходит для высокоскоростного хранилища.
Итог: экономия свыше $56 000 в месяц при тех же условиях, плюс ускорение восстановления после сбоев. Для MoE-моделей выгода ещё выше из-за разреженности градиентов.
https://developer.nvidia.com/blog/cut-checkpoint-costs-with-about-30-lines-of-python-and-nvidia-nvcomp/
Nvidia опубликовала техническое руководство по снижению затрат на чекпоинты при обучении больших языковых моделей с помощью библиотеки nvCOMP — всего около 30 строк Python.
Проблема: при синхронном сохранении чекпоинтов все GPU простаивают. На 128 GPU Blackwell при обучении модели 405B это обходится более чем в $200 000 в месяц только за время простоя.
Решение: GPU-ускоренное сжатие прямо в памяти видеокарты без лишних пересылок данных. Библиотека nvCOMP поддерживает два алгоритма — ZSTD и gANS. Первый даёт чуть лучшее сжатие (21-29% для dense и MoE моделей), второй работает в 10 раз быстрее и подходит для высокоскоростного хранилища.
Итог: экономия свыше $56 000 в месяц при тех же условиях, плюс ускорение восстановления после сбоев. Для MoE-моделей выгода ещё выше из-за разреженности градиентов.
https://developer.nvidia.com/blog/cut-checkpoint-costs-with-about-30-lines-of-python-and-nvidia-nvcomp/
Nvidia Tech: ускорение предсказания структур белков в масштабе протеома
Nvidia опубликовала технический гайд по созданию высокопроизводительного пайплайна для предсказания структур белковых комплексов с помощью AlphaFold-Multimer на кластерах H100.
Что сделали: расширили базу данных AFDB предсказаниями гомерных и гетерных комплексов, ускорив вычисления через MMseqs2-GPU, TensorRT и cuEquivariance. Ключевое решение — разделить генерацию MSA и инференс структур на независимые SLURM-пайплайны, что позволило максимально загрузить GPU.
Почему важно: большинство белков работают не в одиночку, а в комплексах. До сих пор структурная информация для таких комплексов была практически недоступна в масштабе. Теперь это меняется.
Кому полезно: биоинформатикам, HPC-инженерам и AI-исследователям, работающим с генеративными белковыми моделями. Подход применим в разработке лекарств и системной биологии.
https://developer.nvidia.com/blog/how-to-accelerate-protein-structure-prediction-at-proteome-scale/
Nvidia опубликовала технический гайд по созданию высокопроизводительного пайплайна для предсказания структур белковых комплексов с помощью AlphaFold-Multimer на кластерах H100.
Что сделали: расширили базу данных AFDB предсказаниями гомерных и гетерных комплексов, ускорив вычисления через MMseqs2-GPU, TensorRT и cuEquivariance. Ключевое решение — разделить генерацию MSA и инференс структур на независимые SLURM-пайплайны, что позволило максимально загрузить GPU.
Почему важно: большинство белков работают не в одиночку, а в комплексах. До сих пор структурная информация для таких комплексов была практически недоступна в масштабе. Теперь это меняется.
Кому полезно: биоинформатикам, HPC-инженерам и AI-исследователям, работающим с генеративными белковыми моделями. Подход применим в разработке лекарств и системной биологии.
https://developer.nvidia.com/blog/how-to-accelerate-protein-structure-prediction-at-proteome-scale/
NVIDIA Technical Blog
How to Accelerate Protein Structure Prediction at Proteome-Scale
Proteins rarely function in isolation as individual monomers. Most biological processes are governed by proteins interacting with other proteins, forming protein complexes whose structures are…
Google DeepMind объявил о запуске Gemma 4 — новой открытой модели от Google, которую уже можно использовать для разработки. Gemma — это серия лёгких открытых моделей, которые можно запускать локально или интегрировать в свои проекты. Четвёртое поколение обещает быть заметно мощнее предшественников. Ссылка на старт работы с моделью уже доступна — так что разработчики могут начинать экспериментировать прямо сейчас.
https://x.com/GoogleDeepMind/status/2042283483679039800
https://x.com/GoogleDeepMind/status/2042283483679039800
X (formerly Twitter)
Google DeepMind (@GoogleDeepMind) on X
Start building with Gemma 4 ↓
https://t.co/GENFuH25uN
https://t.co/GENFuH25uN
Google DeepMind хвастается новой моделью Gemma 4: она бьёт конкурентов, которые в 10 раз крупнее по размеру, и при этом не требует огромных вычислительных мощностей. За первую неделю модель скачали более 10 миллионов раз, а всё семейство Gemma перевалило за 500 миллионов загрузок. Открытое исследовательское сообщество явно оценило — такой интерес говорит о том, что маленькие, но эффективные модели становятся всё популярнее как альтернатива гигантам вроде GPT-4 или Claude.
https://x.com/GoogleDeepMind/status/2042283481640615944
https://x.com/GoogleDeepMind/status/2042283481640615944
X (formerly Twitter)
Google DeepMind (@GoogleDeepMind) on X
Gemma 4 punches above its weight, outperforming models 10x its size without the need for massive compute.
With 10M+ downloads in its first week and 500M+ for the Gemma family overall, we’re excited to see this level of engagement within the open research…
With 10M+ downloads in its first week and 500M+ for the Gemma family overall, we’re excited to see this level of engagement within the open research…
MolmoWeb: открытый веб-агент, который видит браузер как человек
Большинство крутых веб-агентов (типа Computer Use от Anthropic) — закрытые и непрозрачные. MolmoWeb — попытка сделать полностью открытый аналог.
Ключевая идея: агент работает только со скриншотами, без доступа к HTML или дереву доступности (AxTree). Это делает его устойчивым к изменениям верстки и экономит токены — AxTree легко съедает десятки тысяч токенов на страницу.
Для обучения собрали датасет MolmoWebMix: синтетические траектории от LLM-агентов, человеческие демонстрации, данные по GUI-восприятию. Интересный трюк: синтетические траектории генерировал AxTree-агент, но сохранялись скриншоты — так модель учится на визуальном входе.
Результат: MolmoWeb 4B/8B обходит GPT-4o с SoM-разметкой и AxTree, несмотря на разницу в масштабе. Всё открыто: данные, веса, рецепт обучения.
https://arxiv.org/abs/2604.08516
Большинство крутых веб-агентов (типа Computer Use от Anthropic) — закрытые и непрозрачные. MolmoWeb — попытка сделать полностью открытый аналог.
Ключевая идея: агент работает только со скриншотами, без доступа к HTML или дереву доступности (AxTree). Это делает его устойчивым к изменениям верстки и экономит токены — AxTree легко съедает десятки тысяч токенов на страницу.
Для обучения собрали датасет MolmoWebMix: синтетические траектории от LLM-агентов, человеческие демонстрации, данные по GUI-восприятию. Интересный трюк: синтетические траектории генерировал AxTree-агент, но сохранялись скриншоты — так модель учится на визуальном входе.
Результат: MolmoWeb 4B/8B обходит GPT-4o с SoM-разметкой и AxTree, несмотря на разницу в масштабе. Всё открыто: данные, веса, рецепт обучения.
https://arxiv.org/abs/2604.08516
"SFT запоминает, RL обобщает" — а что если это просто артефакт эксперимента?
Популярный тезис в мире LLM: SFT хорошо работает в обучающем домене, но плохо обобщается, тогда как RL умеет генерализовывать. Авторы решили разобраться: а правда ли это свойство SFT, или просто следствие конкретных условий экспериментов?
Оказывается, всё зависит от трёх факторов:
1. Оптимизация: на ранних чекпоинтах OOD-метрики падают, но потом восстанавливаются и превышают базовый уровень. Многие статьи просто останавливались слишком рано.
2. Данные: качественные long-CoT трейсы (с бэктрекингом и верификацией) дают кросс-доменные улучшения даже если обучать только на арифметике (Countdown).
3. Возможности модели: сильные модели усваивают процедурные паттерны, слабые — просто имитируют многословность без реального понимания.
Побочный эффект: long-CoT SFT заметно ухудшает safety — модели начинают самостоятельно рационализировать вредные запросы в процессе "думания".
https://arxiv.org/abs/2604.06628
Популярный тезис в мире LLM: SFT хорошо работает в обучающем домене, но плохо обобщается, тогда как RL умеет генерализовывать. Авторы решили разобраться: а правда ли это свойство SFT, или просто следствие конкретных условий экспериментов?
Оказывается, всё зависит от трёх факторов:
1. Оптимизация: на ранних чекпоинтах OOD-метрики падают, но потом восстанавливаются и превышают базовый уровень. Многие статьи просто останавливались слишком рано.
2. Данные: качественные long-CoT трейсы (с бэктрекингом и верификацией) дают кросс-доменные улучшения даже если обучать только на арифметике (Countdown).
3. Возможности модели: сильные модели усваивают процедурные паттерны, слабые — просто имитируют многословность без реального понимания.
Побочный эффект: long-CoT SFT заметно ухудшает safety — модели начинают самостоятельно рационализировать вредные запросы в процессе "думания".
https://arxiv.org/abs/2604.06628
Скиллы для AI-агентов, которые улучшаются сами — от взаимодействия тысяч пользователей
Представьте: один пользователь нашёл способ обойти баг в инструменте — и это знание автоматически помогло всем остальным. Именно это делает SkillClaw.
Проблема: у LLM-агентов есть "скиллы" — структурированные процедуры работы с инструментами. Но они статичны: агент может за сессию найти рабочее решение, однако оно умрёт вместе с сессией. Следующий пользователь наступит на те же грабли.
Решение: SkillClaw собирает траектории взаимодействий от всех пользователей, группирует их по используемым скиллам, а затем запускает "agentic evolver" — LLM-агента, который анализирует паттерны успехов и провалов и обновляет скиллы: рефайнит существующие или создаёт новые. Обновлённые скиллы синхронизируются обратно ко всем агентам.
Ключевое: эволюция коллективная и полностью автоматическая — пользователь ничего не делает вручную.
https://arxiv.org/abs/2604.08377
Представьте: один пользователь нашёл способ обойти баг в инструменте — и это знание автоматически помогло всем остальным. Именно это делает SkillClaw.
Проблема: у LLM-агентов есть "скиллы" — структурированные процедуры работы с инструментами. Но они статичны: агент может за сессию найти рабочее решение, однако оно умрёт вместе с сессией. Следующий пользователь наступит на те же грабли.
Решение: SkillClaw собирает траектории взаимодействий от всех пользователей, группирует их по используемым скиллам, а затем запускает "agentic evolver" — LLM-агента, который анализирует паттерны успехов и провалов и обновляет скиллы: рефайнит существующие или создаёт новые. Обновлённые скиллы синхронизируются обратно ко всем агентам.
Ключевое: эволюция коллективная и полностью автоматическая — пользователь ничего не делает вручную.
https://arxiv.org/abs/2604.08377
🔥1
Мультимодальный агент научился НЕ использовать инструменты (by Alibaba/Accio)
Современные мультимодальные агенты страдают от "слепого вызова инструментов": они дёргают внешние API в 80-98% случаев, даже когда задача решается напрямую из картинки. Это медленно, шумно и снижает качество.
Ключевая проблема: если штрафовать за лишние вызовы инструментов через обычный скалярный reward (accuracy + efficiency), сигналы мешают друг другу. Агрессивный штраф убивает нужные вызовы, слабый — тонет в дисперсии accuracy-reward.
Решение — HDPO (Hierarchical Decoupled Policy Optimization): два отдельных канала обучения. Accuracy-канал оптимизируется на всех траекториях, efficiency-канал — только на правильных ответах. Градиенты смешиваются лишь в финальном лоссе.
Результат: агент Metis использует инструменты лишь в 2% случаев против 98% у базового GRPO — и при этом бьёт все конкуренты по точности. Меньше шума = лучше рассуждения.
https://arxiv.org/abs/2604.08545
Современные мультимодальные агенты страдают от "слепого вызова инструментов": они дёргают внешние API в 80-98% случаев, даже когда задача решается напрямую из картинки. Это медленно, шумно и снижает качество.
Ключевая проблема: если штрафовать за лишние вызовы инструментов через обычный скалярный reward (accuracy + efficiency), сигналы мешают друг другу. Агрессивный штраф убивает нужные вызовы, слабый — тонет в дисперсии accuracy-reward.
Решение — HDPO (Hierarchical Decoupled Policy Optimization): два отдельных канала обучения. Accuracy-канал оптимизируется на всех траекториях, efficiency-канал — только на правильных ответах. Градиенты смешиваются лишь в финальном лоссе.
Результат: агент Metis использует инструменты лишь в 2% случаев против 98% у базового GRPO — и при этом бьёт все конкуренты по точности. Меньше шума = лучше рассуждения.
https://arxiv.org/abs/2604.08545
WildDet3D: универсальный 3D-детектор "в дикой природе" (by Ai2)
Что если один детектор умел бы находить любой объект в 3D — по тексту, клику мышью или 2D-боксу, да ещё и с опциональным LiDAR?
Именно это делает WildDet3D. Авторы из Ai2 построили open-vocabulary детектор, который по одной RGB-картинке (и опциональной глубине) предсказывает 3D-боксы для произвольных категорий. Три ключевые идеи:
1. Dual-encoder: отдельный энкодер для семантики (ViT-H) и отдельный для геометрии (RGBD), объединяемые через depth fusion module.
2. Promptable detector: единый интерфейс для текста, 2D-точек и 2D-боксов.
3. WildDet3D-Data: 1M+ изображений, 13.5K категорий — разметка через автоматические кандидаты + верификация людьми.
Результат: 22.6 AP3D на 700+ категориях против 2.3 AP у конкурентов. Модель запускается на iPhone и интегрирована в Meta Quest.
https://arxiv.org/abs/2604.08626
Что если один детектор умел бы находить любой объект в 3D — по тексту, клику мышью или 2D-боксу, да ещё и с опциональным LiDAR?
Именно это делает WildDet3D. Авторы из Ai2 построили open-vocabulary детектор, который по одной RGB-картинке (и опциональной глубине) предсказывает 3D-боксы для произвольных категорий. Три ключевые идеи:
1. Dual-encoder: отдельный энкодер для семантики (ViT-H) и отдельный для геометрии (RGBD), объединяемые через depth fusion module.
2. Promptable detector: единый интерфейс для текста, 2D-точек и 2D-боксов.
3. WildDet3D-Data: 1M+ изображений, 13.5K категорий — разметка через автоматические кандидаты + верификация людьми.
Результат: 22.6 AP3D на 700+ категориях против 2.3 AP у конкурентов. Модель запускается на iPhone и интегрирована в Meta Quest.
https://arxiv.org/abs/2604.08626
Маленькая VLM как умный компрессор для часовых видео
Проблема длинных видео для мультимодальных LLM простая: тысячи фреймов → миллионы токенов → контекстное окно лопается. Обычные решения либо редко сэмплируют фреймы (и пропускают важные моменты), либо жмут всё равномерно (и теряют детали).
Авторы предлагают Tempo: маленькая VLM (SVLM) сначала "читает" каждый сегмент вместе с запросом пользователя и выдаёт компактные memory tokens. Ключевая фишка — Adaptive Token Allocation (ATA): релевантные сегменты получают 16 токенов/фрейм, скучные фоны сжимаются до 0.5 токена/фрейм. Причём ATA работает без дообучения — просто перехватывает hidden states SVLM для оценки релевантности.
Результат: 6B-модель Tempo набирает 52.3 на LVBench, обгоняя GPT-4o и Gemini 1.5 Pro при в разы меньшем бюджете токенов.
https://arxiv.org/abs/2604.08120
Проблема длинных видео для мультимодальных LLM простая: тысячи фреймов → миллионы токенов → контекстное окно лопается. Обычные решения либо редко сэмплируют фреймы (и пропускают важные моменты), либо жмут всё равномерно (и теряют детали).
Авторы предлагают Tempo: маленькая VLM (SVLM) сначала "читает" каждый сегмент вместе с запросом пользователя и выдаёт компактные memory tokens. Ключевая фишка — Adaptive Token Allocation (ATA): релевантные сегменты получают 16 токенов/фрейм, скучные фоны сжимаются до 0.5 токена/фрейм. Причём ATA работает без дообучения — просто перехватывает hidden states SVLM для оценки релевантности.
Результат: 6B-модель Tempo набирает 52.3 на LVBench, обгоняя GPT-4o и Gemini 1.5 Pro при в разы меньшем бюджете токенов.
https://arxiv.org/abs/2604.08120