AffordanceVLA: робот смотрит на кружку и сразу понимает, за ручку её брать

Главная проблема VLA-моделей — огромная пропасть между "понять картинку" и "двинуть рукой". Авторы из Peking University предлагают заполнить этот gap через affordance — структурированное промежуточное представление, отвечающее на три вопроса: Which2Act (что трогать?), Where2Act (где именно?), How2Act (как взаимодействовать в 3D?).

Архитектура — Mixture-of-Transformers с тремя экспертами: понимание сцены, генерация affordance и управление действием. Обучение в три стадии: сначала grounding, потом синтетические роботизированные данные, потом файнтюн под конкретную задачу.

Ключевая фишка: affordance используется только при обучении как supervision-сигнал, не замедляя инференс. На LIBERO и CALVIN результаты конкурентны с сильными baseline вроде π0.

https://arxiv.org/abs/2606.06155

Можно ли доверить ИИ целую научную статью — от сырых данных до выводов?

ResearchClawBench — новый бенчмарк для оценки автономных научных агентов. Идея простая и жёсткая: дать модели реальные экспериментальные данные и несколько связанных статей, а затем проверить, сможет ли она самостоятельно переоткрыть результаты скрытой целевой публикации.

40 задач из 10 областей: астрономия, химия, физика, нейронауки и др. Оценка — экспертные рубрики по 5 измерениям (глубина, полнота, следование инструкциям и т.д.). Порог в 50 баллов = уровень целевой статьи.

Результат: лучший агент Claude Code набирает лишь 21.5 из 50. Даже если брать лучший результат каждого агента по каждой задаче — фронтир всего 24.6. Нативные LLM без агентного обвеса не лучше: Claude-Opus-4.7 даёт 20.7.

Вывод: современные ИИ-системы ещё очень далеки от надёжного автономного научного открытия.

https://arxiv.org/abs/2606.07591

Latent Spatial Memory для видео-генерации: в 10 раз быстрее и в 55 раз экономнее по памяти (by Microsoft Research)

Современные видео-модели хранят 3D-память как облако точек с RGB-цветами. Проблема: при каждом шаге нужно рендерить пиксели и снова прогонять через VAE-энкодер. Это медленно и накапливает ошибки.

Авторы предложили хранить память прямо в латентном пространстве VAE — без конвертации в пиксели. Каждая точка 3D-сцены хранит не цвет, а латентный токен. При чтении — прямая проекция в латентное пространство, без рендеринга.

На этом построена модель Mirage: инициализация из первого кадра → readout → диффузионная генерация → обновление кэша. По кругу, чанк за чанком.

Результат: до 10.57× ускорение, до 55× меньше GPU-памяти, SOTA на WorldScore.

https://arxiv.org/abs/2606.09828

Как сэкономить 86% GPU-памяти при длинных контекстах, не потеряв точность? (by Tencent)

Ключевое наблюдение: при инференсе с контекстом >64K токенов более 90% запросов можно корректно обработать, используя лишь последние 8K токенов. Значит, огромная часть KV-кэша просто зря занимает GPU-память.

Авторы предлагают Lookahead Sparse Attention (LSA) поверх DeepSeek-V4. Идея: каждые τ шагов (например, 64) лёгкий Neural Memory Indexer предсказывает, какие исторические KV-чанки понадобятся в ближайшем окне, и подгружает только их из CPU в GPU. Остальное спокойно лежит в "холодном" хранилище.

Изюминка — indexer обучается полностью независимо от основной модели (backbone-free), на заранее посчитанных представлениях, за 1 час на одном GPU H20.

Результат: память сокращается до 13.5% от базового уровня (при 500K контексте — до 90%), а точность на LongBench-v2, LongMemEval и RULER даже чуть выше (+0.6%) по сравнению с DeepSeek-V4-Flash.

https://arxiv.org/abs/2606.09079

Nvidia Tech: обучение LLM стало быстрее с NVFP4 на Blackwell

Nvidia представила поддержку формата NVFP4 для предобучения больших языковых моделей через JAX и фреймворк MaxText. Это 4-битная смешанная точность, которая работает на чипах серии Blackwell и Rubin.

Главное: скорость обучения выросла до 1.73x по сравнению с FP8 при практически нулевой потере точности. На моделях Llama 3 8B и Llama 3.1 405B деградация финального лосса не зафиксирована.

Как это работает: NVFP4 применяется к MLP-слоям трансформера, а блоки внимания остаются в более высокой точности — это защищает от шума квантования в softmax. Пять ключевых техник обеспечивают сходимость: микроблочное масштабирование, E4M3 коэффициенты, преобразование Адамара, 2D-масштабирование весов и стохастическое округление.

Для разработчиков: рецепт уже доступен в репозитории JAX-Toolbox, включается одним флагом quantization=te_nvfp4. Это позволяет обучать больше моделей за тот же бюджет вычислений или сокращать время обучения.

https://developer.nvidia.com/blog/train-models-faster-with-jax-and-maxtext-using-nvfp4-on-nvidia-blackwell/

Amazon Science предложила 4 подхода к «заземлению» AI-агентов в реальном мире.

Проблема: агенты нового поколения уже не просто отвечают на вопросы — они действуют в физической среде: на складах, в больницах, на производстве. Галлюцинации здесь опасны буквально — неверный расчёт траектории робота может навредить людям.

Решение — четыре метода:
1. Физически обоснованное обучение — модель знает законы физики ещё на этапе претрейнинга и не нарушает их.
2. Калиброванная неопределённость — агент понимает, когда не уверен, и сам запрашивает помощь человека. Ошибка калибровки снижается на 25%.
3. Фреймворк AWL — мост между языком и математикой: агент обращается к симуляторам при сложных задачах. Точность выросла на 29% по сравнению с GPT-4o и Claude 3.5.
4. Формальная верификация — внешний софт проверяет логику выводов в реальном времени.

Всё это уже применяется в Project Eluna — агенте для управления складами Amazon.

https://www.amazon.science/blog/real-world-grounding-in-agentic-ai

Amazon Science: как сделать ИИ-агентов надёжнее

Исследователи Amazon выявили ключевую проблему агентных систем — intent-execution gap: разрыв между тем, что модель хочет сделать, и тем, что реально выполняет система-обвязка (harness).

Проще говоря: агент хочет исправить одну строку кода, а harness меняет все похожие строки в проекте. Итог — баги вместо фикса.

Чтобы решить это, Amazon выпустила Simple Strands Agent (SSA) — лёгкий open-source harness с тремя ключевыми принципами: умное сжатие длинных логов вместо грубой обрезки, защита от неоднозначных замен текста и обратная связь через diff-файлы.

SSA показал стабильный прирост на бенчмарках SWE-Pro, SWE-Verified и Terminal-Bench2 — причём без тонкой настройки под конкретные задачи.

Главный вывод: производительность агентов — это не только качество модели, но и качество инфраструктуры вокруг неё. Весь код открыт для воспроизведения.

https://www.amazon.science/blog/bridging-intent-and-execution-in-agentic-systems

MemDreamer: как смотреть часовые видео, не загружая их целиком в контекст

Главная боль с длинными видео — это token explosion: 2 часа при 1 FPS = 1.6M токенов. Ни одна модель столько не переварит нормально. MemDreamer решает это радикально: разделяет восприятие и рассуждение.

Идея: сначала perception-модель стримит видео и строит иерархическую граф-память (три уровня: глобальный сюжет → сцены → микро-события с каузальными связями). Потом reasoning-модель работает ТОЛЬКО с этим текстовым графом через агентский инструментарий — навигация по иерархии, поиск узлов, обход рёбер графа.

Результат: +12.5 пунктов над end-to-end подходами при использовании лишь 2% контекстного окна. До уровня эксперта-человека остаётся 3.7 пункта на часовых бенчмарках.

Бонус-находка: авторы обнаружили сильную корреляцию между агентскими способностями модели и качеством понимания длинных видео — то есть качать надо агентику, а не контекст.

https://arxiv.org/abs/2606.07512

Retrospective Harness Optimization: агент улучшает себя без разметки (by Microsoft Research)

Обычно агентские системы улучшают свой «harness» (инструменты, промпты, скиллы) через валидационный сет с разметкой. Но что, если разметки нет, а есть только прошлые траектории?

Метод RHO делает это в три шага:
1. Coreset Selection — отбирает сложные и разнообразные задачи из прошлых траекторий через DPP
2. Group Rollout — прогоняет каждую задачу G раз, извлекая сигналы self-validation (ошибки внутри траектории) и self-consistency (расхождения между запусками)
3. Best-of-N Harness Proposal — генерирует N кандидатов нового harness и выбирает лучший через попарное self-preference агента

Никаких ground-truth меток! Один проход — и harness обновлён.

Результат: на SWE-Bench Pro pass rate вырос с 59% до 78% без единой размеченной задачи.

https://arxiv.org/abs/2606.05922

Разные LLM вместе ищут лучше, чем одна мощная (by Gensyn)

Что если запустить эволюционный поиск не на одной языковой модели, а на нескольких разных одновременно?

Авторы из Gensyn построили систему DEI: несколько LLM параллельно эволюционируют решения в задаче Core War (программы-воины сражаются в виртуальной памяти). Каждая модель — отдельный узел со своими "инстинктами": одна любит компактный код, другая — агрессивное сканирование памяти. Узлы асинхронно обмениваются лучшими решениями-чемпионами, не дожидаясь друг друга.

Ключевой результат: при одинаковом бюджете вычислений гетерогенный ансамбль (разные LLM) покрывает больше поведенческого пространства и находит более общие решения, чем 4 копии одной модели. Разнообразие моделей — не просто больше случайности, а принципиально разные "точки зрения" на задачу.

https://arxiv.org/abs/2605.27130

Google DeepMind выпустил Gemini 3.5 Live Translate — модель для голосового перевода в реальном времени.

Модель поддерживает 70+ языков и переводит речь практически без задержки, сохраняя интонацию, темп и тон голоса говорящего. В отличие от старых систем, которые ждут паузы в речи, 3.5 Live Translate генерирует перевод непрерывно, отставая от спикера всего на несколько секунд.

Где уже доступно: в приложении Google Translate на Android и iOS, для разработчиков через Gemini Live API и Google AI Studio, а также в Google Meet для корпоративных клиентов в закрытом тестировании.

Особенно интересна функция listening mode для Android: держишь телефон у уха, как при звонке, и слышишь перевод прямо через динамик — без наушников и лишнего шума для окружающих.

Весь сгенерированный аудио маркируется невидимым водяным знаком SynthID для защиты от дипфейков.

https://deepmind.google/blog/fluid-natural-voice-translation-with-gemini-35-live-translate/

Google DeepMind выпустила Gemma 4 12B — новую открытую мультимодальную модель, которая помещается на обычном ноутбуке.

Главная фишка — архитектура без отдельных энкодеров. Изображения и аудио обрабатываются прямо в основной языковой модели, без промежуточных блоков. Это снижает задержку и экономит память.

Что важно для пользователей:
— Запускается локально при 16 ГБ VRAM или unified memory
— Понимает текст, картинки и аудио одновременно
— По качеству рассуждений почти догоняет 26B MoE-модель
— Лицензия Apache 2.0 — можно использовать свободно
— Поддерживается в Ollama, LM Studio, llama.cpp, MLX и других инструментах

Модель уже доступна на Hugging Face и Kaggle. Серия Gemma 4 преодолела 150 миллионов загрузок.

https://deepmind.google/blog/introducing-gemma-4-12b-a-unified-encoder-free-multimodal-model/

Nvidia Tech обновила инструментарий для квантизации моделей.

Инженеры показали полный пайплайн: берёшь FP8-чекпоинт CLIP, экспортируешь через ModelOpt в ONNX, компилируешь в TensorRT-движок — и получаешь модель, готовую к продакшену.

Что даёт FP8 против FP16: файлы текстового энкодера уменьшаются на 34%, а визуального — на 50%. Скорость инференса на GPU RTX 6000 Ada вырастает в 1.39–1.45 раза. TensorRT при сборке движка сливает Q/DQ-узлы с соседними слоями и гоняет вычисления напрямую на FP8 Tensor Cores.

Почему важно: меньше VRAM, выше пропускная способность, быстрее ответ. Для компаний, которые деплоят embedding-модели в масштабе, это прямая экономия на железе без потери качества.

https://developer.nvidia.com/blog/model-quantization-turn-fp8-checkpoints-into-high-performance-inference-engines-with-nvidia-tensorrt/

Kwai Keye-VL-2.0: как смотреть видео в 256K токенов без взрыва памяти (by Kwai)

Главная боль мультимодальных моделей на длинных видео — KV-кэш растёт линейно и всё взрывается. Kwai выкатили Keye-VL-2.0-30B-A3B с двумя ключевыми решениями.

1. Multimodal DSA (Sparse Attention): вместо плотного attention применяют разреженную агрегацию видео-фич. Это позволяет обрабатывать контексты до 256K токенов без агрессивного прореживания кадров. Основа — MoE 30B с лишь 3B активных параметров.

2. Cross-Modal MOPD (Multi-Teacher On-Policy Distillation): при дообучении на агентных задачах модели обычно "забывают" математику и логику. Решение — несколько специализированных учителей дают токен-уровневую обратную связь по своим модальностям, а знания вливаются обратно в единый MoE-бэкбон.

Результат: топ на temporal grounding бенчмарках, обходит Gemini-3-Flash на ряде задач. Модель открытая.

https://arxiv.org/abs/2606.10651

InternVideo3: видеомодель, которая не отвечает с первого раза, а рассуждает итеративно

Большинство видеомоделей работают по схеме "посмотрел — ответил". Но что если видео длинное, нужно искать улики, переспрашивать инструменты и уточнять выводы? InternVideo3 вводит Multimodal Contextual Reasoning (MCR) — подход, где модель итеративно наблюдает, рассуждает, вызывает инструменты и обновляет контекст, как агент.

Главная техническая проблема: при длинных роллаутах KV-кэш раздувается до неприличных размеров. Решение — M2LA (Multimodal Multi-head Latent Attention), сжимающий KV-состояния без выбрасывания токенов.

Обучение: continued pretraining после замены attention, SFT с курсом short→long, rule-based RL на верифицируемых задачах, on-policy дистилляция от сильного учителя.

Результат — сильные цифры на Video-MME, MLVU, EgoSchema. Плюс рабочий видео-агент с retrieval и верификацией.

https://arxiv.org/abs/2606.12195

Дистилляция LLM через скрытые состояния, а не логиты — и это работает лучше

Стандартный on-policy distillation (OPD) обучает студента, сравнивая распределения токенов с учителем. Проблема: на поздних стадиях обучения сигнал тонет в шуме (один сэмпл из словаря в 150K токенов — плохая оценка), а LM-голова выбрасывает огромную часть информации о том, *как* учитель думал.

OPRD предлагает простой сдвиг: вместо сравнения выходных распределений — выровнять скрытые представления студента и учителя на промежуточных слоях через MSE. Никаких логитов, никакого словаря в лоссе.

Результат на одном и том же железе (8×A100):
- +2.7 балла на AIME24 vs лучшего OPD-baseline
- 1.44× быстрее обучение
- 54% меньше пиковой памяти

Метод строго Парето-доминирует все output-space варианты сразу по трём осям. Плюс легко компонуется с любым существующим OPD — просто добавляется к лоссу.

https://arxiv.org/abs/2606.06021

Google DeepMind выпустила DiffusionGemma — экспериментальную модель, которая генерирует текст в 4 раза быстрее обычных LLM.

Главная идея: вместо того чтобы выдавать токены по одному (как печатная машинка), модель сразу генерирует блок из 256 токенов параллельно. На NVIDIA H100 это даёт 1000+ токенов в секунду, на RTX 5090 — 700+.

Модель весит 26B параметров (MoE), но при инференсе активирует только 3.8B — влезает в 18 ГБ VRAM на потребительских GPU. Лицензия Apache 2.0, веса уже на Hugging Face.

Для чего это полезно: инлайн-редактирование кода, быстрые итерации, заполнение пропусков в тексте. Двунаправленное внимание позволяет решать задачи, где токены зависят от будущего контекста — например, судоку.

Важный нюанс: качество ниже, чем у стандартной Gemma 4. Google рекомендует использовать DiffusionGemma для исследований и локальных сценариев, где критична скорость, а не точность.

https://deepmind.google/blog/diffusiongemma-4x-faster-text-generation/

NVIDIA + Google DeepMind: DiffusionGemma теперь работает на железе NVIDIA

Google DeepMind выпустила DiffusionGemma — модель, которая генерирует текст принципиально иначе: не токен за токеном, а сразу 256 токенов параллельно за один шаг. NVIDIA оптимизировала её под своё оборудование.

Скорость впечатляет: до 1000 токенов/сек на H100, до 2000 на DGX Station. Это в разы быстрее классических авторегрессионных моделей — значит, дешевле в обслуживании и отзывчивее для пользователей.

Модель доступна уже сейчас: через Hugging Face (BF16 и NVFP4), NVIDIA NIM для продакшн-деплоя и NeMo AutoModel для файнтюнинга. Работает на H100, DGX Spark, DGX Station и RTX-картах. Протестировать бесплатно можно на build.nvidia.com.

Актуально для всех, кто строит чат-ботов, копайлоты и агентные системы — там, где скорость ответа критична.

https://developer.nvidia.com/blog/run-diffusiongemma-on-nvidia-for-developer-ready-high-throughput-text-generation/

Nvidia Tech — автоматизация исследований федеративного обучения с помощью ИИ-агентов

NVIDIA выпустила Auto-FL — инструмент в составе фреймворка FLARE, который превращает рутину FL-исследований в управляемый автоматический цикл.

Что делает Auto-FL: ИИ-агент самостоятельно предлагает изменения в стратегиях федеративного обучения (FedAvg, SCAFFOLD, FedProx и др.), запускает эксперименты, фиксирует результаты в таблице и решает — оставить идею, сузить или выбросить. Если прогресс застопорился, агент обращается к научной литературе и предлагает новые направления.

Почему важно: FL-исследования страдают от нечестных сравнений — агент может улучшить метрику, незаметно изменив условия эксперимента. Auto-FL фиксирует «контракт» между сервером и клиентами, ограничивает зону мутаций и ведёт воспроизводимый лог всех запусков.

Для исследователей это означает: больше идей протестировано за то же время, меньше ручной работы, а все результаты сопоставимы и задокументированы.

https://developer.nvidia.com/blog/accelerating-federated-learning-research-with-ai-agents-and-nvidia-flare-auto-fl/

MaxProof: эволюционный поиск математических доказательств (by MiniMax)

Как надёжно решать задачи IMO уровня золотой медали? Авторы из MiniMax обучили три специализированных эксперта: генератор доказательств (RL с многослойным верификатором), верификатор ошибок (не "оцени от 0 до 7", а "найди конкретную ошибку"), и фиксер (чинит доказательство по критике).

Главный урок из предыдущего цикла M2: длинный RL с одним судьёй-верификатором почти гарантированно заканчивается reward hacking, а не реальным прогрессом. Они задокументировали 4 паттерна взлома наград и построили защиту от каждого.

Изюминка — MaxProof: эволюционный поиск во время инференса. Популяция кандидатов, верификатор как фитнес-функция, два режима улучшения (PATCH и REWRITE), турнирный финальный отбор. Результат: 35/42 на IMO 2025 и 36/42 на USAMO 2026.

https://arxiv.org/abs/2606.13473

MiniMax Sparse Attention (by MiniMax)

Квадратичная сложность внимания убивает длинные контексты. MiniMax предлагают MSA — разреженное внимание с двумя ветками: лёгкая Index Branch выбирает топ-k блоков токенов через max-pooling, а Main Branch считает softmax только по выбранным блокам. Вместо O(N) на запрос получаем O(k·Bk) — константа при росте контекста.

Обучают через KL-лосс: индексер учится предсказывать паттерны внимания главной ветки. Градиенты между ветками разделены — чистый сигнал без интерференции.

Результат на 109B MoE-модели, обученной с нуля на 3T токенах: MSA не уступает полному GQA на бенчмарках, но при контексте 1M токенов даёт ускорение prefill в 14.2× и decoding в 7.6×.

https://arxiv.org/abs/2606.13392