Retrospective Harness Optimization: агент улучшает себя без разметки (by Microsoft Research)
Обычно агентские системы улучшают свой «harness» (инструменты, промпты, скиллы) через валидационный сет с разметкой. Но что, если разметки нет, а есть только прошлые траектории?
Метод RHO делает это в три шага:
1. Coreset Selection — отбирает сложные и разнообразные задачи из прошлых траекторий через DPP
2. Group Rollout — прогоняет каждую задачу G раз, извлекая сигналы self-validation (ошибки внутри траектории) и self-consistency (расхождения между запусками)
3. Best-of-N Harness Proposal — генерирует N кандидатов нового harness и выбирает лучший через попарное self-preference агента
Никаких ground-truth меток! Один проход — и harness обновлён.
Результат: на SWE-Bench Pro pass rate вырос с 59% до 78% без единой размеченной задачи.
https://arxiv.org/abs/2606.05922
Обычно агентские системы улучшают свой «harness» (инструменты, промпты, скиллы) через валидационный сет с разметкой. Но что, если разметки нет, а есть только прошлые траектории?
Метод RHO делает это в три шага:
1. Coreset Selection — отбирает сложные и разнообразные задачи из прошлых траекторий через DPP
2. Group Rollout — прогоняет каждую задачу G раз, извлекая сигналы self-validation (ошибки внутри траектории) и self-consistency (расхождения между запусками)
3. Best-of-N Harness Proposal — генерирует N кандидатов нового harness и выбирает лучший через попарное self-preference агента
Никаких ground-truth меток! Один проход — и harness обновлён.
Результат: на SWE-Bench Pro pass rate вырос с 59% до 78% без единой размеченной задачи.
https://arxiv.org/abs/2606.05922
Разные LLM вместе ищут лучше, чем одна мощная (by Gensyn)
Что если запустить эволюционный поиск не на одной языковой модели, а на нескольких разных одновременно?
Авторы из Gensyn построили систему DEI: несколько LLM параллельно эволюционируют решения в задаче Core War (программы-воины сражаются в виртуальной памяти). Каждая модель — отдельный узел со своими "инстинктами": одна любит компактный код, другая — агрессивное сканирование памяти. Узлы асинхронно обмениваются лучшими решениями-чемпионами, не дожидаясь друг друга.
Ключевой результат: при одинаковом бюджете вычислений гетерогенный ансамбль (разные LLM) покрывает больше поведенческого пространства и находит более общие решения, чем 4 копии одной модели. Разнообразие моделей — не просто больше случайности, а принципиально разные "точки зрения" на задачу.
https://arxiv.org/abs/2605.27130
Что если запустить эволюционный поиск не на одной языковой модели, а на нескольких разных одновременно?
Авторы из Gensyn построили систему DEI: несколько LLM параллельно эволюционируют решения в задаче Core War (программы-воины сражаются в виртуальной памяти). Каждая модель — отдельный узел со своими "инстинктами": одна любит компактный код, другая — агрессивное сканирование памяти. Узлы асинхронно обмениваются лучшими решениями-чемпионами, не дожидаясь друг друга.
Ключевой результат: при одинаковом бюджете вычислений гетерогенный ансамбль (разные LLM) покрывает больше поведенческого пространства и находит более общие решения, чем 4 копии одной модели. Разнообразие моделей — не просто больше случайности, а принципиально разные "точки зрения" на задачу.
https://arxiv.org/abs/2605.27130
Google DeepMind выпустил Gemini 3.5 Live Translate — модель для голосового перевода в реальном времени.
Модель поддерживает 70+ языков и переводит речь практически без задержки, сохраняя интонацию, темп и тон голоса говорящего. В отличие от старых систем, которые ждут паузы в речи, 3.5 Live Translate генерирует перевод непрерывно, отставая от спикера всего на несколько секунд.
Где уже доступно: в приложении Google Translate на Android и iOS, для разработчиков через Gemini Live API и Google AI Studio, а также в Google Meet для корпоративных клиентов в закрытом тестировании.
Особенно интересна функция listening mode для Android: держишь телефон у уха, как при звонке, и слышишь перевод прямо через динамик — без наушников и лишнего шума для окружающих.
Весь сгенерированный аудио маркируется невидимым водяным знаком SynthID для защиты от дипфейков.
https://deepmind.google/blog/fluid-natural-voice-translation-with-gemini-35-live-translate/
Модель поддерживает 70+ языков и переводит речь практически без задержки, сохраняя интонацию, темп и тон голоса говорящего. В отличие от старых систем, которые ждут паузы в речи, 3.5 Live Translate генерирует перевод непрерывно, отставая от спикера всего на несколько секунд.
Где уже доступно: в приложении Google Translate на Android и iOS, для разработчиков через Gemini Live API и Google AI Studio, а также в Google Meet для корпоративных клиентов в закрытом тестировании.
Особенно интересна функция listening mode для Android: держишь телефон у уха, как при звонке, и слышишь перевод прямо через динамик — без наушников и лишнего шума для окружающих.
Весь сгенерированный аудио маркируется невидимым водяным знаком SynthID для защиты от дипфейков.
https://deepmind.google/blog/fluid-natural-voice-translation-with-gemini-35-live-translate/
Google
Fluid, natural voice translation with Gemini 3.5 Live Translate
Gemini 3.5 Live Translate brings near real-time, natural speech translation to Google AI Studio, Google Translate and Google Meet.
Google DeepMind выпустила Gemma 4 12B — новую открытую мультимодальную модель, которая помещается на обычном ноутбуке.
Главная фишка — архитектура без отдельных энкодеров. Изображения и аудио обрабатываются прямо в основной языковой модели, без промежуточных блоков. Это снижает задержку и экономит память.
Что важно для пользователей:
— Запускается локально при 16 ГБ VRAM или unified memory
— Понимает текст, картинки и аудио одновременно
— По качеству рассуждений почти догоняет 26B MoE-модель
— Лицензия Apache 2.0 — можно использовать свободно
— Поддерживается в Ollama, LM Studio, llama.cpp, MLX и других инструментах
Модель уже доступна на Hugging Face и Kaggle. Серия Gemma 4 преодолела 150 миллионов загрузок.
https://deepmind.google/blog/introducing-gemma-4-12b-a-unified-encoder-free-multimodal-model/
Главная фишка — архитектура без отдельных энкодеров. Изображения и аудио обрабатываются прямо в основной языковой модели, без промежуточных блоков. Это снижает задержку и экономит память.
Что важно для пользователей:
— Запускается локально при 16 ГБ VRAM или unified memory
— Понимает текст, картинки и аудио одновременно
— По качеству рассуждений почти догоняет 26B MoE-модель
— Лицензия Apache 2.0 — можно использовать свободно
— Поддерживается в Ollama, LM Studio, llama.cpp, MLX и других инструментах
Модель уже доступна на Hugging Face и Kaggle. Серия Gemma 4 преодолела 150 миллионов загрузок.
https://deepmind.google/blog/introducing-gemma-4-12b-a-unified-encoder-free-multimodal-model/
Google
Introducing Gemma 4 12B: a unified, encoder-free multimodal model
An overview of Gemma 4 12B, a model designed to bring high-performance multimodal intelligence directly to your laptop.
Nvidia Tech обновила инструментарий для квантизации моделей.
Инженеры показали полный пайплайн: берёшь FP8-чекпоинт CLIP, экспортируешь через ModelOpt в ONNX, компилируешь в TensorRT-движок — и получаешь модель, готовую к продакшену.
Что даёт FP8 против FP16: файлы текстового энкодера уменьшаются на 34%, а визуального — на 50%. Скорость инференса на GPU RTX 6000 Ada вырастает в 1.39–1.45 раза. TensorRT при сборке движка сливает Q/DQ-узлы с соседними слоями и гоняет вычисления напрямую на FP8 Tensor Cores.
Почему важно: меньше VRAM, выше пропускная способность, быстрее ответ. Для компаний, которые деплоят embedding-модели в масштабе, это прямая экономия на железе без потери качества.
https://developer.nvidia.com/blog/model-quantization-turn-fp8-checkpoints-into-high-performance-inference-engines-with-nvidia-tensorrt/
Инженеры показали полный пайплайн: берёшь FP8-чекпоинт CLIP, экспортируешь через ModelOpt в ONNX, компилируешь в TensorRT-движок — и получаешь модель, готовую к продакшену.
Что даёт FP8 против FP16: файлы текстового энкодера уменьшаются на 34%, а визуального — на 50%. Скорость инференса на GPU RTX 6000 Ada вырастает в 1.39–1.45 раза. TensorRT при сборке движка сливает Q/DQ-узлы с соседними слоями и гоняет вычисления напрямую на FP8 Tensor Cores.
Почему важно: меньше VRAM, выше пропускная способность, быстрее ответ. Для компаний, которые деплоят embedding-модели в масштабе, это прямая экономия на железе без потери качества.
https://developer.nvidia.com/blog/model-quantization-turn-fp8-checkpoints-into-high-performance-inference-engines-with-nvidia-tensorrt/
NVIDIA Technical Blog
Model Quantization: Turn FP8 Checkpoints into High-Performance Inference Engines with NVIDIA TensorRT
Converting a quantized checkpoint into an NVIDIA TensorRT engine bridges the gap between model optimization and production deployment, enabling faster inference, higher throughput…
Kwai Keye-VL-2.0: как смотреть видео в 256K токенов без взрыва памяти (by Kwai)
Главная боль мультимодальных моделей на длинных видео — KV-кэш растёт линейно и всё взрывается. Kwai выкатили Keye-VL-2.0-30B-A3B с двумя ключевыми решениями.
1. Multimodal DSA (Sparse Attention): вместо плотного attention применяют разреженную агрегацию видео-фич. Это позволяет обрабатывать контексты до 256K токенов без агрессивного прореживания кадров. Основа — MoE 30B с лишь 3B активных параметров.
2. Cross-Modal MOPD (Multi-Teacher On-Policy Distillation): при дообучении на агентных задачах модели обычно "забывают" математику и логику. Решение — несколько специализированных учителей дают токен-уровневую обратную связь по своим модальностям, а знания вливаются обратно в единый MoE-бэкбон.
Результат: топ на temporal grounding бенчмарках, обходит Gemini-3-Flash на ряде задач. Модель открытая.
https://arxiv.org/abs/2606.10651
Главная боль мультимодальных моделей на длинных видео — KV-кэш растёт линейно и всё взрывается. Kwai выкатили Keye-VL-2.0-30B-A3B с двумя ключевыми решениями.
1. Multimodal DSA (Sparse Attention): вместо плотного attention применяют разреженную агрегацию видео-фич. Это позволяет обрабатывать контексты до 256K токенов без агрессивного прореживания кадров. Основа — MoE 30B с лишь 3B активных параметров.
2. Cross-Modal MOPD (Multi-Teacher On-Policy Distillation): при дообучении на агентных задачах модели обычно "забывают" математику и логику. Решение — несколько специализированных учителей дают токен-уровневую обратную связь по своим модальностям, а знания вливаются обратно в единый MoE-бэкбон.
Результат: топ на temporal grounding бенчмарках, обходит Gemini-3-Flash на ряде задач. Модель открытая.
https://arxiv.org/abs/2606.10651
InternVideo3: видеомодель, которая не отвечает с первого раза, а рассуждает итеративно
Большинство видеомоделей работают по схеме "посмотрел — ответил". Но что если видео длинное, нужно искать улики, переспрашивать инструменты и уточнять выводы? InternVideo3 вводит Multimodal Contextual Reasoning (MCR) — подход, где модель итеративно наблюдает, рассуждает, вызывает инструменты и обновляет контекст, как агент.
Главная техническая проблема: при длинных роллаутах KV-кэш раздувается до неприличных размеров. Решение — M2LA (Multimodal Multi-head Latent Attention), сжимающий KV-состояния без выбрасывания токенов.
Обучение: continued pretraining после замены attention, SFT с курсом short→long, rule-based RL на верифицируемых задачах, on-policy дистилляция от сильного учителя.
Результат — сильные цифры на Video-MME, MLVU, EgoSchema. Плюс рабочий видео-агент с retrieval и верификацией.
https://arxiv.org/abs/2606.12195
Большинство видеомоделей работают по схеме "посмотрел — ответил". Но что если видео длинное, нужно искать улики, переспрашивать инструменты и уточнять выводы? InternVideo3 вводит Multimodal Contextual Reasoning (MCR) — подход, где модель итеративно наблюдает, рассуждает, вызывает инструменты и обновляет контекст, как агент.
Главная техническая проблема: при длинных роллаутах KV-кэш раздувается до неприличных размеров. Решение — M2LA (Multimodal Multi-head Latent Attention), сжимающий KV-состояния без выбрасывания токенов.
Обучение: continued pretraining после замены attention, SFT с курсом short→long, rule-based RL на верифицируемых задачах, on-policy дистилляция от сильного учителя.
Результат — сильные цифры на Video-MME, MLVU, EgoSchema. Плюс рабочий видео-агент с retrieval и верификацией.
https://arxiv.org/abs/2606.12195
Дистилляция LLM через скрытые состояния, а не логиты — и это работает лучше
Стандартный on-policy distillation (OPD) обучает студента, сравнивая распределения токенов с учителем. Проблема: на поздних стадиях обучения сигнал тонет в шуме (один сэмпл из словаря в 150K токенов — плохая оценка), а LM-голова выбрасывает огромную часть информации о том, *как* учитель думал.
OPRD предлагает простой сдвиг: вместо сравнения выходных распределений — выровнять скрытые представления студента и учителя на промежуточных слоях через MSE. Никаких логитов, никакого словаря в лоссе.
Результат на одном и том же железе (8×A100):
- +2.7 балла на AIME24 vs лучшего OPD-baseline
- 1.44× быстрее обучение
- 54% меньше пиковой памяти
Метод строго Парето-доминирует все output-space варианты сразу по трём осям. Плюс легко компонуется с любым существующим OPD — просто добавляется к лоссу.
https://arxiv.org/abs/2606.06021
Стандартный on-policy distillation (OPD) обучает студента, сравнивая распределения токенов с учителем. Проблема: на поздних стадиях обучения сигнал тонет в шуме (один сэмпл из словаря в 150K токенов — плохая оценка), а LM-голова выбрасывает огромную часть информации о том, *как* учитель думал.
OPRD предлагает простой сдвиг: вместо сравнения выходных распределений — выровнять скрытые представления студента и учителя на промежуточных слоях через MSE. Никаких логитов, никакого словаря в лоссе.
Результат на одном и том же железе (8×A100):
- +2.7 балла на AIME24 vs лучшего OPD-baseline
- 1.44× быстрее обучение
- 54% меньше пиковой памяти
Метод строго Парето-доминирует все output-space варианты сразу по трём осям. Плюс легко компонуется с любым существующим OPD — просто добавляется к лоссу.
https://arxiv.org/abs/2606.06021
Google DeepMind выпустила DiffusionGemma — экспериментальную модель, которая генерирует текст в 4 раза быстрее обычных LLM.
Главная идея: вместо того чтобы выдавать токены по одному (как печатная машинка), модель сразу генерирует блок из 256 токенов параллельно. На NVIDIA H100 это даёт 1000+ токенов в секунду, на RTX 5090 — 700+.
Модель весит 26B параметров (MoE), но при инференсе активирует только 3.8B — влезает в 18 ГБ VRAM на потребительских GPU. Лицензия Apache 2.0, веса уже на Hugging Face.
Для чего это полезно: инлайн-редактирование кода, быстрые итерации, заполнение пропусков в тексте. Двунаправленное внимание позволяет решать задачи, где токены зависят от будущего контекста — например, судоку.
Важный нюанс: качество ниже, чем у стандартной Gemma 4. Google рекомендует использовать DiffusionGemma для исследований и локальных сценариев, где критична скорость, а не точность.
https://deepmind.google/blog/diffusiongemma-4x-faster-text-generation/
Главная идея: вместо того чтобы выдавать токены по одному (как печатная машинка), модель сразу генерирует блок из 256 токенов параллельно. На NVIDIA H100 это даёт 1000+ токенов в секунду, на RTX 5090 — 700+.
Модель весит 26B параметров (MoE), но при инференсе активирует только 3.8B — влезает в 18 ГБ VRAM на потребительских GPU. Лицензия Apache 2.0, веса уже на Hugging Face.
Для чего это полезно: инлайн-редактирование кода, быстрые итерации, заполнение пропусков в тексте. Двунаправленное внимание позволяет решать задачи, где токены зависят от будущего контекста — например, судоку.
Важный нюанс: качество ниже, чем у стандартной Gemma 4. Google рекомендует использовать DiffusionGemma для исследований и локальных сценариев, где критична скорость, а не точность.
https://deepmind.google/blog/diffusiongemma-4x-faster-text-generation/
Google
DiffusionGemma: 4x faster text generation
An overview of DiffusionGemma, an exceptionally fast text generation model with up to 4x faster speeds.
NVIDIA + Google DeepMind: DiffusionGemma теперь работает на железе NVIDIA
Google DeepMind выпустила DiffusionGemma — модель, которая генерирует текст принципиально иначе: не токен за токеном, а сразу 256 токенов параллельно за один шаг. NVIDIA оптимизировала её под своё оборудование.
Скорость впечатляет: до 1000 токенов/сек на H100, до 2000 на DGX Station. Это в разы быстрее классических авторегрессионных моделей — значит, дешевле в обслуживании и отзывчивее для пользователей.
Модель доступна уже сейчас: через Hugging Face (BF16 и NVFP4), NVIDIA NIM для продакшн-деплоя и NeMo AutoModel для файнтюнинга. Работает на H100, DGX Spark, DGX Station и RTX-картах. Протестировать бесплатно можно на build.nvidia.com.
Актуально для всех, кто строит чат-ботов, копайлоты и агентные системы — там, где скорость ответа критична.
https://developer.nvidia.com/blog/run-diffusiongemma-on-nvidia-for-developer-ready-high-throughput-text-generation/
Google DeepMind выпустила DiffusionGemma — модель, которая генерирует текст принципиально иначе: не токен за токеном, а сразу 256 токенов параллельно за один шаг. NVIDIA оптимизировала её под своё оборудование.
Скорость впечатляет: до 1000 токенов/сек на H100, до 2000 на DGX Station. Это в разы быстрее классических авторегрессионных моделей — значит, дешевле в обслуживании и отзывчивее для пользователей.
Модель доступна уже сейчас: через Hugging Face (BF16 и NVFP4), NVIDIA NIM для продакшн-деплоя и NeMo AutoModel для файнтюнинга. Работает на H100, DGX Spark, DGX Station и RTX-картах. Протестировать бесплатно можно на build.nvidia.com.
Актуально для всех, кто строит чат-ботов, копайлоты и агентные системы — там, где скорость ответа критична.
https://developer.nvidia.com/blog/run-diffusiongemma-on-nvidia-for-developer-ready-high-throughput-text-generation/
NVIDIA Technical Blog
Run DiffusionGemma on NVIDIA for Developer-Ready, High-Throughput Text Generation
Developers building real-time AI—such as chat assistants, copilots, and agentic workflows—are often constrained by token-by-token generation speed. This limits responsiveness, increases serving costs…
Nvidia Tech — автоматизация исследований федеративного обучения с помощью ИИ-агентов
NVIDIA выпустила Auto-FL — инструмент в составе фреймворка FLARE, который превращает рутину FL-исследований в управляемый автоматический цикл.
Что делает Auto-FL: ИИ-агент самостоятельно предлагает изменения в стратегиях федеративного обучения (FedAvg, SCAFFOLD, FedProx и др.), запускает эксперименты, фиксирует результаты в таблице и решает — оставить идею, сузить или выбросить. Если прогресс застопорился, агент обращается к научной литературе и предлагает новые направления.
Почему важно: FL-исследования страдают от нечестных сравнений — агент может улучшить метрику, незаметно изменив условия эксперимента. Auto-FL фиксирует «контракт» между сервером и клиентами, ограничивает зону мутаций и ведёт воспроизводимый лог всех запусков.
Для исследователей это означает: больше идей протестировано за то же время, меньше ручной работы, а все результаты сопоставимы и задокументированы.
https://developer.nvidia.com/blog/accelerating-federated-learning-research-with-ai-agents-and-nvidia-flare-auto-fl/
NVIDIA выпустила Auto-FL — инструмент в составе фреймворка FLARE, который превращает рутину FL-исследований в управляемый автоматический цикл.
Что делает Auto-FL: ИИ-агент самостоятельно предлагает изменения в стратегиях федеративного обучения (FedAvg, SCAFFOLD, FedProx и др.), запускает эксперименты, фиксирует результаты в таблице и решает — оставить идею, сузить или выбросить. Если прогресс застопорился, агент обращается к научной литературе и предлагает новые направления.
Почему важно: FL-исследования страдают от нечестных сравнений — агент может улучшить метрику, незаметно изменив условия эксперимента. Auto-FL фиксирует «контракт» между сервером и клиентами, ограничивает зону мутаций и ведёт воспроизводимый лог всех запусков.
Для исследователей это означает: больше идей протестировано за то же время, меньше ручной работы, а все результаты сопоставимы и задокументированы.
https://developer.nvidia.com/blog/accelerating-federated-learning-research-with-ai-agents-and-nvidia-flare-auto-fl/
NVIDIA Technical Blog
Accelerating Federated Learning Research with AI Agents and NVIDIA FLARE Auto-FL
Federated learning (FL) research often begins with a deceptively simple question: What should we try next? A new aggregation rule, a FedProx coefficient, a server optimizer setting, a SCAFFOLD variant…
MaxProof: эволюционный поиск математических доказательств (by MiniMax)
Как надёжно решать задачи IMO уровня золотой медали? Авторы из MiniMax обучили три специализированных эксперта: генератор доказательств (RL с многослойным верификатором), верификатор ошибок (не "оцени от 0 до 7", а "найди конкретную ошибку"), и фиксер (чинит доказательство по критике).
Главный урок из предыдущего цикла M2: длинный RL с одним судьёй-верификатором почти гарантированно заканчивается reward hacking, а не реальным прогрессом. Они задокументировали 4 паттерна взлома наград и построили защиту от каждого.
Изюминка — MaxProof: эволюционный поиск во время инференса. Популяция кандидатов, верификатор как фитнес-функция, два режима улучшения (PATCH и REWRITE), турнирный финальный отбор. Результат: 35/42 на IMO 2025 и 36/42 на USAMO 2026.
https://arxiv.org/abs/2606.13473
Как надёжно решать задачи IMO уровня золотой медали? Авторы из MiniMax обучили три специализированных эксперта: генератор доказательств (RL с многослойным верификатором), верификатор ошибок (не "оцени от 0 до 7", а "найди конкретную ошибку"), и фиксер (чинит доказательство по критике).
Главный урок из предыдущего цикла M2: длинный RL с одним судьёй-верификатором почти гарантированно заканчивается reward hacking, а не реальным прогрессом. Они задокументировали 4 паттерна взлома наград и построили защиту от каждого.
Изюминка — MaxProof: эволюционный поиск во время инференса. Популяция кандидатов, верификатор как фитнес-функция, два режима улучшения (PATCH и REWRITE), турнирный финальный отбор. Результат: 35/42 на IMO 2025 и 36/42 на USAMO 2026.
https://arxiv.org/abs/2606.13473
MiniMax Sparse Attention (by MiniMax)
Квадратичная сложность внимания убивает длинные контексты. MiniMax предлагают MSA — разреженное внимание с двумя ветками: лёгкая Index Branch выбирает топ-k блоков токенов через max-pooling, а Main Branch считает softmax только по выбранным блокам. Вместо O(N) на запрос получаем O(k·Bk) — константа при росте контекста.
Обучают через KL-лосс: индексер учится предсказывать паттерны внимания главной ветки. Градиенты между ветками разделены — чистый сигнал без интерференции.
Результат на 109B MoE-модели, обученной с нуля на 3T токенах: MSA не уступает полному GQA на бенчмарках, но при контексте 1M токенов даёт ускорение prefill в 14.2× и decoding в 7.6×.
https://arxiv.org/abs/2606.13392
Квадратичная сложность внимания убивает длинные контексты. MiniMax предлагают MSA — разреженное внимание с двумя ветками: лёгкая Index Branch выбирает топ-k блоков токенов через max-pooling, а Main Branch считает softmax только по выбранным блокам. Вместо O(N) на запрос получаем O(k·Bk) — константа при росте контекста.
Обучают через KL-лосс: индексер учится предсказывать паттерны внимания главной ветки. Градиенты между ветками разделены — чистый сигнал без интерференции.
Результат на 109B MoE-модели, обученной с нуля на 3T токенах: MSA не уступает полному GQA на бенчмарках, но при контексте 1M токенов даёт ускорение prefill в 14.2× и decoding в 7.6×.
https://arxiv.org/abs/2606.13392
Роботы в лаборатории: VLA-модель для настоящей науки
Пока ИИ помогает учёным писать статьи и строить гипотезы, физическая работа в лаборатории — перелить реагент, нажать кнопку термоциклера, закрутить крышку пробирки — всё ещё на людях. Авторы из Zhejiang University и Shanghai AI Lab решили закрыть этот пробел.
Главная проблема: существующие датасеты для обучения VLA-моделей (OpenX, DROID) — это быт и кухня, а не лаборатория. Собирать реальные данные в лабах дорого и опасно.
Решение: симулятор RoboGenesis на базе Isaac Sim, который автоматически генерирует лабораторные сцены, раскладывает протоколы на атомарные навыки (Pick → Pour → Place → Press) и синтезирует датасет сразу под 16 разных роботов.
На этих данных обучили LabVLA — модель на базе Qwen3-VL с двухэтапным обучением: сначала FAST-токены выравнивают визуально-языковые представления с действиями, затем flow matching предсказывает непрерывные траектории.
Пока ИИ помогает учёным писать статьи и строить гипотезы, физическая работа в лаборатории — перелить реагент, нажать кнопку термоциклера, закрутить крышку пробирки — всё ещё на людях. Авторы из Zhejiang University и Shanghai AI Lab решили закрыть этот пробел.
Главная проблема: существующие датасеты для обучения VLA-моделей (OpenX, DROID) — это быт и кухня, а не лаборатория. Собирать реальные данные в лабах дорого и опасно.
Решение: симулятор RoboGenesis на базе Isaac Sim, который автоматически генерирует лабораторные сцены, раскладывает протоколы на атомарные навыки (Pick → Pour → Place → Press) и синтезирует датасет сразу под 16 разных роботов.
На этих данных обучили LabVLA — модель на базе Qwen3-VL с двухэтапным обучением: сначала FAST-токены выравнивают визуально-языковые представления с действиями, затем flow matching предсказывает непрерывные траектории.
Amazon Science: новый процессор Graviton5 уже в облаке
AWS запустила инстансы EC2 на базе Graviton5 — пятого поколения собственных ARM-процессоров. Это серьёзный апгрейд: 192 ядра против 96 у предшественника, техпроцесс 3 нм, поддержка DDR5-8800 и PCIe gen6.
Главное новшество — четырёхчиплетная архитектура с кастомными межчиплетными соединениями на 420 ГБ/с. Кэш L3 вырос в 5 раз — до 192 МБ. Улучшенное предсказание ветвлений даёт до 30% прироста на реальных нагрузках вроде баз данных.
Итог: +25% производительности по сравнению с Graviton4, +35% для веб-приложений и ML-инференса. Плюс новый Nitro Isolation Engine — первый формально верифицированный гипервизор в облаке, то есть изоляция виртуалок доказана математически.
Для пользователей AWS это означает быстрее, дешевле и безопаснее — без смены кода.
https://www.amazon.science/blog/graviton5s-improved-design-increases-speed-and-energy-efficiency-beyond-moores-law
AWS запустила инстансы EC2 на базе Graviton5 — пятого поколения собственных ARM-процессоров. Это серьёзный апгрейд: 192 ядра против 96 у предшественника, техпроцесс 3 нм, поддержка DDR5-8800 и PCIe gen6.
Главное новшество — четырёхчиплетная архитектура с кастомными межчиплетными соединениями на 420 ГБ/с. Кэш L3 вырос в 5 раз — до 192 МБ. Улучшенное предсказание ветвлений даёт до 30% прироста на реальных нагрузках вроде баз данных.
Итог: +25% производительности по сравнению с Graviton4, +35% для веб-приложений и ML-инференса. Плюс новый Nitro Isolation Engine — первый формально верифицированный гипервизор в облаке, то есть изоляция виртуалок доказана математически.
Для пользователей AWS это означает быстрее, дешевле и безопаснее — без смены кода.
https://www.amazon.science/blog/graviton5s-improved-design-increases-speed-and-energy-efficiency-beyond-moores-law
Amazon Science
Graviton5’s improved design increases speed and energy efficiency — beyond Moore’s law
A new chiplet architecture, custom die-to-die connectivity, and support for DDR5-8800 memory and the latest PCIe gen6 interconnects improve performance by 25% for general-purpose and agentic AI workloads.
Amazon Science: математическое доказательство безопасности облака
Amazon выпустила первый в истории коммерческого облака формально верифицированный гипервизор — Nitro Isolation Engine. Он работает на новых инстансах EC2 с процессором Graviton5 и отвечает за одну задачу: изолировать виртуальные машины друг от друга.
Суть в том, что корректность кода доказана математически — с помощью системы Isabelle/HOL. Это 330 000 строк машинно-проверенной математики, сопоставимо по масштабу с легендарным проектом seL4. Только в отличие от seL4 — это уже работает в продакшене.
Доказаны четыре свойства: конфиденциальность и целостность данных, функциональная корректность, отсутствие ошибок времени выполнения и безопасность памяти.
Для верификации команда выделила минимальный компонент из Nitro Hypervisor, переписала его на подмножестве Rust и открыла исходники инструментария AutoCorrode.
Для пользователей Graviton5 это включено по умолчанию — никаких дополнительных настроек.
https://www.amazon.science/blog/ec2s-formally-verified-isolation-engine-provides-mathematical-assurance-of-virtual-machine-isolation
Amazon выпустила первый в истории коммерческого облака формально верифицированный гипервизор — Nitro Isolation Engine. Он работает на новых инстансах EC2 с процессором Graviton5 и отвечает за одну задачу: изолировать виртуальные машины друг от друга.
Суть в том, что корректность кода доказана математически — с помощью системы Isabelle/HOL. Это 330 000 строк машинно-проверенной математики, сопоставимо по масштабу с легендарным проектом seL4. Только в отличие от seL4 — это уже работает в продакшене.
Доказаны четыре свойства: конфиденциальность и целостность данных, функциональная корректность, отсутствие ошибок времени выполнения и безопасность памяти.
Для верификации команда выделила минимальный компонент из Nitro Hypervisor, переписала его на подмножестве Rust и открыла исходники инструментария AutoCorrode.
Для пользователей Graviton5 это включено по умолчанию — никаких дополнительных настроек.
https://www.amazon.science/blog/ec2s-formally-verified-isolation-engine-provides-mathematical-assurance-of-virtual-machine-isolation
Amazon Science
EC2’s formally verified “isolation engine” provides mathematical assurance of virtual-machine isolation
Splitting the “separation kernel” off from the rest of the Nitro security system and using only a subset of the Rust programming language to code it enabled its formal verification.
IBM Research выпустила ffsim — открытую Python-библиотеку для быстрой симуляции фермионных квантовых схем.
Главная проблема: тестировать квантовые алгоритмы классически — дорого. Для 64 кубитов обычный симулятор требует 256 эксабайт памяти — больше, чем во всех суперкомпьютерах мира. ffsim использует физические симметрии систем (сохранение числа частиц и спина) и сжимает задачу до 19,3 ГБ — это уже обычный ноутбук.
Что умеет: симулирует фермионные волновые функции, поддерживает вариационные ансатцы, интегрируется с Qiskit и PySCF. Работает в 11 раз быстрее ближайшего аналога FQE на типичных задачах квантовой химии.
Для кого важно: исследователям, которые разрабатывают квантовые алгоритмы для химии и материаловедения — теперь можно быстрее прототипировать и валидировать схемы до запуска на реальном железе.
Библиотека в открытом доступе на GitHub.
https://research.ibm.com/blog/ffsim?utm_medium=rss&utm_source=rss
Главная проблема: тестировать квантовые алгоритмы классически — дорого. Для 64 кубитов обычный симулятор требует 256 эксабайт памяти — больше, чем во всех суперкомпьютерах мира. ffsim использует физические симметрии систем (сохранение числа частиц и спина) и сжимает задачу до 19,3 ГБ — это уже обычный ноутбук.
Что умеет: симулирует фермионные волновые функции, поддерживает вариационные ансатцы, интегрируется с Qiskit и PySCF. Работает в 11 раз быстрее ближайшего аналога FQE на типичных задачах квантовой химии.
Для кого важно: исследователям, которые разрабатывают квантовые алгоритмы для химии и материаловедения — теперь можно быстрее прототипировать и валидировать схемы до запуска на реальном железе.
Библиотека в открытом доступе на GitHub.
https://research.ibm.com/blog/ffsim?utm_medium=rss&utm_source=rss
Ibm
Prototype and validate fermionic circuits faster with ffsim | IBM Quantum Computing Blog
Open-source Python library for fast simulation of fermionic quantum circuits enables efficient prototyping and benchmarking for real quantum hardware.
EvoArena: как проверить, не забыл ли агент, что правила поменялись (by MIT)
Все бенчмарки для LLM-агентов тестируют их на статичных снапшотах среды. Но в реальности API меняются, кодовые базы обновляются, пользовательские предпочтения эволюционируют. Авторы из MIT предлагают EvoArena — бенчмарк, где среда меняется версия за версией: терминальные воркфлоу, кодовые базы и пользовательские предпочтения.
Главная находка: агенты страдают от "state collapse" — память хранит только последнее состояние, затирая предыдущее. Если правило обновилось, но старая версия всё ещё нужна — агент теряет контекст.
Решение — EvoMem: git-подобная память с историей патчей. Каждый патч хранит: что было до, что стало, почему изменилось и какие доказательства подтолкнули к изменению. Прирост точности: +1.5% в среднем, +3.7% на цепочках связанных задач.
https://arxiv.org/abs/2606.13681
Все бенчмарки для LLM-агентов тестируют их на статичных снапшотах среды. Но в реальности API меняются, кодовые базы обновляются, пользовательские предпочтения эволюционируют. Авторы из MIT предлагают EvoArena — бенчмарк, где среда меняется версия за версией: терминальные воркфлоу, кодовые базы и пользовательские предпочтения.
Главная находка: агенты страдают от "state collapse" — память хранит только последнее состояние, затирая предыдущее. Если правило обновилось, но старая версия всё ещё нужна — агент теряет контекст.
Решение — EvoMem: git-подобная память с историей патчей. Каждый патч хранит: что было до, что стало, почему изменилось и какие доказательства подтолкнули к изменению. Прирост точности: +1.5% в среднем, +3.7% на цепочках связанных задач.
https://arxiv.org/abs/2606.13681
SpatialClaw: код как интерфейс для пространственного мышления (by NVIDIA)
VLM плохо понимают 3D-пространство — где объекты, как движутся, как соотносятся. Обычно их усиливают инструментами (детекторы, depth estimators), но проблема в том, КАК эти инструменты вызываются.
Два популярных подхода: написать весь Python-скрипт сразу (без промежуточных результатов) или вызывать заранее заданные API. Оба негибкие.
SpatialClaw предлагает третий путь: персистентный Python-kernel, где агент пишет по одной ячейке за шаг. Маски, depth-карты, траектории остаются переменными между шагами — их можно комбинировать, инспектировать и исправлять. Нужно найти ближайший объект? Пишешь scipy.spatial.KDTree прямо по ходу рассуждения.
Результат: 59.9% на 20 бенчмарках по пространственному reasoning, +11.2 пп к ближайшему агенту-конкуренту. Работает без дообучения на моделях от 27B до 397B (Qwen, Gemma4).
https://arxiv.org/abs/2606.13673
VLM плохо понимают 3D-пространство — где объекты, как движутся, как соотносятся. Обычно их усиливают инструментами (детекторы, depth estimators), но проблема в том, КАК эти инструменты вызываются.
Два популярных подхода: написать весь Python-скрипт сразу (без промежуточных результатов) или вызывать заранее заданные API. Оба негибкие.
SpatialClaw предлагает третий путь: персистентный Python-kernel, где агент пишет по одной ячейке за шаг. Маски, depth-карты, траектории остаются переменными между шагами — их можно комбинировать, инспектировать и исправлять. Нужно найти ближайший объект? Пишешь scipy.spatial.KDTree прямо по ходу рассуждения.
Результат: 59.9% на 20 бенчмарках по пространственному reasoning, +11.2 пп к ближайшему агенту-конкуренту. Работает без дообучения на моделях от 27B до 397B (Qwen, Gemma4).
https://arxiv.org/abs/2606.13673
Один ViT вместо зоопарка энкодеров для картинок, видео и редактирования
Большинство мультимодальных моделей используют отдельные энкодеры для понимания и генерации изображений и видео — это архитектурный беспорядок. HYDRA-X от Nanjing University предлагает один ViT-токенайзер HYDRA-XTOK, который закрывает все задачи сразу: понимание и генерация картинок/видео плюс редактирование.
Два неожиданных вывода по работе с видео: полное spatiotemporal attention ломает реконструкцию (слишком нарушает локальность из image pretraining), а работает лучше всего causal temporal attention только на предыдущий кадр. Иерархический patchify по временной оси бьёт одношаговый.
Для семантики видео — проблема: нет готовых учителей на сжатом temporal resolution. Решение простое: лёгкий Decompressor восстанавливает полную длину и дистиллирует от image/video энкодеров.
Большинство мультимодальных моделей используют отдельные энкодеры для понимания и генерации изображений и видео — это архитектурный беспорядок. HYDRA-X от Nanjing University предлагает один ViT-токенайзер HYDRA-XTOK, который закрывает все задачи сразу: понимание и генерация картинок/видео плюс редактирование.
Два неожиданных вывода по работе с видео: полное spatiotemporal attention ломает реконструкцию (слишком нарушает локальность из image pretraining), а работает лучше всего causal temporal attention только на предыдущий кадр. Иерархический patchify по временной оси бьёт одношаговый.
Для семантики видео — проблема: нет готовых учителей на сжатом temporal resolution. Решение простое: лёгкий Decompressor восстанавливает полную длину и дистиллирует от image/video энкодеров.
NVIDIA установила новый рекорд в агентном кодировании
NVIDIA объявила, что её ускоритель GB300 NVL72 показал лучшие результаты на AA-AgentPerf — первом открытом отраслевом бенчмарке для измерения производительности ИИ-агентов в реальных условиях.
Что это за бенчмарк? AA-AgentPerf от Artificial Analysis измеряет, сколько одновременных ИИ-агентов может обслуживать система при заданных требованиях к скорости и задержке. Тест строится на реальных сценариях кодирования с непредсказуемыми цепочками действий и вызовами инструментов.
Главный результат: GB300 NVL72 обеспечивает до 20x больше одновременных агентов на мегаватт по сравнению с предыдущим H200. На практике это означает, что дата-центры смогут обслуживать значительно больше пользователей при том же энергопотреблении.
За счёт чего: оптимизации WideEP/DeepEP, DeepGEMM, слияние MoE-операций и высокоскоростная шина NVLink на 72 GPU.
Следующий шаг — платформа Vera Rubin с 50 PFLOPS вычислений в формате NVFP4, которая обещает ещё более высокую эффективность для агентных задач.
https://developer.nvidia.com/blog/nvidia-achieves-leading-agentic-coding-performance-on-first-agentic-ai-benchmark/
NVIDIA объявила, что её ускоритель GB300 NVL72 показал лучшие результаты на AA-AgentPerf — первом открытом отраслевом бенчмарке для измерения производительности ИИ-агентов в реальных условиях.
Что это за бенчмарк? AA-AgentPerf от Artificial Analysis измеряет, сколько одновременных ИИ-агентов может обслуживать система при заданных требованиях к скорости и задержке. Тест строится на реальных сценариях кодирования с непредсказуемыми цепочками действий и вызовами инструментов.
Главный результат: GB300 NVL72 обеспечивает до 20x больше одновременных агентов на мегаватт по сравнению с предыдущим H200. На практике это означает, что дата-центры смогут обслуживать значительно больше пользователей при том же энергопотреблении.
За счёт чего: оптимизации WideEP/DeepEP, DeepGEMM, слияние MoE-операций и высокоскоростная шина NVLink на 72 GPU.
Следующий шаг — платформа Vera Rubin с 50 PFLOPS вычислений в формате NVFP4, которая обещает ещё более высокую эффективность для агентных задач.
https://developer.nvidia.com/blog/nvidia-achieves-leading-agentic-coding-performance-on-first-agentic-ai-benchmark/
NVIDIA Technical Blog
NVIDIA Achieves Leading Agentic Coding Performance on First Agentic AI Benchmark
AI agents have fundamentally changed the complexity of inference workloads. Until now, the industry has struggled to define a standard for measuring how inference systems perform under these…
👍1