Orchard: универсальный слой окружений для обучения агентов (by Microsoft Research)
Главная боль при обучении LLM-агентов — окружение. Каждый раз нужно поднять контейнер, накатить зависимости, запустить тесты, потом почистить. А при тысячах параллельных сред это превращается в ад.
Microsoft Research выкатили Orchard — open-source фреймворк, где ключевая идея: среда выполнения должна быть тонким независимым сервисом, не привязанным ни к конкретному агенту, ни к тренировочному стеку.
Orchard Env — Kubernetes-native сервис с REST API, который работает в 2-10x дешевле аналогов вроде E2B/Daytona и даёт латентность 0.28с на команду.
На этом фундаменте обучили агентов в трёх доменах:
- Orchard-SWE: 67.5% на SWE-Bench Verified (SOTA среди open-source)
- Orchard-GUI: 74.1% на WebVoyager, 4B модель обогнала своего 235B учителя!
- Orchard-Claw: персональный ассистент, 59.6% pass@3
Всё открыто: код, рецепты обучения, 107K траекторий.
https://arxiv.org/abs/2605.15040
Главная боль при обучении LLM-агентов — окружение. Каждый раз нужно поднять контейнер, накатить зависимости, запустить тесты, потом почистить. А при тысячах параллельных сред это превращается в ад.
Microsoft Research выкатили Orchard — open-source фреймворк, где ключевая идея: среда выполнения должна быть тонким независимым сервисом, не привязанным ни к конкретному агенту, ни к тренировочному стеку.
Orchard Env — Kubernetes-native сервис с REST API, который работает в 2-10x дешевле аналогов вроде E2B/Daytona и даёт латентность 0.28с на команду.
На этом фундаменте обучили агентов в трёх доменах:
- Orchard-SWE: 67.5% на SWE-Bench Verified (SOTA среди open-source)
- Orchard-GUI: 74.1% на WebVoyager, 4B модель обогнала своего 235B учителя!
- Orchard-Claw: персональный ассистент, 59.6% pass@3
Всё открыто: код, рецепты обучения, 107K траекторий.
https://arxiv.org/abs/2605.15040
ThinkPRM: научи модель проверять рассуждения через рассуждения
Чтобы отбирать лучшие решения при test-time scaling, нужен хороший Process Reward Model (PRM). Проблема: обучить дискриминативный PRM дорого — нужны сотни тысяч пошаговых аннотаций. А LLM-as-a-judge работает нестабильно: чуть меняешь промпт — результат скачет на 3-4 пункта, модель зацикливается или вместо проверки начинает сама решать задачу.
Авторы предлагают ThinkPRM: берём reasoning-модель (R1-Distill, QwQ-32B), файнтюним её на синтетических цепочках верификации. Данных нужно минимум — всего 8K пошаговых меток. Зато модель учится думать длинным CoT над каждым шагом решения, а не просто выдавать метку.
Ключевой бонус: чем больше токенов даёшь на верификацию — тем лучше результат. ThinkPRM-14B обходит дискриминативные PRM, обученные на в 100 раз большем объёме данных, и работает на математике, коде и научных задачах.
https://arxiv.org/abs/2504.16828
Чтобы отбирать лучшие решения при test-time scaling, нужен хороший Process Reward Model (PRM). Проблема: обучить дискриминативный PRM дорого — нужны сотни тысяч пошаговых аннотаций. А LLM-as-a-judge работает нестабильно: чуть меняешь промпт — результат скачет на 3-4 пункта, модель зацикливается или вместо проверки начинает сама решать задачу.
Авторы предлагают ThinkPRM: берём reasoning-модель (R1-Distill, QwQ-32B), файнтюним её на синтетических цепочках верификации. Данных нужно минимум — всего 8K пошаговых меток. Зато модель учится думать длинным CoT над каждым шагом решения, а не просто выдавать метку.
Ключевой бонус: чем больше токенов даёшь на верификацию — тем лучше результат. ThinkPRM-14B обходит дискриминативные PRM, обученные на в 100 раз большем объёме данных, и работает на математике, коде и научных задачах.
https://arxiv.org/abs/2504.16828
PanoWorld: научить ИИ видеть всё вокруг сразу, а не по кускам
Обычные мультимодальные модели смотрят на мир как человек — только вперёд. Но задачи навигации и поиска объектов требуют понимания всего пространства вокруг наблюдателя сразу. 360° панорамы дают это, но просто перенести туда перспективные модели не выходит — геометрические искажения, неравномерная дискретизация, разрывы на швах.
Авторы из Zhejiang University предлагают PanoWorld — MLLM, обученную нативно на панорамах. Ключевая идея: Spherical Spatial Cross-Attention, которое явно встраивает сферическую геометрию (yaw/pitch координаты) прямо в визуальные токены ERP-изображения.
Параллельно собран датасет 570K панорам с верифицированными метаданными: глубина, сущности, пространственный граф. Плюс новый бенчмарк PanoSpace-Bench с таксономией из 4 групп задач: семантическое заземление, сферическая локализация, трансформация систем отсчёта, 3D-отношения.
Результат — сильные улучшения на 360° reasoning и VLN навигации (R2R-CE).
Обычные мультимодальные модели смотрят на мир как человек — только вперёд. Но задачи навигации и поиска объектов требуют понимания всего пространства вокруг наблюдателя сразу. 360° панорамы дают это, но просто перенести туда перспективные модели не выходит — геометрические искажения, неравномерная дискретизация, разрывы на швах.
Авторы из Zhejiang University предлагают PanoWorld — MLLM, обученную нативно на панорамах. Ключевая идея: Spherical Spatial Cross-Attention, которое явно встраивает сферическую геометрию (yaw/pitch координаты) прямо в визуальные токены ERP-изображения.
Параллельно собран датасет 570K панорам с верифицированными метаданными: глубина, сущности, пространственный граф. Плюс новый бенчмарк PanoSpace-Bench с таксономией из 4 групп задач: семантическое заземление, сферическая локализация, трансформация систем отсчёта, 3D-отношения.
Результат — сильные улучшения на 360° reasoning и VLN навигации (R2R-CE).
Агент, который учится на своих ошибках в олимпиадном программировании
Большинство LLM-систем для кода решают каждую задачу с нуля — никакого накопленного опыта. Solvita это меняет: четыре агента (Planner, Solver, Oracle, Hacker) работают в замкнутом цикле, а каждый неудачный запуск обновляет граф знаний через RL.
Ключевая идея: вместо файн-тюнинга модели — обучаемые графовые сети памяти у каждого агента. Веса рёбер меняются по сигналам pass/fail, а не по статическому сходству текстов. Hacker специально ищет adversarial тесты, ломающие текущее решение — и это тоже идёт в обучение.
Solver чинит код патчами (search-and-replace), а не перегенерирует с нуля — экономит токены.
Результат на CodeContests с GPT backbone: pass@1 вырос с 40% до 82.4% — почти вдвое, при сопоставимом расходе токенов с другими пайплайнами.
https://arxiv.org/abs/2605.15301
Большинство LLM-систем для кода решают каждую задачу с нуля — никакого накопленного опыта. Solvita это меняет: четыре агента (Planner, Solver, Oracle, Hacker) работают в замкнутом цикле, а каждый неудачный запуск обновляет граф знаний через RL.
Ключевая идея: вместо файн-тюнинга модели — обучаемые графовые сети памяти у каждого агента. Веса рёбер меняются по сигналам pass/fail, а не по статическому сходству текстов. Hacker специально ищет adversarial тесты, ломающие текущее решение — и это тоже идёт в обучение.
Solver чинит код патчами (search-and-replace), а не перегенерирует с нуля — экономит токены.
Результат на CodeContests с GPT backbone: pass@1 вырос с 40% до 82.4% — почти вдвое, при сопоставимом расходе токенов с другими пайплайнами.
https://arxiv.org/abs/2605.15301
PhysBrain 1.0: сначала понять физику, потом двигаться (by DeepCybo)
Большинство VLA-роботов учатся так: собери траектории телеоперации, обучи политику, масштабируй. PhysBrain 1.0 говорит: стоп, это тупик.
Идея: сначала научи модель понимать физический мир через видео от первого лица (Ego4D и др.), и только потом адаптируй под конкретного робота. Человеческое эго-видео дешевле, разнообразнее и полно физических паттернов: контакты, досягаемость, изменение состояния объектов.
Ключевой трюк — data engine, который работает как компилятор: сырое видео → структурированные метаданные сцены (объекты, пространственные отношения, глубина) → физически обоснованные QA-пары для обучения. Никаких дженерик-капшнов.
Результат: модель хорошо работает и на VLM-бенчмарках (MMMU, MME), и на робо-бенчмарках (LIBERO, SimplerEnv) — используя минимум реальных траекторий робота.
https://arxiv.org/abs/2605.15298
Большинство VLA-роботов учатся так: собери траектории телеоперации, обучи политику, масштабируй. PhysBrain 1.0 говорит: стоп, это тупик.
Идея: сначала научи модель понимать физический мир через видео от первого лица (Ego4D и др.), и только потом адаптируй под конкретного робота. Человеческое эго-видео дешевле, разнообразнее и полно физических паттернов: контакты, досягаемость, изменение состояния объектов.
Ключевой трюк — data engine, который работает как компилятор: сырое видео → структурированные метаданные сцены (объекты, пространственные отношения, глубина) → физически обоснованные QA-пары для обучения. Никаких дженерик-капшнов.
Результат: модель хорошо работает и на VLM-бенчмарках (MMMU, MME), и на робо-бенчмарках (LIBERO, SimplerEnv) — используя минимум реальных траекторий робота.
https://arxiv.org/abs/2605.15298
LongLive-2.0: генерация длинных видео в реальном времени (by NVIDIA)
Главная боль генерации длинных видео — огромное потребление памяти GPU и низкая скорость. NVIDIA представила LongLive-2.0 — инфраструктуру, которая решает это через совместный дизайн обучения и инференса.
Ключевые идеи:
1. Balanced SP — новый sequence parallelism для AR-обучения. Вместо наивной нарезки последовательности каждый GPU получает пару clean+noisy латентов из одного временного чанка. Это балансирует нагрузку и убирает дублирование VAE-энкодинга.
2. NVFP4 — 4-битное квантование весов и активаций (W4A4) на Blackwell GPU даёт ускорение GEMM в 2-4x. Причём квантование используется и при обучении, и при инференсе — нет разрыва между ними.
3. Асинхронный декодинг — VAE-декодирование перекрывается с диффузионными шагами, что приближает end-to-end FPS к model-only FPS.
В итоге пайплайн обучения упростился: не нужны ODE-инициализация и многоэтапный DMD — только прямой AR fine-tuning + standalone LoRA для real-time инференса.
Главная боль генерации длинных видео — огромное потребление памяти GPU и низкая скорость. NVIDIA представила LongLive-2.0 — инфраструктуру, которая решает это через совместный дизайн обучения и инференса.
Ключевые идеи:
1. Balanced SP — новый sequence parallelism для AR-обучения. Вместо наивной нарезки последовательности каждый GPU получает пару clean+noisy латентов из одного временного чанка. Это балансирует нагрузку и убирает дублирование VAE-энкодинга.
2. NVFP4 — 4-битное квантование весов и активаций (W4A4) на Blackwell GPU даёт ускорение GEMM в 2-4x. Причём квантование используется и при обучении, и при инференсе — нет разрыва между ними.
3. Асинхронный декодинг — VAE-декодирование перекрывается с диффузионными шагами, что приближает end-to-end FPS к model-only FPS.
В итоге пайплайн обучения упростился: не нужны ODE-инициализация и многоэтапный DMD — только прямой AR fine-tuning + standalone LoRA для real-time инференса.
Агентский пруver для Lean 4, который учится на своих ошибках
Большинство систем автодоказательства теорем генерируют доказательство за один проход и надеются на лучшее. OProver делает иначе: это единый фреймворк, где модель итеративно правит доказательство, используя обратную связь от компилятора Lean 4 и retrieved примеры похожих доказанных теорем.
Ключевая идея: устранить разрыв train-inference. Обычно retrieval и фидбек компилятора применяются только при инференсе, а модель их никогда не видела при обучении. OProver обучает политику именно на таких траекториях: провал → ошибка компилятора → правка → успех.
Корпус OProofs содержит 1.77M утверждений и 6.86M верифицированных доказательств, плюс сериализованные траектории с ошибками и починками — чего нет в других Lean-датасетах.
Обучение: CPT на Lean-коде → итеративный SFT+RL, где новые доказательства сразу добавляются в retrieval memory.
Результат: OProver-32B достигает Pass@32 = 93.3 на MiniF2F и 11.3 на PutnamBench — SOTA среди open-weight моделей.
Большинство систем автодоказательства теорем генерируют доказательство за один проход и надеются на лучшее. OProver делает иначе: это единый фреймворк, где модель итеративно правит доказательство, используя обратную связь от компилятора Lean 4 и retrieved примеры похожих доказанных теорем.
Ключевая идея: устранить разрыв train-inference. Обычно retrieval и фидбек компилятора применяются только при инференсе, а модель их никогда не видела при обучении. OProver обучает политику именно на таких траекториях: провал → ошибка компилятора → правка → успех.
Корпус OProofs содержит 1.77M утверждений и 6.86M верифицированных доказательств, плюс сериализованные траектории с ошибками и починками — чего нет в других Lean-датасетах.
Обучение: CPT на Lean-коде → итеративный SFT+RL, где новые доказательства сразу добавляются в retrieval memory.
Результат: OProver-32B достигает Pass@32 = 93.3 на MiniF2F и 11.3 на PutnamBench — SOTA среди open-weight моделей.
Зачем вообще нужен отдельный vision encoder в мультимодальных моделях?
Оказывается — незачем. Новая работа изучает scaling laws для "нативных" мультимодальных моделей, обученных с нуля на всех модальностях сразу, без предобученных LLM или vision encoder'ов.
Главные находки:
Early fusion (сырые патчи изображений прямо в трансформер) работает так же хорошо, как late fusion (отдельный энкодер + LLM), но требует меньше параметров. Late fusion просто тратит их впустую.
Scaling laws для таких моделей похожи на законы для текстовых LLM — параметры и токены нужно масштабировать примерно одинаково.
Добавление MoE даёт большой прирост, причём эксперты сами учатся специализироваться по модальностям — особенно в первых и последних слоях. При этом modality-agnostic routing бьёт modality-aware.
Вывод: строить мультимодальные модели с нуля проще и эффективнее, чем склеивать готовые части.
https://arxiv.org/abs/2504.07951
Оказывается — незачем. Новая работа изучает scaling laws для "нативных" мультимодальных моделей, обученных с нуля на всех модальностях сразу, без предобученных LLM или vision encoder'ов.
Главные находки:
Early fusion (сырые патчи изображений прямо в трансформер) работает так же хорошо, как late fusion (отдельный энкодер + LLM), но требует меньше параметров. Late fusion просто тратит их впустую.
Scaling laws для таких моделей похожи на законы для текстовых LLM — параметры и токены нужно масштабировать примерно одинаково.
Добавление MoE даёт большой прирост, причём эксперты сами учатся специализироваться по модальностям — особенно в первых и последних слоях. При этом modality-agnostic routing бьёт modality-aware.
Вывод: строить мультимодальные модели с нуля проще и эффективнее, чем склеивать готовые части.
https://arxiv.org/abs/2504.07951
PyTorch выпустил MLX делегат для ExecuTorch — теперь модели на Apple Silicon работают с ускорением на GPU через фреймворк Apple MLX.
Раньше пользователи macOS были ограничены CPU-бэкендами вроде XNNPACK. Новый делегат даёт 3-6x прирост производительности на генеративных задачах.
Что поддерживается: Llama, Qwen, Gemma, Phi-4, модели речи Whisper, Voxtral и Parakeet — включая стриминг в реальном времени. Квантизация: BF16, FP16, FP32, 2/4/8-bit и даже NVFP4.
Воркфлоу стандартный: экспортируешь модель через torch.export, применяешь MLXPartitioner, запускаешь .pte файл. Код приложения менять не нужно — тот же ExecuTorch API.
Делегат пока экспериментальный, но уже проверен на 30+ моделях.
https://pytorch.org/blog/running-pytorch-models-on-apple-silicon-gpus-with-the-executorch-mlx-delegate/
Раньше пользователи macOS были ограничены CPU-бэкендами вроде XNNPACK. Новый делегат даёт 3-6x прирост производительности на генеративных задачах.
Что поддерживается: Llama, Qwen, Gemma, Phi-4, модели речи Whisper, Voxtral и Parakeet — включая стриминг в реальном времени. Квантизация: BF16, FP16, FP32, 2/4/8-bit и даже NVFP4.
Воркфлоу стандартный: экспортируешь модель через torch.export, применяешь MLXPartitioner, запускаешь .pte файл. Код приложения менять не нужно — тот же ExecuTorch API.
Делегат пока экспериментальный, но уже проверен на 30+ моделях.
https://pytorch.org/blog/running-pytorch-models-on-apple-silicon-gpus-with-the-executorch-mlx-delegate/
ИИ-исследователь, который учится на своих ошибках и не начинает каждый раз с нуля
AutoResearchClaw — это мультиагентная система для автономного проведения исследований, которая решает три ключевые проблемы существующих подходов типа AI Scientist.
Во-первых, гипотезы проверяются через дебаты трёх агентов с разными ролями: Инноватор, Прагматик и Скептик — чтобы не было эффекта "сам придумал, сам одобрил". Во-вторых, упавший эксперимент не выбрасывается, а анализируется: система решает — починить текущий подход (Refine) или сменить направление (Pivot). В-третьих, уроки из прошлых запусков сохраняются с временным затуханием и инжектируются в новые попытки.
Плюс есть 7 режимов участия человека: от полной автономии до пошагового одобрения. Оказалось, что точечное вмешательство в ключевых точках бьёт оба крайних варианта.
На бенчмарке ARC-Bench система обгоняет AI Scientist v2 на 54.7%.
https://arxiv.org/abs/2605.20025
AutoResearchClaw — это мультиагентная система для автономного проведения исследований, которая решает три ключевые проблемы существующих подходов типа AI Scientist.
Во-первых, гипотезы проверяются через дебаты трёх агентов с разными ролями: Инноватор, Прагматик и Скептик — чтобы не было эффекта "сам придумал, сам одобрил". Во-вторых, упавший эксперимент не выбрасывается, а анализируется: система решает — починить текущий подход (Refine) или сменить направление (Pivot). В-третьих, уроки из прошлых запусков сохраняются с временным затуханием и инжектируются в новые попытки.
Плюс есть 7 режимов участия человека: от полной автономии до пошагового одобрения. Оказалось, что точечное вмешательство в ключевых точках бьёт оба крайних варианта.
На бенчмарке ARC-Bench система обгоняет AI Scientist v2 на 54.7%.
https://arxiv.org/abs/2605.20025
EnvFactory: как автоматически строить среды для обучения tool-use агентов
Чтобы обучать LLM-агентов пользоваться инструментами через RL, нужны две вещи: реалистичные исполняемые среды и качественные траектории взаимодействия. Обе проблемы болезненные: реальные API дорогие и медленные, LLM-симуляции галлюцинируют, а синтетические данные выглядят как "списки инструкций", а не живые запросы.
EnvFactory решает это полностью автоматически. Три агента (Search, Code, Test) сами находят реальные онлайн-ресурсы, пишут код окружений с базами данных и проверяют их. Для данных используется topology-aware sampling — граф зависимостей инструментов, где рекурсивно разрешаются зависимости перед выбором следующего шага. Запросы потом "очеловечиваются": добавляется неявность и амбигуэтность.
Результат: 85 сред, 842 инструмента, +15% на BFCLv3 для Qwen3 — при в 5 раз меньшем числе сред, чем у конкурентов.
https://arxiv.org/abs/2605.18703
Чтобы обучать LLM-агентов пользоваться инструментами через RL, нужны две вещи: реалистичные исполняемые среды и качественные траектории взаимодействия. Обе проблемы болезненные: реальные API дорогие и медленные, LLM-симуляции галлюцинируют, а синтетические данные выглядят как "списки инструкций", а не живые запросы.
EnvFactory решает это полностью автоматически. Три агента (Search, Code, Test) сами находят реальные онлайн-ресурсы, пишут код окружений с базами данных и проверяют их. Для данных используется topology-aware sampling — граф зависимостей инструментов, где рекурсивно разрешаются зависимости перед выбором следующего шага. Запросы потом "очеловечиваются": добавляется неявность и амбигуэтность.
Результат: 85 сред, 842 инструмента, +15% на BFCLv3 для Qwen3 — при в 5 раз меньшем числе сред, чем у конкурентов.
https://arxiv.org/abs/2605.18703
TDD для веб-приложений: от "запускается" к "работает как надо"
Агенты вроде Cursor или Devin умеют генерировать веб-приложения, но в 70% случаев они не выполняют требования. Проблема: TDD-подход (написал тест → написал код → проверил) не работает для веба, потому что нельзя просто "прочитать вывод компилятора" — нужно деплоить, кликать по кнопкам и наблюдать.
Авторы из CUHK сделали TDDev — фреймворк, который автоматизирует весь цикл: генерирует acceptance-тесты из требований через user personas (в духе "soap opera testing"), деплоит приложение, гоняет браузерного агента по UI, и переводит визуальные баги в конкретные инструкции для починки.
Результат: +34–48 процентных пунктов к качеству над baseline. Важный нюанс: сильным моделям нужен "agentic TDD" (низкий контроль), слабым — инкрементальный. Несовпадение стиля модели и протокола убивает весь профит и увеличивает расход токенов в 25 раз.
https://arxiv.org/abs/2605.17242
Агенты вроде Cursor или Devin умеют генерировать веб-приложения, но в 70% случаев они не выполняют требования. Проблема: TDD-подход (написал тест → написал код → проверил) не работает для веба, потому что нельзя просто "прочитать вывод компилятора" — нужно деплоить, кликать по кнопкам и наблюдать.
Авторы из CUHK сделали TDDev — фреймворк, который автоматизирует весь цикл: генерирует acceptance-тесты из требований через user personas (в духе "soap opera testing"), деплоит приложение, гоняет браузерного агента по UI, и переводит визуальные баги в конкретные инструкции для починки.
Результат: +34–48 процентных пунктов к качеству над baseline. Важный нюанс: сильным моделям нужен "agentic TDD" (низкий контроль), слабым — инкрементальный. Несовпадение стиля модели и протокола убивает весь профит и увеличивает расход токенов в 25 раз.
https://arxiv.org/abs/2605.17242
Google на I/O 2026 объявила о переходе в «агентную эру» Gemini.
Главное: два новых флагмана. Gemini Omni создаёт что угодно из любого типа контента — видео, текст, изображения — и понимает мир на новом уровне. Gemini 3.5 Flash заточен под сложные агентные задачи: он не просто отвечает, а действует.
Платформа Google Antigravity превращает AI из помощника в исполнителя: агенты теперь сами делают дела, а не просто советуют. Universal Cart — умная корзина для покупок, которая работает как агент. В поиске появились Information Agents. Gemini Spark и Daily Brief — новые фичи в приложении.
Из неожиданного: умные очки с навигацией и камерой выйдут осенью, Ask YouTube меняет поиск на платформе, а Co-Scientist помогает учёным ускорять открытия.
Google явно делает ставку на то, что AI перестаёт быть инструментом и становится агентом, который действует за вас.
https://blog.google/innovation-and-ai/technology/developers-tools/google-io-2026-collection/
Главное: два новых флагмана. Gemini Omni создаёт что угодно из любого типа контента — видео, текст, изображения — и понимает мир на новом уровне. Gemini 3.5 Flash заточен под сложные агентные задачи: он не просто отвечает, а действует.
Платформа Google Antigravity превращает AI из помощника в исполнителя: агенты теперь сами делают дела, а не просто советуют. Universal Cart — умная корзина для покупок, которая работает как агент. В поиске появились Information Agents. Gemini Spark и Daily Brief — новые фичи в приложении.
Из неожиданного: умные очки с навигацией и камерой выйдут осенью, Ask YouTube меняет поиск на платформе, а Co-Scientist помогает учёным ускорять открытия.
Google явно делает ставку на то, что AI перестаёт быть инструментом и становится агентом, который действует за вас.
https://blog.google/innovation-and-ai/technology/developers-tools/google-io-2026-collection/
blog.google
I/O 2026
At Google I/O 2026, we shared how we’re making AI more helpful for everyone. See everything we announced.
Google Gemini запустил Gemini 3.5 Flash — новую модель для агентных задач и кода.
Что нового: модель обгоняет Gemini 3.1 Pro на бенчмарках по коду и агентным задачам, работает в 4 раза быстрее других флагманских моделей и стоит вдвое дешевле конкурентов. Поддерживает запуск нескольких субагентов параллельно через платформу Google Antigravity.
Почему важно: то, что раньше занимало у разработчика несколько дней — теперь решается за часы. Shopify, Salesforce, Macquarie Bank и Xero уже используют модель для автоматизации сложных многонедельных процессов.
Для обычных пользователей: 3.5 Flash стал дефолтной моделью в приложении Gemini и в AI Mode в поиске. Скоро выйдет личный агент Gemini Spark — он будет работать 24/7 и выполнять задачи от вашего имени. Бета для подписчиков AI Ultra в США — уже на следующей неделе.
Следующий на очереди — Gemini 3.5 Pro, релиз ожидается в июне.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-5/
Что нового: модель обгоняет Gemini 3.1 Pro на бенчмарках по коду и агентным задачам, работает в 4 раза быстрее других флагманских моделей и стоит вдвое дешевле конкурентов. Поддерживает запуск нескольких субагентов параллельно через платформу Google Antigravity.
Почему важно: то, что раньше занимало у разработчика несколько дней — теперь решается за часы. Shopify, Salesforce, Macquarie Bank и Xero уже используют модель для автоматизации сложных многонедельных процессов.
Для обычных пользователей: 3.5 Flash стал дефолтной моделью в приложении Gemini и в AI Mode в поиске. Скоро выйдет личный агент Gemini Spark — он будет работать 24/7 и выполнять задачи от вашего имени. Бета для подписчиков AI Ultra в США — уже на следующей неделе.
Следующий на очереди — Gemini 3.5 Pro, релиз ожидается в июне.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-5/
Google
Gemini 3.5: frontier intelligence with action
At Google I/O we released Gemini 3.5, our latest series of models combining frontier intelligence with action.
Google DeepMind обновил Project Genie — теперь с реальными локациями из Street View.
Раньше Genie генерировал только фантазийные интерактивные миры. Теперь можно выбрать реальное место на карте США и превратить его в игровую среду: нырнуть под воду у Золотых Ворот, прогуляться по Форт-Уорту в стиле 1920-х или исследовать любимый район в пустынном антураже. Просто выбираешь точку на карте, стиль мира и описываешь своего персонажа — Genie делает остальное.
Технически это важно: модели теперь могут обучаться и взаимодействовать с виртуальными копиями реального мира. Та же технология уже помогает Waymo симулировать дороги.
Доступ открыт подписчикам Google AI Ultra за $200/мес по всему миру. Пока только места в США, расширение обещают позже. Проект всё ещё экспериментальный.
https://deepmind.google/blog/simulate-real-world-places-with-project-genie-and-street-view/
Раньше Genie генерировал только фантазийные интерактивные миры. Теперь можно выбрать реальное место на карте США и превратить его в игровую среду: нырнуть под воду у Золотых Ворот, прогуляться по Форт-Уорту в стиле 1920-х или исследовать любимый район в пустынном антураже. Просто выбираешь точку на карте, стиль мира и описываешь своего персонажа — Genie делает остальное.
Технически это важно: модели теперь могут обучаться и взаимодействовать с виртуальными копиями реального мира. Та же технология уже помогает Waymo симулировать дороги.
Доступ открыт подписчикам Google AI Ultra за $200/мес по всему миру. Пока только места в США, расширение обещают позже. Проект всё ещё экспериментальный.
https://deepmind.google/blog/simulate-real-world-places-with-project-genie-and-street-view/
KV-кэш при INT2 без потери качества — звучит как фантастика, но вот как
Квантизация KV-кэша до экстремально малых битов (INT2) — одна из главных головных болей при деплое LLM с длинным контекстом. Стандартный подход — per-channel квантизация ключей — ломается на низких битах из-за того, что авторы называют Token Norm Imbalance (TNI): разные токены имеют очень разные нормы, и общие параметры квантизации не справляются.
Решение — OScaR (Omni-Scaled Canalized Rotation). Два простых шага: сначала Hadamard-преобразование (Canalized Rotation) убирает артефакты от аутлайеров, затем Omni-Token Scaling нормализует токены по всем направлениям. Никакого обучения, никаких сложных пайплайнов.
Результат: 4.1× рост throughput, 5.3× меньше памяти, 3× ускорение декодинга по сравнению с BF16. Работает на текстовых, мультимодальных и омни-моделях (Qwen3, Llama и др.).
Бритва Оккама в действии — чем проще, тем лучше.
https://arxiv.org/abs/2605.19660
Квантизация KV-кэша до экстремально малых битов (INT2) — одна из главных головных болей при деплое LLM с длинным контекстом. Стандартный подход — per-channel квантизация ключей — ломается на низких битах из-за того, что авторы называют Token Norm Imbalance (TNI): разные токены имеют очень разные нормы, и общие параметры квантизации не справляются.
Решение — OScaR (Omni-Scaled Canalized Rotation). Два простых шага: сначала Hadamard-преобразование (Canalized Rotation) убирает артефакты от аутлайеров, затем Omni-Token Scaling нормализует токены по всем направлениям. Никакого обучения, никаких сложных пайплайнов.
Результат: 4.1× рост throughput, 5.3× меньше памяти, 3× ускорение декодинга по сравнению с BF16. Работает на текстовых, мультимодальных и омни-моделях (Qwen3, Llama и др.).
Бритва Оккама в действии — чем проще, тем лучше.
https://arxiv.org/abs/2605.19660
Агент-детектор дефектов на заводе: LLM с инструментами вместо тупого классификатора
Традиционные методы поиска дефектов на производстве (автоэнкодеры, memory banks) ломаются на новых продуктах — их не видели при обучении. MLLMы умеют рассуждать о чём угодно, но галлюцинируют и путают блик с царапиной.
IndusAgent решает это агентным подходом: модель Qwen3-VL-8B вызывает инструменты — кроп подозрительной зоны, усиление текстуры, геометрические измерения, запрос "как должно выглядеть в норме". Обучение трёхэтапное: сначала синтетические CoT-траектории от сильной модели, потом SFT, потом RL через GRPO.
Ключевая фишка — Accuracy-Gated reward: бонус за вызов инструмента даётся ТОЛЬКО если итоговый диагноз верный. Это отучает модель спамить API-вызовами без толку.
Результат: +9.3% к SOTA на MVTec-AD, топ на пяти бенчмарках.
https://arxiv.org/abs/2605.20682
Традиционные методы поиска дефектов на производстве (автоэнкодеры, memory banks) ломаются на новых продуктах — их не видели при обучении. MLLMы умеют рассуждать о чём угодно, но галлюцинируют и путают блик с царапиной.
IndusAgent решает это агентным подходом: модель Qwen3-VL-8B вызывает инструменты — кроп подозрительной зоны, усиление текстуры, геометрические измерения, запрос "как должно выглядеть в норме". Обучение трёхэтапное: сначала синтетические CoT-траектории от сильной модели, потом SFT, потом RL через GRPO.
Ключевая фишка — Accuracy-Gated reward: бонус за вызов инструмента даётся ТОЛЬКО если итоговый диагноз верный. Это отучает модель спамить API-вызовами без толку.
Результат: +9.3% к SOTA на MVTec-AD, топ на пяти бенчмарках.
https://arxiv.org/abs/2605.20682
Рекурсивное мышление стало стохастическим — и это меняет всё
Существующие рекуррентные модели рассуждений (HRM, TRM) итеративно уточняют скрытое состояние, но детерминированы: при одном входе всегда один путь и одно решение. Это проблема, когда задача имеет несколько правильных ответов или рассуждение застревает в локальном минимуме.
Авторы из KAIST и Монреаля предлагают GRAM (Generative Recursive reAsoning Models): на каждом шаге рекурсии модель не просто обновляет скрытое состояние, а сэмплирует его из гауссиана вокруг детерминированного обновления. Так рождается распределение над траекториями рассуждений.
Ключевая идея: ширина как новая ось масштабирования. Вместо глубже (больше шагов рекурсии) — шире (больше параллельных траекторий). На задачах N-Queens и Graph Coloring GRAM находит несколько валидных решений там, где детерминированные модели коллапсируют к одному. На Sudoku-Extreme и ARC-AGI — бьёт базовые рекуррентные модели.
Существующие рекуррентные модели рассуждений (HRM, TRM) итеративно уточняют скрытое состояние, но детерминированы: при одном входе всегда один путь и одно решение. Это проблема, когда задача имеет несколько правильных ответов или рассуждение застревает в локальном минимуме.
Авторы из KAIST и Монреаля предлагают GRAM (Generative Recursive reAsoning Models): на каждом шаге рекурсии модель не просто обновляет скрытое состояние, а сэмплирует его из гауссиана вокруг детерминированного обновления. Так рождается распределение над траекториями рассуждений.
Ключевая идея: ширина как новая ось масштабирования. Вместо глубже (больше шагов рекурсии) — шире (больше параллельных траекторий). На задачах N-Queens и Graph Coloring GRAM находит несколько валидных решений там, где детерминированные модели коллапсируют к одному. На Sudoku-Extreme и ARC-AGI — бьёт базовые рекуррентные модели.
OpenAI совершила прорыв в математике. Их модель опровергла гипотезу о единичных расстояниях — задачу, которая не давалась математикам 80 лет.
Речь о классической проблеме дискретной геометрии: сколько пар точек на плоскости могут находиться на одинаковом расстоянии друг от друга? Долгое время существовала центральная гипотеза об ограничениях таких конфигураций — и вот ИИ её опроверг.
Это не просто красивая история. Это первый случай, когда языковая модель делает оригинальный вклад в фундаментальную математику, а не просто помогает с вычислениями или поиском доказательств. ИИ выступил полноценным участником научного процесса.
Для пользователей это сигнал: модели OpenAI выходят за рамки текстовых задач и становятся инструментом для реальных научных открытий.
https://openai.com/index/model-disproves-discrete-geometry-conjecture
Речь о классической проблеме дискретной геометрии: сколько пар точек на плоскости могут находиться на одинаковом расстоянии друг от друга? Долгое время существовала центральная гипотеза об ограничениях таких конфигураций — и вот ИИ её опроверг.
Это не просто красивая история. Это первый случай, когда языковая модель делает оригинальный вклад в фундаментальную математику, а не просто помогает с вычислениями или поиском доказательств. ИИ выступил полноценным участником научного процесса.
Для пользователей это сигнал: модели OpenAI выходят за рамки текстовых задач и становятся инструментом для реальных научных открытий.
https://openai.com/index/model-disproves-discrete-geometry-conjecture
OpenAI
An OpenAI model has disproved a central conjecture in discrete geometry
An OpenAI model solved the 80-year-old unit distance problem, disproving a major conjecture in discrete geometry and marking a milestone in AI-driven mathematics.
Video2GUI: качаем датасет для GUI-агентов из YouTube (by Peking University & Xiaomi)
Хотите научить агента кликать по интерфейсам — нужны данные. Но ручная разметка дорогая, а симуляторы не отражают реальность. Решение? Взять 500 миллионов YouTube-видео с туториалами.
Авторы предложили Video2GUI — пайплайн из трёх шагов: сначала грубая фильтрация по метаданным (DeepSeek-V3), потом визуальный скоринг качества видео, затем Gemini-3-Pro извлекает траектории действий с таймкодами и точными координатами кликов на экране.
Результат — датасет WildGUI: 12.7 млн траекторий, 124.5 млн скриншотов, 1500+ приложений и сайтов. Это на порядок больше любого предыдущего открытого датасета.
Дообучение Qwen2.5-VL и Mimo-VL на WildGUI даёт заметный прирост на GUI-бенчмарках. Датасет и пайплайн обещают открыть.
https://arxiv.org/abs/2605.14747
Хотите научить агента кликать по интерфейсам — нужны данные. Но ручная разметка дорогая, а симуляторы не отражают реальность. Решение? Взять 500 миллионов YouTube-видео с туториалами.
Авторы предложили Video2GUI — пайплайн из трёх шагов: сначала грубая фильтрация по метаданным (DeepSeek-V3), потом визуальный скоринг качества видео, затем Gemini-3-Pro извлекает траектории действий с таймкодами и точными координатами кликов на экране.
Результат — датасет WildGUI: 12.7 млн траекторий, 124.5 млн скриншотов, 1500+ приложений и сайтов. Это на порядок больше любого предыдущего открытого датасета.
Дообучение Qwen2.5-VL и Mimo-VL на WildGUI даёт заметный прирост на GUI-бенчмарках. Датасет и пайплайн обещают открыть.
https://arxiv.org/abs/2605.14747