PhysBrain 1.0: сначала понять физику, потом двигаться (by DeepCybo)

Большинство VLA-роботов учатся так: собери траектории телеоперации, обучи политику, масштабируй. PhysBrain 1.0 говорит: стоп, это тупик.

Идея: сначала научи модель понимать физический мир через видео от первого лица (Ego4D и др.), и только потом адаптируй под конкретного робота. Человеческое эго-видео дешевле, разнообразнее и полно физических паттернов: контакты, досягаемость, изменение состояния объектов.

Ключевой трюк — data engine, который работает как компилятор: сырое видео → структурированные метаданные сцены (объекты, пространственные отношения, глубина) → физически обоснованные QA-пары для обучения. Никаких дженерик-капшнов.

Результат: модель хорошо работает и на VLM-бенчмарках (MMMU, MME), и на робо-бенчмарках (LIBERO, SimplerEnv) — используя минимум реальных траекторий робота.

https://arxiv.org/abs/2605.15298

LongLive-2.0: генерация длинных видео в реальном времени (by NVIDIA)

Главная боль генерации длинных видео — огромное потребление памяти GPU и низкая скорость. NVIDIA представила LongLive-2.0 — инфраструктуру, которая решает это через совместный дизайн обучения и инференса.

Ключевые идеи:

1. Balanced SP — новый sequence parallelism для AR-обучения. Вместо наивной нарезки последовательности каждый GPU получает пару clean+noisy латентов из одного временного чанка. Это балансирует нагрузку и убирает дублирование VAE-энкодинга.

2. NVFP4 — 4-битное квантование весов и активаций (W4A4) на Blackwell GPU даёт ускорение GEMM в 2-4x. Причём квантование используется и при обучении, и при инференсе — нет разрыва между ними.

3. Асинхронный декодинг — VAE-декодирование перекрывается с диффузионными шагами, что приближает end-to-end FPS к model-only FPS.

В итоге пайплайн обучения упростился: не нужны ODE-инициализация и многоэтапный DMD — только прямой AR fine-tuning + standalone LoRA для real-time инференса.

Агентский пруver для Lean 4, который учится на своих ошибках

Большинство систем автодоказательства теорем генерируют доказательство за один проход и надеются на лучшее. OProver делает иначе: это единый фреймворк, где модель итеративно правит доказательство, используя обратную связь от компилятора Lean 4 и retrieved примеры похожих доказанных теорем.

Ключевая идея: устранить разрыв train-inference. Обычно retrieval и фидбек компилятора применяются только при инференсе, а модель их никогда не видела при обучении. OProver обучает политику именно на таких траекториях: провал → ошибка компилятора → правка → успех.

Корпус OProofs содержит 1.77M утверждений и 6.86M верифицированных доказательств, плюс сериализованные траектории с ошибками и починками — чего нет в других Lean-датасетах.

Обучение: CPT на Lean-коде → итеративный SFT+RL, где новые доказательства сразу добавляются в retrieval memory.

Результат: OProver-32B достигает Pass@32 = 93.3 на MiniF2F и 11.3 на PutnamBench — SOTA среди open-weight моделей.

Зачем вообще нужен отдельный vision encoder в мультимодальных моделях?

Оказывается — незачем. Новая работа изучает scaling laws для "нативных" мультимодальных моделей, обученных с нуля на всех модальностях сразу, без предобученных LLM или vision encoder'ов.

Главные находки:

Early fusion (сырые патчи изображений прямо в трансформер) работает так же хорошо, как late fusion (отдельный энкодер + LLM), но требует меньше параметров. Late fusion просто тратит их впустую.

Scaling laws для таких моделей похожи на законы для текстовых LLM — параметры и токены нужно масштабировать примерно одинаково.

Добавление MoE даёт большой прирост, причём эксперты сами учатся специализироваться по модальностям — особенно в первых и последних слоях. При этом modality-agnostic routing бьёт modality-aware.

Вывод: строить мультимодальные модели с нуля проще и эффективнее, чем склеивать готовые части.

https://arxiv.org/abs/2504.07951

PyTorch выпустил MLX делегат для ExecuTorch — теперь модели на Apple Silicon работают с ускорением на GPU через фреймворк Apple MLX.

Раньше пользователи macOS были ограничены CPU-бэкендами вроде XNNPACK. Новый делегат даёт 3-6x прирост производительности на генеративных задачах.

Что поддерживается: Llama, Qwen, Gemma, Phi-4, модели речи Whisper, Voxtral и Parakeet — включая стриминг в реальном времени. Квантизация: BF16, FP16, FP32, 2/4/8-bit и даже NVFP4.

Воркфлоу стандартный: экспортируешь модель через torch.export, применяешь MLXPartitioner, запускаешь .pte файл. Код приложения менять не нужно — тот же ExecuTorch API.

Делегат пока экспериментальный, но уже проверен на 30+ моделях.

https://pytorch.org/blog/running-pytorch-models-on-apple-silicon-gpus-with-the-executorch-mlx-delegate/

ИИ-исследователь, который учится на своих ошибках и не начинает каждый раз с нуля

AutoResearchClaw — это мультиагентная система для автономного проведения исследований, которая решает три ключевые проблемы существующих подходов типа AI Scientist.

Во-первых, гипотезы проверяются через дебаты трёх агентов с разными ролями: Инноватор, Прагматик и Скептик — чтобы не было эффекта "сам придумал, сам одобрил". Во-вторых, упавший эксперимент не выбрасывается, а анализируется: система решает — починить текущий подход (Refine) или сменить направление (Pivot). В-третьих, уроки из прошлых запусков сохраняются с временным затуханием и инжектируются в новые попытки.

Плюс есть 7 режимов участия человека: от полной автономии до пошагового одобрения. Оказалось, что точечное вмешательство в ключевых точках бьёт оба крайних варианта.

На бенчмарке ARC-Bench система обгоняет AI Scientist v2 на 54.7%.

https://arxiv.org/abs/2605.20025

EnvFactory: как автоматически строить среды для обучения tool-use агентов

Чтобы обучать LLM-агентов пользоваться инструментами через RL, нужны две вещи: реалистичные исполняемые среды и качественные траектории взаимодействия. Обе проблемы болезненные: реальные API дорогие и медленные, LLM-симуляции галлюцинируют, а синтетические данные выглядят как "списки инструкций", а не живые запросы.

EnvFactory решает это полностью автоматически. Три агента (Search, Code, Test) сами находят реальные онлайн-ресурсы, пишут код окружений с базами данных и проверяют их. Для данных используется topology-aware sampling — граф зависимостей инструментов, где рекурсивно разрешаются зависимости перед выбором следующего шага. Запросы потом "очеловечиваются": добавляется неявность и амбигуэтность.

Результат: 85 сред, 842 инструмента, +15% на BFCLv3 для Qwen3 — при в 5 раз меньшем числе сред, чем у конкурентов.

https://arxiv.org/abs/2605.18703

TDD для веб-приложений: от "запускается" к "работает как надо"

Агенты вроде Cursor или Devin умеют генерировать веб-приложения, но в 70% случаев они не выполняют требования. Проблема: TDD-подход (написал тест → написал код → проверил) не работает для веба, потому что нельзя просто "прочитать вывод компилятора" — нужно деплоить, кликать по кнопкам и наблюдать.

Авторы из CUHK сделали TDDev — фреймворк, который автоматизирует весь цикл: генерирует acceptance-тесты из требований через user personas (в духе "soap opera testing"), деплоит приложение, гоняет браузерного агента по UI, и переводит визуальные баги в конкретные инструкции для починки.

Результат: +34–48 процентных пунктов к качеству над baseline. Важный нюанс: сильным моделям нужен "agentic TDD" (низкий контроль), слабым — инкрементальный. Несовпадение стиля модели и протокола убивает весь профит и увеличивает расход токенов в 25 раз.

https://arxiv.org/abs/2605.17242

Google на I/O 2026 объявила о переходе в «агентную эру» Gemini.

Главное: два новых флагмана. Gemini Omni создаёт что угодно из любого типа контента — видео, текст, изображения — и понимает мир на новом уровне. Gemini 3.5 Flash заточен под сложные агентные задачи: он не просто отвечает, а действует.

Платформа Google Antigravity превращает AI из помощника в исполнителя: агенты теперь сами делают дела, а не просто советуют. Universal Cart — умная корзина для покупок, которая работает как агент. В поиске появились Information Agents. Gemini Spark и Daily Brief — новые фичи в приложении.

Из неожиданного: умные очки с навигацией и камерой выйдут осенью, Ask YouTube меняет поиск на платформе, а Co-Scientist помогает учёным ускорять открытия.

Google явно делает ставку на то, что AI перестаёт быть инструментом и становится агентом, который действует за вас.

https://blog.google/innovation-and-ai/technology/developers-tools/google-io-2026-collection/

Google Gemini запустил Gemini 3.5 Flash — новую модель для агентных задач и кода.

Что нового: модель обгоняет Gemini 3.1 Pro на бенчмарках по коду и агентным задачам, работает в 4 раза быстрее других флагманских моделей и стоит вдвое дешевле конкурентов. Поддерживает запуск нескольких субагентов параллельно через платформу Google Antigravity.

Почему важно: то, что раньше занимало у разработчика несколько дней — теперь решается за часы. Shopify, Salesforce, Macquarie Bank и Xero уже используют модель для автоматизации сложных многонедельных процессов.

Для обычных пользователей: 3.5 Flash стал дефолтной моделью в приложении Gemini и в AI Mode в поиске. Скоро выйдет личный агент Gemini Spark — он будет работать 24/7 и выполнять задачи от вашего имени. Бета для подписчиков AI Ultra в США — уже на следующей неделе.

Следующий на очереди — Gemini 3.5 Pro, релиз ожидается в июне.

https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-5/

Google DeepMind обновил Project Genie — теперь с реальными локациями из Street View.

Раньше Genie генерировал только фантазийные интерактивные миры. Теперь можно выбрать реальное место на карте США и превратить его в игровую среду: нырнуть под воду у Золотых Ворот, прогуляться по Форт-Уорту в стиле 1920-х или исследовать любимый район в пустынном антураже. Просто выбираешь точку на карте, стиль мира и описываешь своего персонажа — Genie делает остальное.

Технически это важно: модели теперь могут обучаться и взаимодействовать с виртуальными копиями реального мира. Та же технология уже помогает Waymo симулировать дороги.

Доступ открыт подписчикам Google AI Ultra за $200/мес по всему миру. Пока только места в США, расширение обещают позже. Проект всё ещё экспериментальный.

https://deepmind.google/blog/simulate-real-world-places-with-project-genie-and-street-view/

KV-кэш при INT2 без потери качества — звучит как фантастика, но вот как

Квантизация KV-кэша до экстремально малых битов (INT2) — одна из главных головных болей при деплое LLM с длинным контекстом. Стандартный подход — per-channel квантизация ключей — ломается на низких битах из-за того, что авторы называют Token Norm Imbalance (TNI): разные токены имеют очень разные нормы, и общие параметры квантизации не справляются.

Решение — OScaR (Omni-Scaled Canalized Rotation). Два простых шага: сначала Hadamard-преобразование (Canalized Rotation) убирает артефакты от аутлайеров, затем Omni-Token Scaling нормализует токены по всем направлениям. Никакого обучения, никаких сложных пайплайнов.

Результат: 4.1× рост throughput, 5.3× меньше памяти, 3× ускорение декодинга по сравнению с BF16. Работает на текстовых, мультимодальных и омни-моделях (Qwen3, Llama и др.).

Бритва Оккама в действии — чем проще, тем лучше.

https://arxiv.org/abs/2605.19660

Агент-детектор дефектов на заводе: LLM с инструментами вместо тупого классификатора

Традиционные методы поиска дефектов на производстве (автоэнкодеры, memory banks) ломаются на новых продуктах — их не видели при обучении. MLLMы умеют рассуждать о чём угодно, но галлюцинируют и путают блик с царапиной.

IndusAgent решает это агентным подходом: модель Qwen3-VL-8B вызывает инструменты — кроп подозрительной зоны, усиление текстуры, геометрические измерения, запрос "как должно выглядеть в норме". Обучение трёхэтапное: сначала синтетические CoT-траектории от сильной модели, потом SFT, потом RL через GRPO.

Ключевая фишка — Accuracy-Gated reward: бонус за вызов инструмента даётся ТОЛЬКО если итоговый диагноз верный. Это отучает модель спамить API-вызовами без толку.

Результат: +9.3% к SOTA на MVTec-AD, топ на пяти бенчмарках.

https://arxiv.org/abs/2605.20682

Рекурсивное мышление стало стохастическим — и это меняет всё

Существующие рекуррентные модели рассуждений (HRM, TRM) итеративно уточняют скрытое состояние, но детерминированы: при одном входе всегда один путь и одно решение. Это проблема, когда задача имеет несколько правильных ответов или рассуждение застревает в локальном минимуме.

Авторы из KAIST и Монреаля предлагают GRAM (Generative Recursive reAsoning Models): на каждом шаге рекурсии модель не просто обновляет скрытое состояние, а сэмплирует его из гауссиана вокруг детерминированного обновления. Так рождается распределение над траекториями рассуждений.

Ключевая идея: ширина как новая ось масштабирования. Вместо глубже (больше шагов рекурсии) — шире (больше параллельных траекторий). На задачах N-Queens и Graph Coloring GRAM находит несколько валидных решений там, где детерминированные модели коллапсируют к одному. На Sudoku-Extreme и ARC-AGI — бьёт базовые рекуррентные модели.

OpenAI совершила прорыв в математике. Их модель опровергла гипотезу о единичных расстояниях — задачу, которая не давалась математикам 80 лет.

Речь о классической проблеме дискретной геометрии: сколько пар точек на плоскости могут находиться на одинаковом расстоянии друг от друга? Долгое время существовала центральная гипотеза об ограничениях таких конфигураций — и вот ИИ её опроверг.

Это не просто красивая история. Это первый случай, когда языковая модель делает оригинальный вклад в фундаментальную математику, а не просто помогает с вычислениями или поиском доказательств. ИИ выступил полноценным участником научного процесса.

Для пользователей это сигнал: модели OpenAI выходят за рамки текстовых задач и становятся инструментом для реальных научных открытий.

https://openai.com/index/model-disproves-discrete-geometry-conjecture

Video2GUI: качаем датасет для GUI-агентов из YouTube (by Peking University & Xiaomi)

Хотите научить агента кликать по интерфейсам — нужны данные. Но ручная разметка дорогая, а симуляторы не отражают реальность. Решение? Взять 500 миллионов YouTube-видео с туториалами.

Авторы предложили Video2GUI — пайплайн из трёх шагов: сначала грубая фильтрация по метаданным (DeepSeek-V3), потом визуальный скоринг качества видео, затем Gemini-3-Pro извлекает траектории действий с таймкодами и точными координатами кликов на экране.

Результат — датасет WildGUI: 12.7 млн траекторий, 124.5 млн скриншотов, 1500+ приложений и сайтов. Это на порядок больше любого предыдущего открытого датасета.

Дообучение Qwen2.5-VL и Mimo-VL на WildGUI даёт заметный прирост на GUI-бенчмарках. Датасет и пайплайн обещают открыть.

https://arxiv.org/abs/2605.14747

Whisper не справляется с реальным шумом? Попробуй 54 сценария одновременно

Проблема ASR в реальных условиях: модели обучают на чистой речи или одном типе шума, а в жизни всё смешивается — эхо + далёкий микрофон + помехи в канале одновременно. WER на таких условиях прыгает с 1% до 30–70%.

Авторы из NUS предложили MEGA-ASR. Ключевые части:

1. Датасет VOICES-IN-THE-WILD-2M: 2.4М клипов, 7 атомарных акустических эффектов скомпонованы в 54 составных сценария (например, церковь = far-field + эхо + реверберация). Генерация через спектральные преобразования, а не сбор реальных данных.

2. Progressive SFT: сначала учим воспринимать акустику, потом восстанавливать семантику.

3. DG-WGPO — новый RL-reward: при WER>30% обычный WER-сигнал бесполезен, поэтому динамически переключаются между токен-уровневым и предложение-уровневым вознаграждением.

Результат: даже SOTA Qwen3-ASR даёт 35% WER на их бенчмарке, MEGA-ASR существенно лучше.

https://arxiv.org/abs/2605.19833

Агентские траектории как бесплатные данные для обучения длинному контексту

Обучать LLM работать с длинным контекстом дорого: нужны аннотированные документы или синтетика. Но у нас уже есть агентские траектории! Авторы из USTC заметили: когда агент решает задачу, он собирает кучу релевантных данных через вызовы инструментов. Проблема в том, что стандартный SFT маскирует ответы инструментов — модель учится только выбирать следующий инструмент, но не интегрировать разрозненные факты.

Метод ACC (Agent Context Compilation) простой: берём все ответы инструментов из траектории, склеиваем в один длинный контекст, перемешиваем куски случайно — и обучаем модель отвечать на исходный вопрос напрямую.

Результат: Qwen3-30B-A3B после ACC догоняет Qwen3-235B-A22B на бенчмарках MRCR (+18.1) и GraphWalks (+7.6), не теряя общих способностей. Модель в 8 раз меньше, а результат сопоставимый — только за счёт умного переиспользования агентских данных.

https://arxiv.org/abs/2605.21850

Microsoft Research выпустила MagenticLite — агентное приложение нового поколения, которое работает одновременно в браузере и локальной файловой системе. Это наследник Magentic-UI с переработанным интерфейсом.

Система состоит из трёх компонентов. MagenticBrain — модель на 14B параметров, которая планирует задачи, пишет код и управляет субагентами. Fara1.5 — семейство моделей для работы в браузере (4B, 9B, 27B), которое почти вдвое превосходит предыдущую Fara-7B на задачах веб-навигации и устанавливает новый SOTA среди малых моделей.

Главная идея: мощные агенты не требуют огромных моделей — достаточно правильно совместить инструменты, обучение и оркестрацию. Все данные остаются на машине пользователя. Агент умеет заполнять формы, работать с авторизацией и выполнять многошаговые задачи, запрашивая разрешение в критических точках.

https://www.microsoft.com/en-us/research/blog/magenticlite-magenticbrain-fara1-5-an-agentic-experience-optimized-for-small-models/

Microsoft Research представила Vega — систему для приватной верификации цифровых документов с помощью криптографических доказательств с нулевым разглашением (ZKP).

Суть простая: вместо того чтобы отправлять скан паспорта или прав на сайт, ваш телефон генерирует математическое доказательство — например, что вам больше 18 лет. Сервис получает только этот факт, сам документ никуда не уходит.

Что важно технически: доказательство генерируется за 92 мс прямо на устройстве, весит 108 КБ, не требует доверенной настройки и работает с реальными форматами — водительскими удостоверениями и EU Digital Identity Wallet.

Почему это актуально сейчас: AI-агенты всё чаще действуют от имени пользователей, и им нужно как-то подтверждать личность. При этом утечки баз с копиями документов уже стали нормой. Vega решает оба вопроса разом.

Код написан на Rust, скоро будет открыт. Стандарты EUDI и UK Online Safety Act создают прямой спрос на такие решения.

https://www.microsoft.com/en-us/research/blog/vega-zero-knowledge-proofs-for-digital-identity-in-the-age-of-ai/

Nvidia Tech запустила мультиагентную систему для поиска торговых сигналов в квантовых финансах.

Раньше квант-исследователи вручную придумывали гипотезы, писали код, тестировали и дорабатывали сотни сигналов — это занимало недели. Теперь три специализированных агента делают это в автоматическом цикле: первый генерирует гипотезы сигналов на основе рыночных данных, второй переводит их в Python-код, третий запускает бэктестинг и возвращает слабые сигналы на доработку.

Система построена на моделях семейства Nemotron и библиотеке NeMo Agent Toolkit. Вся логика настраивается через YAML-файл без изменения кода — можно быстро менять модели, пороги качества и глубину оптимизации.

Ключевой метрик — Rank IC: хорошим считается значение 0.02–0.05, выше 0.05 — отличный сигнал.

Для финтех-команд это серьёзное ускорение исследовательского цикла в индустрии, где задержка в миллисекунды уже имеет значение.

https://developer.nvidia.com/blog/automating-and-optimizing-financial-signal-discovery-with-multi-agent-systems/