LongLive-2.0: генерация длинных видео в реальном времени (by NVIDIA)
Главная боль генерации длинных видео — огромное потребление памяти GPU и низкая скорость. NVIDIA представила LongLive-2.0 — инфраструктуру, которая решает это через совместный дизайн обучения и инференса.
Ключевые идеи:
1. Balanced SP — новый sequence parallelism для AR-обучения. Вместо наивной нарезки последовательности каждый GPU получает пару clean+noisy латентов из одного временного чанка. Это балансирует нагрузку и убирает дублирование VAE-энкодинга.
2. NVFP4 — 4-битное квантование весов и активаций (W4A4) на Blackwell GPU даёт ускорение GEMM в 2-4x. Причём квантование используется и при обучении, и при инференсе — нет разрыва между ними.
3. Асинхронный декодинг — VAE-декодирование перекрывается с диффузионными шагами, что приближает end-to-end FPS к model-only FPS.
В итоге пайплайн обучения упростился: не нужны ODE-инициализация и многоэтапный DMD — только прямой AR fine-tuning + standalone LoRA для real-time инференса.
Главная боль генерации длинных видео — огромное потребление памяти GPU и низкая скорость. NVIDIA представила LongLive-2.0 — инфраструктуру, которая решает это через совместный дизайн обучения и инференса.
Ключевые идеи:
1. Balanced SP — новый sequence parallelism для AR-обучения. Вместо наивной нарезки последовательности каждый GPU получает пару clean+noisy латентов из одного временного чанка. Это балансирует нагрузку и убирает дублирование VAE-энкодинга.
2. NVFP4 — 4-битное квантование весов и активаций (W4A4) на Blackwell GPU даёт ускорение GEMM в 2-4x. Причём квантование используется и при обучении, и при инференсе — нет разрыва между ними.
3. Асинхронный декодинг — VAE-декодирование перекрывается с диффузионными шагами, что приближает end-to-end FPS к model-only FPS.
В итоге пайплайн обучения упростился: не нужны ODE-инициализация и многоэтапный DMD — только прямой AR fine-tuning + standalone LoRA для real-time инференса.
Агентский пруver для Lean 4, который учится на своих ошибках
Большинство систем автодоказательства теорем генерируют доказательство за один проход и надеются на лучшее. OProver делает иначе: это единый фреймворк, где модель итеративно правит доказательство, используя обратную связь от компилятора Lean 4 и retrieved примеры похожих доказанных теорем.
Ключевая идея: устранить разрыв train-inference. Обычно retrieval и фидбек компилятора применяются только при инференсе, а модель их никогда не видела при обучении. OProver обучает политику именно на таких траекториях: провал → ошибка компилятора → правка → успех.
Корпус OProofs содержит 1.77M утверждений и 6.86M верифицированных доказательств, плюс сериализованные траектории с ошибками и починками — чего нет в других Lean-датасетах.
Обучение: CPT на Lean-коде → итеративный SFT+RL, где новые доказательства сразу добавляются в retrieval memory.
Результат: OProver-32B достигает Pass@32 = 93.3 на MiniF2F и 11.3 на PutnamBench — SOTA среди open-weight моделей.
Большинство систем автодоказательства теорем генерируют доказательство за один проход и надеются на лучшее. OProver делает иначе: это единый фреймворк, где модель итеративно правит доказательство, используя обратную связь от компилятора Lean 4 и retrieved примеры похожих доказанных теорем.
Ключевая идея: устранить разрыв train-inference. Обычно retrieval и фидбек компилятора применяются только при инференсе, а модель их никогда не видела при обучении. OProver обучает политику именно на таких траекториях: провал → ошибка компилятора → правка → успех.
Корпус OProofs содержит 1.77M утверждений и 6.86M верифицированных доказательств, плюс сериализованные траектории с ошибками и починками — чего нет в других Lean-датасетах.
Обучение: CPT на Lean-коде → итеративный SFT+RL, где новые доказательства сразу добавляются в retrieval memory.
Результат: OProver-32B достигает Pass@32 = 93.3 на MiniF2F и 11.3 на PutnamBench — SOTA среди open-weight моделей.
Зачем вообще нужен отдельный vision encoder в мультимодальных моделях?
Оказывается — незачем. Новая работа изучает scaling laws для "нативных" мультимодальных моделей, обученных с нуля на всех модальностях сразу, без предобученных LLM или vision encoder'ов.
Главные находки:
Early fusion (сырые патчи изображений прямо в трансформер) работает так же хорошо, как late fusion (отдельный энкодер + LLM), но требует меньше параметров. Late fusion просто тратит их впустую.
Scaling laws для таких моделей похожи на законы для текстовых LLM — параметры и токены нужно масштабировать примерно одинаково.
Добавление MoE даёт большой прирост, причём эксперты сами учатся специализироваться по модальностям — особенно в первых и последних слоях. При этом modality-agnostic routing бьёт modality-aware.
Вывод: строить мультимодальные модели с нуля проще и эффективнее, чем склеивать готовые части.
https://arxiv.org/abs/2504.07951
Оказывается — незачем. Новая работа изучает scaling laws для "нативных" мультимодальных моделей, обученных с нуля на всех модальностях сразу, без предобученных LLM или vision encoder'ов.
Главные находки:
Early fusion (сырые патчи изображений прямо в трансформер) работает так же хорошо, как late fusion (отдельный энкодер + LLM), но требует меньше параметров. Late fusion просто тратит их впустую.
Scaling laws для таких моделей похожи на законы для текстовых LLM — параметры и токены нужно масштабировать примерно одинаково.
Добавление MoE даёт большой прирост, причём эксперты сами учатся специализироваться по модальностям — особенно в первых и последних слоях. При этом modality-agnostic routing бьёт modality-aware.
Вывод: строить мультимодальные модели с нуля проще и эффективнее, чем склеивать готовые части.
https://arxiv.org/abs/2504.07951
PyTorch выпустил MLX делегат для ExecuTorch — теперь модели на Apple Silicon работают с ускорением на GPU через фреймворк Apple MLX.
Раньше пользователи macOS были ограничены CPU-бэкендами вроде XNNPACK. Новый делегат даёт 3-6x прирост производительности на генеративных задачах.
Что поддерживается: Llama, Qwen, Gemma, Phi-4, модели речи Whisper, Voxtral и Parakeet — включая стриминг в реальном времени. Квантизация: BF16, FP16, FP32, 2/4/8-bit и даже NVFP4.
Воркфлоу стандартный: экспортируешь модель через torch.export, применяешь MLXPartitioner, запускаешь .pte файл. Код приложения менять не нужно — тот же ExecuTorch API.
Делегат пока экспериментальный, но уже проверен на 30+ моделях.
https://pytorch.org/blog/running-pytorch-models-on-apple-silicon-gpus-with-the-executorch-mlx-delegate/
Раньше пользователи macOS были ограничены CPU-бэкендами вроде XNNPACK. Новый делегат даёт 3-6x прирост производительности на генеративных задачах.
Что поддерживается: Llama, Qwen, Gemma, Phi-4, модели речи Whisper, Voxtral и Parakeet — включая стриминг в реальном времени. Квантизация: BF16, FP16, FP32, 2/4/8-bit и даже NVFP4.
Воркфлоу стандартный: экспортируешь модель через torch.export, применяешь MLXPartitioner, запускаешь .pte файл. Код приложения менять не нужно — тот же ExecuTorch API.
Делегат пока экспериментальный, но уже проверен на 30+ моделях.
https://pytorch.org/blog/running-pytorch-models-on-apple-silicon-gpus-with-the-executorch-mlx-delegate/
ИИ-исследователь, который учится на своих ошибках и не начинает каждый раз с нуля
AutoResearchClaw — это мультиагентная система для автономного проведения исследований, которая решает три ключевые проблемы существующих подходов типа AI Scientist.
Во-первых, гипотезы проверяются через дебаты трёх агентов с разными ролями: Инноватор, Прагматик и Скептик — чтобы не было эффекта "сам придумал, сам одобрил". Во-вторых, упавший эксперимент не выбрасывается, а анализируется: система решает — починить текущий подход (Refine) или сменить направление (Pivot). В-третьих, уроки из прошлых запусков сохраняются с временным затуханием и инжектируются в новые попытки.
Плюс есть 7 режимов участия человека: от полной автономии до пошагового одобрения. Оказалось, что точечное вмешательство в ключевых точках бьёт оба крайних варианта.
На бенчмарке ARC-Bench система обгоняет AI Scientist v2 на 54.7%.
https://arxiv.org/abs/2605.20025
AutoResearchClaw — это мультиагентная система для автономного проведения исследований, которая решает три ключевые проблемы существующих подходов типа AI Scientist.
Во-первых, гипотезы проверяются через дебаты трёх агентов с разными ролями: Инноватор, Прагматик и Скептик — чтобы не было эффекта "сам придумал, сам одобрил". Во-вторых, упавший эксперимент не выбрасывается, а анализируется: система решает — починить текущий подход (Refine) или сменить направление (Pivot). В-третьих, уроки из прошлых запусков сохраняются с временным затуханием и инжектируются в новые попытки.
Плюс есть 7 режимов участия человека: от полной автономии до пошагового одобрения. Оказалось, что точечное вмешательство в ключевых точках бьёт оба крайних варианта.
На бенчмарке ARC-Bench система обгоняет AI Scientist v2 на 54.7%.
https://arxiv.org/abs/2605.20025
EnvFactory: как автоматически строить среды для обучения tool-use агентов
Чтобы обучать LLM-агентов пользоваться инструментами через RL, нужны две вещи: реалистичные исполняемые среды и качественные траектории взаимодействия. Обе проблемы болезненные: реальные API дорогие и медленные, LLM-симуляции галлюцинируют, а синтетические данные выглядят как "списки инструкций", а не живые запросы.
EnvFactory решает это полностью автоматически. Три агента (Search, Code, Test) сами находят реальные онлайн-ресурсы, пишут код окружений с базами данных и проверяют их. Для данных используется topology-aware sampling — граф зависимостей инструментов, где рекурсивно разрешаются зависимости перед выбором следующего шага. Запросы потом "очеловечиваются": добавляется неявность и амбигуэтность.
Результат: 85 сред, 842 инструмента, +15% на BFCLv3 для Qwen3 — при в 5 раз меньшем числе сред, чем у конкурентов.
https://arxiv.org/abs/2605.18703
Чтобы обучать LLM-агентов пользоваться инструментами через RL, нужны две вещи: реалистичные исполняемые среды и качественные траектории взаимодействия. Обе проблемы болезненные: реальные API дорогие и медленные, LLM-симуляции галлюцинируют, а синтетические данные выглядят как "списки инструкций", а не живые запросы.
EnvFactory решает это полностью автоматически. Три агента (Search, Code, Test) сами находят реальные онлайн-ресурсы, пишут код окружений с базами данных и проверяют их. Для данных используется topology-aware sampling — граф зависимостей инструментов, где рекурсивно разрешаются зависимости перед выбором следующего шага. Запросы потом "очеловечиваются": добавляется неявность и амбигуэтность.
Результат: 85 сред, 842 инструмента, +15% на BFCLv3 для Qwen3 — при в 5 раз меньшем числе сред, чем у конкурентов.
https://arxiv.org/abs/2605.18703
TDD для веб-приложений: от "запускается" к "работает как надо"
Агенты вроде Cursor или Devin умеют генерировать веб-приложения, но в 70% случаев они не выполняют требования. Проблема: TDD-подход (написал тест → написал код → проверил) не работает для веба, потому что нельзя просто "прочитать вывод компилятора" — нужно деплоить, кликать по кнопкам и наблюдать.
Авторы из CUHK сделали TDDev — фреймворк, который автоматизирует весь цикл: генерирует acceptance-тесты из требований через user personas (в духе "soap opera testing"), деплоит приложение, гоняет браузерного агента по UI, и переводит визуальные баги в конкретные инструкции для починки.
Результат: +34–48 процентных пунктов к качеству над baseline. Важный нюанс: сильным моделям нужен "agentic TDD" (низкий контроль), слабым — инкрементальный. Несовпадение стиля модели и протокола убивает весь профит и увеличивает расход токенов в 25 раз.
https://arxiv.org/abs/2605.17242
Агенты вроде Cursor или Devin умеют генерировать веб-приложения, но в 70% случаев они не выполняют требования. Проблема: TDD-подход (написал тест → написал код → проверил) не работает для веба, потому что нельзя просто "прочитать вывод компилятора" — нужно деплоить, кликать по кнопкам и наблюдать.
Авторы из CUHK сделали TDDev — фреймворк, который автоматизирует весь цикл: генерирует acceptance-тесты из требований через user personas (в духе "soap opera testing"), деплоит приложение, гоняет браузерного агента по UI, и переводит визуальные баги в конкретные инструкции для починки.
Результат: +34–48 процентных пунктов к качеству над baseline. Важный нюанс: сильным моделям нужен "agentic TDD" (низкий контроль), слабым — инкрементальный. Несовпадение стиля модели и протокола убивает весь профит и увеличивает расход токенов в 25 раз.
https://arxiv.org/abs/2605.17242
Google на I/O 2026 объявила о переходе в «агентную эру» Gemini.
Главное: два новых флагмана. Gemini Omni создаёт что угодно из любого типа контента — видео, текст, изображения — и понимает мир на новом уровне. Gemini 3.5 Flash заточен под сложные агентные задачи: он не просто отвечает, а действует.
Платформа Google Antigravity превращает AI из помощника в исполнителя: агенты теперь сами делают дела, а не просто советуют. Universal Cart — умная корзина для покупок, которая работает как агент. В поиске появились Information Agents. Gemini Spark и Daily Brief — новые фичи в приложении.
Из неожиданного: умные очки с навигацией и камерой выйдут осенью, Ask YouTube меняет поиск на платформе, а Co-Scientist помогает учёным ускорять открытия.
Google явно делает ставку на то, что AI перестаёт быть инструментом и становится агентом, который действует за вас.
https://blog.google/innovation-and-ai/technology/developers-tools/google-io-2026-collection/
Главное: два новых флагмана. Gemini Omni создаёт что угодно из любого типа контента — видео, текст, изображения — и понимает мир на новом уровне. Gemini 3.5 Flash заточен под сложные агентные задачи: он не просто отвечает, а действует.
Платформа Google Antigravity превращает AI из помощника в исполнителя: агенты теперь сами делают дела, а не просто советуют. Universal Cart — умная корзина для покупок, которая работает как агент. В поиске появились Information Agents. Gemini Spark и Daily Brief — новые фичи в приложении.
Из неожиданного: умные очки с навигацией и камерой выйдут осенью, Ask YouTube меняет поиск на платформе, а Co-Scientist помогает учёным ускорять открытия.
Google явно делает ставку на то, что AI перестаёт быть инструментом и становится агентом, который действует за вас.
https://blog.google/innovation-and-ai/technology/developers-tools/google-io-2026-collection/
blog.google
I/O 2026
At Google I/O 2026, we shared how we’re making AI more helpful for everyone. See everything we announced.
Google Gemini запустил Gemini 3.5 Flash — новую модель для агентных задач и кода.
Что нового: модель обгоняет Gemini 3.1 Pro на бенчмарках по коду и агентным задачам, работает в 4 раза быстрее других флагманских моделей и стоит вдвое дешевле конкурентов. Поддерживает запуск нескольких субагентов параллельно через платформу Google Antigravity.
Почему важно: то, что раньше занимало у разработчика несколько дней — теперь решается за часы. Shopify, Salesforce, Macquarie Bank и Xero уже используют модель для автоматизации сложных многонедельных процессов.
Для обычных пользователей: 3.5 Flash стал дефолтной моделью в приложении Gemini и в AI Mode в поиске. Скоро выйдет личный агент Gemini Spark — он будет работать 24/7 и выполнять задачи от вашего имени. Бета для подписчиков AI Ultra в США — уже на следующей неделе.
Следующий на очереди — Gemini 3.5 Pro, релиз ожидается в июне.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-5/
Что нового: модель обгоняет Gemini 3.1 Pro на бенчмарках по коду и агентным задачам, работает в 4 раза быстрее других флагманских моделей и стоит вдвое дешевле конкурентов. Поддерживает запуск нескольких субагентов параллельно через платформу Google Antigravity.
Почему важно: то, что раньше занимало у разработчика несколько дней — теперь решается за часы. Shopify, Salesforce, Macquarie Bank и Xero уже используют модель для автоматизации сложных многонедельных процессов.
Для обычных пользователей: 3.5 Flash стал дефолтной моделью в приложении Gemini и в AI Mode в поиске. Скоро выйдет личный агент Gemini Spark — он будет работать 24/7 и выполнять задачи от вашего имени. Бета для подписчиков AI Ultra в США — уже на следующей неделе.
Следующий на очереди — Gemini 3.5 Pro, релиз ожидается в июне.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-5/
Google
Gemini 3.5: frontier intelligence with action
At Google I/O we released Gemini 3.5, our latest series of models combining frontier intelligence with action.
Google DeepMind обновил Project Genie — теперь с реальными локациями из Street View.
Раньше Genie генерировал только фантазийные интерактивные миры. Теперь можно выбрать реальное место на карте США и превратить его в игровую среду: нырнуть под воду у Золотых Ворот, прогуляться по Форт-Уорту в стиле 1920-х или исследовать любимый район в пустынном антураже. Просто выбираешь точку на карте, стиль мира и описываешь своего персонажа — Genie делает остальное.
Технически это важно: модели теперь могут обучаться и взаимодействовать с виртуальными копиями реального мира. Та же технология уже помогает Waymo симулировать дороги.
Доступ открыт подписчикам Google AI Ultra за $200/мес по всему миру. Пока только места в США, расширение обещают позже. Проект всё ещё экспериментальный.
https://deepmind.google/blog/simulate-real-world-places-with-project-genie-and-street-view/
Раньше Genie генерировал только фантазийные интерактивные миры. Теперь можно выбрать реальное место на карте США и превратить его в игровую среду: нырнуть под воду у Золотых Ворот, прогуляться по Форт-Уорту в стиле 1920-х или исследовать любимый район в пустынном антураже. Просто выбираешь точку на карте, стиль мира и описываешь своего персонажа — Genie делает остальное.
Технически это важно: модели теперь могут обучаться и взаимодействовать с виртуальными копиями реального мира. Та же технология уже помогает Waymo симулировать дороги.
Доступ открыт подписчикам Google AI Ultra за $200/мес по всему миру. Пока только места в США, расширение обещают позже. Проект всё ещё экспериментальный.
https://deepmind.google/blog/simulate-real-world-places-with-project-genie-and-street-view/
KV-кэш при INT2 без потери качества — звучит как фантастика, но вот как
Квантизация KV-кэша до экстремально малых битов (INT2) — одна из главных головных болей при деплое LLM с длинным контекстом. Стандартный подход — per-channel квантизация ключей — ломается на низких битах из-за того, что авторы называют Token Norm Imbalance (TNI): разные токены имеют очень разные нормы, и общие параметры квантизации не справляются.
Решение — OScaR (Omni-Scaled Canalized Rotation). Два простых шага: сначала Hadamard-преобразование (Canalized Rotation) убирает артефакты от аутлайеров, затем Omni-Token Scaling нормализует токены по всем направлениям. Никакого обучения, никаких сложных пайплайнов.
Результат: 4.1× рост throughput, 5.3× меньше памяти, 3× ускорение декодинга по сравнению с BF16. Работает на текстовых, мультимодальных и омни-моделях (Qwen3, Llama и др.).
Бритва Оккама в действии — чем проще, тем лучше.
https://arxiv.org/abs/2605.19660
Квантизация KV-кэша до экстремально малых битов (INT2) — одна из главных головных болей при деплое LLM с длинным контекстом. Стандартный подход — per-channel квантизация ключей — ломается на низких битах из-за того, что авторы называют Token Norm Imbalance (TNI): разные токены имеют очень разные нормы, и общие параметры квантизации не справляются.
Решение — OScaR (Omni-Scaled Canalized Rotation). Два простых шага: сначала Hadamard-преобразование (Canalized Rotation) убирает артефакты от аутлайеров, затем Omni-Token Scaling нормализует токены по всем направлениям. Никакого обучения, никаких сложных пайплайнов.
Результат: 4.1× рост throughput, 5.3× меньше памяти, 3× ускорение декодинга по сравнению с BF16. Работает на текстовых, мультимодальных и омни-моделях (Qwen3, Llama и др.).
Бритва Оккама в действии — чем проще, тем лучше.
https://arxiv.org/abs/2605.19660
Агент-детектор дефектов на заводе: LLM с инструментами вместо тупого классификатора
Традиционные методы поиска дефектов на производстве (автоэнкодеры, memory banks) ломаются на новых продуктах — их не видели при обучении. MLLMы умеют рассуждать о чём угодно, но галлюцинируют и путают блик с царапиной.
IndusAgent решает это агентным подходом: модель Qwen3-VL-8B вызывает инструменты — кроп подозрительной зоны, усиление текстуры, геометрические измерения, запрос "как должно выглядеть в норме". Обучение трёхэтапное: сначала синтетические CoT-траектории от сильной модели, потом SFT, потом RL через GRPO.
Ключевая фишка — Accuracy-Gated reward: бонус за вызов инструмента даётся ТОЛЬКО если итоговый диагноз верный. Это отучает модель спамить API-вызовами без толку.
Результат: +9.3% к SOTA на MVTec-AD, топ на пяти бенчмарках.
https://arxiv.org/abs/2605.20682
Традиционные методы поиска дефектов на производстве (автоэнкодеры, memory banks) ломаются на новых продуктах — их не видели при обучении. MLLMы умеют рассуждать о чём угодно, но галлюцинируют и путают блик с царапиной.
IndusAgent решает это агентным подходом: модель Qwen3-VL-8B вызывает инструменты — кроп подозрительной зоны, усиление текстуры, геометрические измерения, запрос "как должно выглядеть в норме". Обучение трёхэтапное: сначала синтетические CoT-траектории от сильной модели, потом SFT, потом RL через GRPO.
Ключевая фишка — Accuracy-Gated reward: бонус за вызов инструмента даётся ТОЛЬКО если итоговый диагноз верный. Это отучает модель спамить API-вызовами без толку.
Результат: +9.3% к SOTA на MVTec-AD, топ на пяти бенчмарках.
https://arxiv.org/abs/2605.20682
Рекурсивное мышление стало стохастическим — и это меняет всё
Существующие рекуррентные модели рассуждений (HRM, TRM) итеративно уточняют скрытое состояние, но детерминированы: при одном входе всегда один путь и одно решение. Это проблема, когда задача имеет несколько правильных ответов или рассуждение застревает в локальном минимуме.
Авторы из KAIST и Монреаля предлагают GRAM (Generative Recursive reAsoning Models): на каждом шаге рекурсии модель не просто обновляет скрытое состояние, а сэмплирует его из гауссиана вокруг детерминированного обновления. Так рождается распределение над траекториями рассуждений.
Ключевая идея: ширина как новая ось масштабирования. Вместо глубже (больше шагов рекурсии) — шире (больше параллельных траекторий). На задачах N-Queens и Graph Coloring GRAM находит несколько валидных решений там, где детерминированные модели коллапсируют к одному. На Sudoku-Extreme и ARC-AGI — бьёт базовые рекуррентные модели.
Существующие рекуррентные модели рассуждений (HRM, TRM) итеративно уточняют скрытое состояние, но детерминированы: при одном входе всегда один путь и одно решение. Это проблема, когда задача имеет несколько правильных ответов или рассуждение застревает в локальном минимуме.
Авторы из KAIST и Монреаля предлагают GRAM (Generative Recursive reAsoning Models): на каждом шаге рекурсии модель не просто обновляет скрытое состояние, а сэмплирует его из гауссиана вокруг детерминированного обновления. Так рождается распределение над траекториями рассуждений.
Ключевая идея: ширина как новая ось масштабирования. Вместо глубже (больше шагов рекурсии) — шире (больше параллельных траекторий). На задачах N-Queens и Graph Coloring GRAM находит несколько валидных решений там, где детерминированные модели коллапсируют к одному. На Sudoku-Extreme и ARC-AGI — бьёт базовые рекуррентные модели.
OpenAI совершила прорыв в математике. Их модель опровергла гипотезу о единичных расстояниях — задачу, которая не давалась математикам 80 лет.
Речь о классической проблеме дискретной геометрии: сколько пар точек на плоскости могут находиться на одинаковом расстоянии друг от друга? Долгое время существовала центральная гипотеза об ограничениях таких конфигураций — и вот ИИ её опроверг.
Это не просто красивая история. Это первый случай, когда языковая модель делает оригинальный вклад в фундаментальную математику, а не просто помогает с вычислениями или поиском доказательств. ИИ выступил полноценным участником научного процесса.
Для пользователей это сигнал: модели OpenAI выходят за рамки текстовых задач и становятся инструментом для реальных научных открытий.
https://openai.com/index/model-disproves-discrete-geometry-conjecture
Речь о классической проблеме дискретной геометрии: сколько пар точек на плоскости могут находиться на одинаковом расстоянии друг от друга? Долгое время существовала центральная гипотеза об ограничениях таких конфигураций — и вот ИИ её опроверг.
Это не просто красивая история. Это первый случай, когда языковая модель делает оригинальный вклад в фундаментальную математику, а не просто помогает с вычислениями или поиском доказательств. ИИ выступил полноценным участником научного процесса.
Для пользователей это сигнал: модели OpenAI выходят за рамки текстовых задач и становятся инструментом для реальных научных открытий.
https://openai.com/index/model-disproves-discrete-geometry-conjecture
OpenAI
An OpenAI model has disproved a central conjecture in discrete geometry
An OpenAI model solved the 80-year-old unit distance problem, disproving a major conjecture in discrete geometry and marking a milestone in AI-driven mathematics.
Video2GUI: качаем датасет для GUI-агентов из YouTube (by Peking University & Xiaomi)
Хотите научить агента кликать по интерфейсам — нужны данные. Но ручная разметка дорогая, а симуляторы не отражают реальность. Решение? Взять 500 миллионов YouTube-видео с туториалами.
Авторы предложили Video2GUI — пайплайн из трёх шагов: сначала грубая фильтрация по метаданным (DeepSeek-V3), потом визуальный скоринг качества видео, затем Gemini-3-Pro извлекает траектории действий с таймкодами и точными координатами кликов на экране.
Результат — датасет WildGUI: 12.7 млн траекторий, 124.5 млн скриншотов, 1500+ приложений и сайтов. Это на порядок больше любого предыдущего открытого датасета.
Дообучение Qwen2.5-VL и Mimo-VL на WildGUI даёт заметный прирост на GUI-бенчмарках. Датасет и пайплайн обещают открыть.
https://arxiv.org/abs/2605.14747
Хотите научить агента кликать по интерфейсам — нужны данные. Но ручная разметка дорогая, а симуляторы не отражают реальность. Решение? Взять 500 миллионов YouTube-видео с туториалами.
Авторы предложили Video2GUI — пайплайн из трёх шагов: сначала грубая фильтрация по метаданным (DeepSeek-V3), потом визуальный скоринг качества видео, затем Gemini-3-Pro извлекает траектории действий с таймкодами и точными координатами кликов на экране.
Результат — датасет WildGUI: 12.7 млн траекторий, 124.5 млн скриншотов, 1500+ приложений и сайтов. Это на порядок больше любого предыдущего открытого датасета.
Дообучение Qwen2.5-VL и Mimo-VL на WildGUI даёт заметный прирост на GUI-бенчмарках. Датасет и пайплайн обещают открыть.
https://arxiv.org/abs/2605.14747
Whisper не справляется с реальным шумом? Попробуй 54 сценария одновременно
Проблема ASR в реальных условиях: модели обучают на чистой речи или одном типе шума, а в жизни всё смешивается — эхо + далёкий микрофон + помехи в канале одновременно. WER на таких условиях прыгает с 1% до 30–70%.
Авторы из NUS предложили MEGA-ASR. Ключевые части:
1. Датасет VOICES-IN-THE-WILD-2M: 2.4М клипов, 7 атомарных акустических эффектов скомпонованы в 54 составных сценария (например, церковь = far-field + эхо + реверберация). Генерация через спектральные преобразования, а не сбор реальных данных.
2. Progressive SFT: сначала учим воспринимать акустику, потом восстанавливать семантику.
3. DG-WGPO — новый RL-reward: при WER>30% обычный WER-сигнал бесполезен, поэтому динамически переключаются между токен-уровневым и предложение-уровневым вознаграждением.
Результат: даже SOTA Qwen3-ASR даёт 35% WER на их бенчмарке, MEGA-ASR существенно лучше.
https://arxiv.org/abs/2605.19833
Проблема ASR в реальных условиях: модели обучают на чистой речи или одном типе шума, а в жизни всё смешивается — эхо + далёкий микрофон + помехи в канале одновременно. WER на таких условиях прыгает с 1% до 30–70%.
Авторы из NUS предложили MEGA-ASR. Ключевые части:
1. Датасет VOICES-IN-THE-WILD-2M: 2.4М клипов, 7 атомарных акустических эффектов скомпонованы в 54 составных сценария (например, церковь = far-field + эхо + реверберация). Генерация через спектральные преобразования, а не сбор реальных данных.
2. Progressive SFT: сначала учим воспринимать акустику, потом восстанавливать семантику.
3. DG-WGPO — новый RL-reward: при WER>30% обычный WER-сигнал бесполезен, поэтому динамически переключаются между токен-уровневым и предложение-уровневым вознаграждением.
Результат: даже SOTA Qwen3-ASR даёт 35% WER на их бенчмарке, MEGA-ASR существенно лучше.
https://arxiv.org/abs/2605.19833
Агентские траектории как бесплатные данные для обучения длинному контексту
Обучать LLM работать с длинным контекстом дорого: нужны аннотированные документы или синтетика. Но у нас уже есть агентские траектории! Авторы из USTC заметили: когда агент решает задачу, он собирает кучу релевантных данных через вызовы инструментов. Проблема в том, что стандартный SFT маскирует ответы инструментов — модель учится только выбирать следующий инструмент, но не интегрировать разрозненные факты.
Метод ACC (Agent Context Compilation) простой: берём все ответы инструментов из траектории, склеиваем в один длинный контекст, перемешиваем куски случайно — и обучаем модель отвечать на исходный вопрос напрямую.
Результат: Qwen3-30B-A3B после ACC догоняет Qwen3-235B-A22B на бенчмарках MRCR (+18.1) и GraphWalks (+7.6), не теряя общих способностей. Модель в 8 раз меньше, а результат сопоставимый — только за счёт умного переиспользования агентских данных.
https://arxiv.org/abs/2605.21850
Обучать LLM работать с длинным контекстом дорого: нужны аннотированные документы или синтетика. Но у нас уже есть агентские траектории! Авторы из USTC заметили: когда агент решает задачу, он собирает кучу релевантных данных через вызовы инструментов. Проблема в том, что стандартный SFT маскирует ответы инструментов — модель учится только выбирать следующий инструмент, но не интегрировать разрозненные факты.
Метод ACC (Agent Context Compilation) простой: берём все ответы инструментов из траектории, склеиваем в один длинный контекст, перемешиваем куски случайно — и обучаем модель отвечать на исходный вопрос напрямую.
Результат: Qwen3-30B-A3B после ACC догоняет Qwen3-235B-A22B на бенчмарках MRCR (+18.1) и GraphWalks (+7.6), не теряя общих способностей. Модель в 8 раз меньше, а результат сопоставимый — только за счёт умного переиспользования агентских данных.
https://arxiv.org/abs/2605.21850
Microsoft Research выпустила MagenticLite — агентное приложение нового поколения, которое работает одновременно в браузере и локальной файловой системе. Это наследник Magentic-UI с переработанным интерфейсом.
Система состоит из трёх компонентов. MagenticBrain — модель на 14B параметров, которая планирует задачи, пишет код и управляет субагентами. Fara1.5 — семейство моделей для работы в браузере (4B, 9B, 27B), которое почти вдвое превосходит предыдущую Fara-7B на задачах веб-навигации и устанавливает новый SOTA среди малых моделей.
Главная идея: мощные агенты не требуют огромных моделей — достаточно правильно совместить инструменты, обучение и оркестрацию. Все данные остаются на машине пользователя. Агент умеет заполнять формы, работать с авторизацией и выполнять многошаговые задачи, запрашивая разрешение в критических точках.
https://www.microsoft.com/en-us/research/blog/magenticlite-magenticbrain-fara1-5-an-agentic-experience-optimized-for-small-models/
Система состоит из трёх компонентов. MagenticBrain — модель на 14B параметров, которая планирует задачи, пишет код и управляет субагентами. Fara1.5 — семейство моделей для работы в браузере (4B, 9B, 27B), которое почти вдвое превосходит предыдущую Fara-7B на задачах веб-навигации и устанавливает новый SOTA среди малых моделей.
Главная идея: мощные агенты не требуют огромных моделей — достаточно правильно совместить инструменты, обучение и оркестрацию. Все данные остаются на машине пользователя. Агент умеет заполнять формы, работать с авторизацией и выполнять многошаговые задачи, запрашивая разрешение в критических точках.
https://www.microsoft.com/en-us/research/blog/magenticlite-magenticbrain-fara1-5-an-agentic-experience-optimized-for-small-models/
Microsoft Research
MagenticLite: An agentic experience optimized for small models
MagenticLite is an agentic system for small models that works across the browser and local file system in a single workflow. It combines specialized models and orchestration to support efficient agentic performance on everyday tasks:
Microsoft Research представила Vega — систему для приватной верификации цифровых документов с помощью криптографических доказательств с нулевым разглашением (ZKP).
Суть простая: вместо того чтобы отправлять скан паспорта или прав на сайт, ваш телефон генерирует математическое доказательство — например, что вам больше 18 лет. Сервис получает только этот факт, сам документ никуда не уходит.
Что важно технически: доказательство генерируется за 92 мс прямо на устройстве, весит 108 КБ, не требует доверенной настройки и работает с реальными форматами — водительскими удостоверениями и EU Digital Identity Wallet.
Почему это актуально сейчас: AI-агенты всё чаще действуют от имени пользователей, и им нужно как-то подтверждать личность. При этом утечки баз с копиями документов уже стали нормой. Vega решает оба вопроса разом.
Код написан на Rust, скоро будет открыт. Стандарты EUDI и UK Online Safety Act создают прямой спрос на такие решения.
https://www.microsoft.com/en-us/research/blog/vega-zero-knowledge-proofs-for-digital-identity-in-the-age-of-ai/
Суть простая: вместо того чтобы отправлять скан паспорта или прав на сайт, ваш телефон генерирует математическое доказательство — например, что вам больше 18 лет. Сервис получает только этот факт, сам документ никуда не уходит.
Что важно технически: доказательство генерируется за 92 мс прямо на устройстве, весит 108 КБ, не требует доверенной настройки и работает с реальными форматами — водительскими удостоверениями и EU Digital Identity Wallet.
Почему это актуально сейчас: AI-агенты всё чаще действуют от имени пользователей, и им нужно как-то подтверждать личность. При этом утечки баз с копиями документов уже стали нормой. Vega решает оба вопроса разом.
Код написан на Rust, скоро будет открыт. Стандарты EUDI и UK Online Safety Act создают прямой спрос на такие решения.
https://www.microsoft.com/en-us/research/blog/vega-zero-knowledge-proofs-for-digital-identity-in-the-age-of-ai/
Microsoft Research
Re-thinking zero-knowledge proofs for everyday identity
Vega turns a full credential into a single proof, sharing only what is needed and nothing more, with performance that works in real apps.
❤1
Nvidia Tech запустила мультиагентную систему для поиска торговых сигналов в квантовых финансах.
Раньше квант-исследователи вручную придумывали гипотезы, писали код, тестировали и дорабатывали сотни сигналов — это занимало недели. Теперь три специализированных агента делают это в автоматическом цикле: первый генерирует гипотезы сигналов на основе рыночных данных, второй переводит их в Python-код, третий запускает бэктестинг и возвращает слабые сигналы на доработку.
Система построена на моделях семейства Nemotron и библиотеке NeMo Agent Toolkit. Вся логика настраивается через YAML-файл без изменения кода — можно быстро менять модели, пороги качества и глубину оптимизации.
Ключевой метрик — Rank IC: хорошим считается значение 0.02–0.05, выше 0.05 — отличный сигнал.
Для финтех-команд это серьёзное ускорение исследовательского цикла в индустрии, где задержка в миллисекунды уже имеет значение.
https://developer.nvidia.com/blog/automating-and-optimizing-financial-signal-discovery-with-multi-agent-systems/
Раньше квант-исследователи вручную придумывали гипотезы, писали код, тестировали и дорабатывали сотни сигналов — это занимало недели. Теперь три специализированных агента делают это в автоматическом цикле: первый генерирует гипотезы сигналов на основе рыночных данных, второй переводит их в Python-код, третий запускает бэктестинг и возвращает слабые сигналы на доработку.
Система построена на моделях семейства Nemotron и библиотеке NeMo Agent Toolkit. Вся логика настраивается через YAML-файл без изменения кода — можно быстро менять модели, пороги качества и глубину оптимизации.
Ключевой метрик — Rank IC: хорошим считается значение 0.02–0.05, выше 0.05 — отличный сигнал.
Для финтех-команд это серьёзное ускорение исследовательского цикла в индустрии, где задержка в миллисекунды уже имеет значение.
https://developer.nvidia.com/blog/automating-and-optimizing-financial-signal-discovery-with-multi-agent-systems/
NVIDIA Technical Blog
Automating and Optimizing Financial Signal Discovery with Multi-Agent Systems
In quantitative finance, researchers build algorithms to trade assets, derivatives, and other financial instruments. A key part of that work is finding signals: patterns in messy market data that may…
Full Attention — не враг эффективности, а её союзник
Модели с full attention уже содержат внутри себя разреженность — просто никто не пользовался этим правильно. RTPurbo от команды RTP-LLM превращает обычную full-attention модель в sparse за ~100 шагов дообучения на 1M токенах.
Ключевые идеи:
1. Головы делятся на "retrieval" (ищут дальние токены) и "local" (смотрят только рядом). Первые определяются офлайн-калибровкой за один проход.
2. RoPE-ротации низких частот несут почти всю информацию о дальнем поиске — достаточно 16 измерений вместо полной размерности для отбора токенов (recall >90%).
3. Вместо top-k (фиксированный бюджет) — top-p: динамически отбирает столько токенов, сколько нужно конкретному запросу.
Результат: до 9.36× ускорение prefill и 2× decoding при почти нулевой потере качества. Полное attention-обучение остаётся конкурентоспособным — sparse можно получить постфактум.
https://arxiv.org/abs/2605.16928
Модели с full attention уже содержат внутри себя разреженность — просто никто не пользовался этим правильно. RTPurbo от команды RTP-LLM превращает обычную full-attention модель в sparse за ~100 шагов дообучения на 1M токенах.
Ключевые идеи:
1. Головы делятся на "retrieval" (ищут дальние токены) и "local" (смотрят только рядом). Первые определяются офлайн-калибровкой за один проход.
2. RoPE-ротации низких частот несут почти всю информацию о дальнем поиске — достаточно 16 измерений вместо полной размерности для отбора токенов (recall >90%).
3. Вместо top-k (фиксированный бюджет) — top-p: динамически отбирает столько токенов, сколько нужно конкретному запросу.
Результат: до 9.36× ускорение prefill и 2× decoding при почти нулевой потере качества. Полное attention-обучение остаётся конкурентоспособным — sparse можно получить постфактум.
https://arxiv.org/abs/2605.16928