Зачем нужен RAG, если есть grep?
Стандартный поиск в агентских системах работает через эмбеддинги и top-k ретривер. Но что если это сам по себе бутылочное горлышко? Авторы из TIGER-Lab предлагают Direct Corpus Interaction (DCI): агент не идёт к ретриверу, а напрямую шарится по корпусу через grep, find, bash-скрипты и head/tail.
Идея проста: зачем сжимать смысл документов в векторы, если сильная LLM сама может искать по паттернам, проверять гипотезы и локализовать нужные куски? Семантика делегируется модели, а не индексу.
Результаты впечатляют: на BrowseComp-Plus точность выросла с 69% до 80%, а стоимость упала на 29%. На multi-hop QA — +30 пунктов над лучшим ретривер-агентом.
Авторы вводят понятие "retrieval interface resolution" — чем точнее интерфейс доступа к корпусу, тем лучше агент рассуждает. Вывод: для умных агентов вопрос не "какой ретривер", а "какой интерфейс доступа к данным".
https://arxiv.org/abs/2605.05242
Стандартный поиск в агентских системах работает через эмбеддинги и top-k ретривер. Но что если это сам по себе бутылочное горлышко? Авторы из TIGER-Lab предлагают Direct Corpus Interaction (DCI): агент не идёт к ретриверу, а напрямую шарится по корпусу через grep, find, bash-скрипты и head/tail.
Идея проста: зачем сжимать смысл документов в векторы, если сильная LLM сама может искать по паттернам, проверять гипотезы и локализовать нужные куски? Семантика делегируется модели, а не индексу.
Результаты впечатляют: на BrowseComp-Plus точность выросла с 69% до 80%, а стоимость упала на 29%. На multi-hop QA — +30 пунктов над лучшим ретривер-агентом.
Авторы вводят понятие "retrieval interface resolution" — чем точнее интерфейс доступа к корпусу, тем лучше агент рассуждает. Вывод: для умных агентов вопрос не "какой ретривер", а "какой интерфейс доступа к данным".
https://arxiv.org/abs/2605.05242
SkillOS: агент, который учится учиться на собственном опыте (by Google)
Обычные LLM-агенты решают задачи с нуля каждый раз. А что если агент мог бы накапливать «навыки» из прошлого опыта и умнеть со временем?
SkillOS разделяет агента на две части: замороженный executor решает задачи, а trainable skill curator управляет репозиторием навыков в виде Markdown-файлов — вставляет новые, обновляет устаревшие, удаляет бесполезные.
Ключевая идея обучения: куратор тренируется через RL на группах связанных задач. Навык, извлечённый из ранних задач, оценивается по тому, насколько он помогает в более поздних. Так отложенная и косвенная обратная связь превращается в обучающий сигнал.
Результат: +9.8% к качеству и -6% шагов взаимодействия против лучших baseline. 8B-куратор обгоняет Gemini-2.5-Pro в роли куратора навыков.
https://arxiv.org/abs/2605.06614
Обычные LLM-агенты решают задачи с нуля каждый раз. А что если агент мог бы накапливать «навыки» из прошлого опыта и умнеть со временем?
SkillOS разделяет агента на две части: замороженный executor решает задачи, а trainable skill curator управляет репозиторием навыков в виде Markdown-файлов — вставляет новые, обновляет устаревшие, удаляет бесполезные.
Ключевая идея обучения: куратор тренируется через RL на группах связанных задач. Навык, извлечённый из ранних задач, оценивается по тому, насколько он помогает в более поздних. Так отложенная и косвенная обратная связь превращается в обучающий сигнал.
Результат: +9.8% к качеству и -6% шагов взаимодействия против лучших baseline. 8B-куратор обгоняет Gemini-2.5-Pro в роли куратора навыков.
https://arxiv.org/abs/2605.06614
Чем сложнее логика в обучении — тем лучше рассуждает LLM
RL-дообучение языковых моделей на математике работает, но плохо масштабируется на длинные цепочки рассуждений. Авторы предложили SCALELOGIC — синтетическую среду с явным контролем двух параметров сложности: глубины дерева доказательств и логической выразительности (от простых импликаций до кванторов и дизъюнкций).
Главная находка: число шагов RL-обучения до достижения 90% точности растёт как степенной закон от глубины доказательства (T ∝ D^γ, R²>0.99), причём показатель γ монотонно растёт с выразительностью — от 1.04 до 2.60. То есть более богатая логика требует непропорционально больше обучения.
Но зато и отдача выше: обучение на самых выразительных задачах даёт +10.66 п.п. на реальных бенчмарках, тогда как менее выразительные варианты быстро выходят на плато. Вывод: важно не только сколько обучать, но и на чём.
https://arxiv.org/abs/2605.06638
RL-дообучение языковых моделей на математике работает, но плохо масштабируется на длинные цепочки рассуждений. Авторы предложили SCALELOGIC — синтетическую среду с явным контролем двух параметров сложности: глубины дерева доказательств и логической выразительности (от простых импликаций до кванторов и дизъюнкций).
Главная находка: число шагов RL-обучения до достижения 90% точности растёт как степенной закон от глубины доказательства (T ∝ D^γ, R²>0.99), причём показатель γ монотонно растёт с выразительностью — от 1.04 до 2.60. То есть более богатая логика требует непропорционально больше обучения.
Но зато и отдача выше: обучение на самых выразительных задачах даёт +10.66 п.п. на реальных бенчмарках, тогда как менее выразительные варианты быстро выходят на плато. Вывод: важно не только сколько обучать, но и на чём.
https://arxiv.org/abs/2605.06638
Microsoft Research выпустила открытый датасет энергосетей США
Исследователи Microsoft опубликовали масштабный открытый датасет, описывающий электрические сети передачи для всех 48 штатов США — включая межрегиональные соединения до 21 697 узлов.
Проблема была серьёзной: реальные данные о сетях в США засекречены как критическая инфраструктура. Учёным приходилось работать с игрушечными моделями или ждать годами одобрения доступа.
Microsoft собрала датасет из публичных источников — OpenStreetMap, статистики EIA и данных переписи — и построила физически корректные модели, которые проходят тест AC-OPF (расчёт оптимального потока мощности). Это не просто топология, а рабочие электрические модели.
Применение: анализ перегрузок сетей, планирование расширения, оценка размещения новых дата-центров и ИИ-нагрузок.
Для разработчиков ИИ-инструментов в энергетике это особенно важно — теперь есть реалистичные данные для обучения моделей без NDA и лицензионных платежей.
https://www.microsoft.com/en-us/research/blog/building-realistic-electric-transmission-grid-dataset-at-scale-a-pipeline-from-open-dataset/
Исследователи Microsoft опубликовали масштабный открытый датасет, описывающий электрические сети передачи для всех 48 штатов США — включая межрегиональные соединения до 21 697 узлов.
Проблема была серьёзной: реальные данные о сетях в США засекречены как критическая инфраструктура. Учёным приходилось работать с игрушечными моделями или ждать годами одобрения доступа.
Microsoft собрала датасет из публичных источников — OpenStreetMap, статистики EIA и данных переписи — и построила физически корректные модели, которые проходят тест AC-OPF (расчёт оптимального потока мощности). Это не просто топология, а рабочие электрические модели.
Применение: анализ перегрузок сетей, планирование расширения, оценка размещения новых дата-центров и ИИ-нагрузок.
Для разработчиков ИИ-инструментов в энергетике это особенно важно — теперь есть реалистичные данные для обучения моделей без NDA и лицензионных платежей.
https://www.microsoft.com/en-us/research/blog/building-realistic-electric-transmission-grid-dataset-at-scale-a-pipeline-from-open-dataset/
Microsoft Research
Building realistic electric transmission grid dataset at scale: a pipeline from open dataset - Microsoft Research
Microsoft Research is excited to release an open dataset of approximate transmission topology of the U.S. power grid derived from publicly available data. The ability to study transmission-level power grid behavior is essential for modern power systems research.…
Nvidia Tech улучшила генерацию Bash-команд в маленьких языковых моделях с помощью грамматически ограниченного декодирования.
Исследователи AI Red Team протестировали 13 небольших моделей на 299 задачах. Средний процент успешного выполнения вырос с 62,5% до 75,2%. Самый впечатляющий результат — у Qwen3-0.6B: с 16,7% до 59,2%.
Суть метода: при генерации токенов применяется формальная грамматика конкретной команды (grep, openssl и др.), которая блокирует синтаксически недопустимые варианты. Маленькие модели часто знают нужную команду, но ошибаются в аргументах, кавычках или завершении — грамматика это исправляет.
Почему важно: агентные системы всё активнее выполняют shell-команды напрямую. Синтаксическая ошибка — это сбой задачи, а неправильная команда — потенциальная угроза безопасности. Метод делает малые модели пригодными для продакшн-агентов там, где раньше требовались более крупные.
https://developer.nvidia.com/blog/improving-bash-generation-in-small-language-models-with-grammar-constrained-decoding/
Исследователи AI Red Team протестировали 13 небольших моделей на 299 задачах. Средний процент успешного выполнения вырос с 62,5% до 75,2%. Самый впечатляющий результат — у Qwen3-0.6B: с 16,7% до 59,2%.
Суть метода: при генерации токенов применяется формальная грамматика конкретной команды (grep, openssl и др.), которая блокирует синтаксически недопустимые варианты. Маленькие модели часто знают нужную команду, но ошибаются в аргументах, кавычках или завершении — грамматика это исправляет.
Почему важно: агентные системы всё активнее выполняют shell-команды напрямую. Синтаксическая ошибка — это сбой задачи, а неправильная команда — потенциальная угроза безопасности. Метод делает малые модели пригодными для продакшн-агентов там, где раньше требовались более крупные.
https://developer.nvidia.com/blog/improving-bash-generation-in-small-language-models-with-grammar-constrained-decoding/
NVIDIA Technical Blog
Improving Bash Generation in Small Language Models with Grammar-Constrained Decoding
Bash is one of the most flexible and powerful interfaces exposed to AI agents. In the right system, a model that emits , , , or a shell pipeline is producing an executable action that can read files…
Nvidia Tech обновила NVIDIA Dynamo — инфраструктуру для агентного AI-инференса.
Главное: движок теперь корректно поддерживает многоходовые агентные сессии с чередованием рассуждений и вызовов инструментов. Это критично для таких клиентов, как Claude Code или Codex.
Три ключевых улучшения:
1. Флаг --strip-anthropic-preamble убирает сессионные заголовки Anthropic перед токенизацией. Результат — KV-кэш снова работает, а время до первого токена падает в 5 раз: с 912 мс до 169 мс на промптах в 52К токенов.
2. Стриминг вызовов инструментов теперь идёт сразу по мере декодирования, а не после завершения хода — агент реагирует быстрее.
3. Рассуждения правильно привязываются к конкретным вызовам инструментов внутри одного хода, а не сваливаются в один блок — модель сохраняет контекст точнее.
Для разработчиков, строящих агентные пайплайны на собственной инфраструктуре, — важное обновление.
https://developer.nvidia.com/blog/streaming-tokens-and-tools-multi-turn-agentic-harness-support-in-nvidia-dynamo/
Главное: движок теперь корректно поддерживает многоходовые агентные сессии с чередованием рассуждений и вызовов инструментов. Это критично для таких клиентов, как Claude Code или Codex.
Три ключевых улучшения:
1. Флаг --strip-anthropic-preamble убирает сессионные заголовки Anthropic перед токенизацией. Результат — KV-кэш снова работает, а время до первого токена падает в 5 раз: с 912 мс до 169 мс на промптах в 52К токенов.
2. Стриминг вызовов инструментов теперь идёт сразу по мере декодирования, а не после завершения хода — агент реагирует быстрее.
3. Рассуждения правильно привязываются к конкретным вызовам инструментов внутри одного хода, а не сваливаются в один блок — модель сохраняет контекст точнее.
Для разработчиков, строящих агентные пайплайны на собственной инфраструктуре, — важное обновление.
https://developer.nvidia.com/blog/streaming-tokens-and-tools-multi-turn-agentic-harness-support-in-nvidia-dynamo/
NVIDIA Technical Blog
Streaming Tokens and Tools: Multi-Turn Agentic Harness Support in NVIDIA Dynamo
An agentic exchange must preserve a structured interaction: assistant turns interleave reasoning with one or more tool calls, and subsequent user turns return the corresponding tool results to the…
Cola DLM: диффузия не для токенов, а для смысла
Авторегрессивные модели генерируют текст слева направо — это удобно, но создаёт жёсткий порядок и медленный инференс. Диффузионные LLM (типа LLaDA) работают прямо в пространстве токенов, что тоже не идеально для глобальной семантики.
Cola DLM предлагает другой путь: сначала Text VAE сжимает текст в непрерывные латентные векторы, затем block-causal DiT моделирует prior через Flow Matching в этом латентном пространстве, и наконец декодер восстанавливает текст из латента.
Ключевая идея: диффузия используется не для восстановления токенов из шума, а для транспорта латентного prior — то есть модель учится глобальной семантической структуре отдельно от локальной текстовой реализации.
Эксперименты на ~2B параметрах показывают конкурентное качество с AR и LLaDA базелайнами, плюс хорошее масштабирование. Бонус: архитектура естественно расширяется на другие модальности (например, изображения).
https://arxiv.org/abs/2605.06548
Авторегрессивные модели генерируют текст слева направо — это удобно, но создаёт жёсткий порядок и медленный инференс. Диффузионные LLM (типа LLaDA) работают прямо в пространстве токенов, что тоже не идеально для глобальной семантики.
Cola DLM предлагает другой путь: сначала Text VAE сжимает текст в непрерывные латентные векторы, затем block-causal DiT моделирует prior через Flow Matching в этом латентном пространстве, и наконец декодер восстанавливает текст из латента.
Ключевая идея: диффузия используется не для восстановления токенов из шума, а для транспорта латентного prior — то есть модель учится глобальной семантической структуре отдельно от локальной текстовой реализации.
Эксперименты на ~2B параметрах показывают конкурентное качество с AR и LLaDA базелайнами, плюс хорошее масштабирование. Бонус: архитектура естественно расширяется на другие модальности (например, изображения).
https://arxiv.org/abs/2605.06548
Одна модель, все награды сразу — и без ручной настройки
Когда хочешь, чтобы диффузионная модель была одновременно эстетичной, точной по тексту и правильно рендерила надписи — простое взвешенное суммирование наград не работает. Почему? Потому что большинство сэмплов "специализированы": картинка с котом ничего не говорит OCR-reward, а красивая типографика может быть посредственной эстетически. В итоге градиенты конфликтуют — в 80% мини-батчей взвешенная сумма активно тянет модель против хотя бы одной из наград.
MARBLE решает это в пространстве градиентов: для каждой награды считается отдельный advantage и отдельный градиент политики, затем они нормализуются и гармонизируются в единое направление обновления. Плюс EMA-сглаживание коэффициентов, чтобы редкие сигналы не глушились случайным мини-батчем. Вычислительная стоимость — почти как у однонаградного baseline за счёт аффинной структуры DiffusionNFT loss.
Результат: одна модель, все цели одновременно, без ручного расписания этапов обучения.
Когда хочешь, чтобы диффузионная модель была одновременно эстетичной, точной по тексту и правильно рендерила надписи — простое взвешенное суммирование наград не работает. Почему? Потому что большинство сэмплов "специализированы": картинка с котом ничего не говорит OCR-reward, а красивая типографика может быть посредственной эстетически. В итоге градиенты конфликтуют — в 80% мини-батчей взвешенная сумма активно тянет модель против хотя бы одной из наград.
MARBLE решает это в пространстве градиентов: для каждой награды считается отдельный advantage и отдельный градиент политики, затем они нормализуются и гармонизируются в единое направление обновления. Плюс EMA-сглаживание коэффициентов, чтобы редкие сигналы не глушились случайным мини-батчем. Вычислительная стоимость — почти как у однонаградного baseline за счёт аффинной структуры DiffusionNFT loss.
Результат: одна модель, все цели одновременно, без ручного расписания этапов обучения.
MiniCPM-o 4.5: ИИ, который слушает и говорит одновременно
Все существующие мультимодальные модели работают в режиме "воспринимай — отвечай — воспринимай". Это как разговор по рации: пока говоришь, не слышишь. MiniCPM-o 4.5 от OpenBMB ломает эту схему.
Ключевая идея — фреймворк Omni-Flow: восприятие и генерация ответа идут параллельно по единой временной оси. Взято из техники мультиплексирования с разделением по времени — поток разбивается на мелкие окна, в каждом модель одновременно читает новые сигналы и генерирует вывод.
Архитектура: Whisper-энкодер для аудио, SigLIP для видео, Qwen3-8B как backbone (генерирует только текст, 3-4 токена/сек), отдельный лёгкий декодер речи на базе Llama (~0.3B). Всё соединено на уровне токенов, обучается end-to-end.
Результат: 9B параметров, работает на устройствах с <12GB RAM, по vision-language догоняет Gemini 2.5 Flash, обгоняет Qwen3-Omni-30B в omni-понимании. Плюс поддержка клонирования голоса через мультимодальный system prompt.
https://arxiv.org/abs/2604.27393
Все существующие мультимодальные модели работают в режиме "воспринимай — отвечай — воспринимай". Это как разговор по рации: пока говоришь, не слышишь. MiniCPM-o 4.5 от OpenBMB ломает эту схему.
Ключевая идея — фреймворк Omni-Flow: восприятие и генерация ответа идут параллельно по единой временной оси. Взято из техники мультиплексирования с разделением по времени — поток разбивается на мелкие окна, в каждом модель одновременно читает новые сигналы и генерирует вывод.
Архитектура: Whisper-энкодер для аудио, SigLIP для видео, Qwen3-8B как backbone (генерирует только текст, 3-4 токена/сек), отдельный лёгкий декодер речи на базе Llama (~0.3B). Всё соединено на уровне токенов, обучается end-to-end.
Результат: 9B параметров, работает на устройствах с <12GB RAM, по vision-language догоняет Gemini 2.5 Flash, обгоняет Qwen3-Omni-30B в omni-понимании. Плюс поддержка клонирования голоса через мультимодальный system prompt.
https://arxiv.org/abs/2604.27393
Nvidia Tech выпустила подробное руководство по квантизации AI-моделей с помощью NVIDIA Model Optimizer.
Что это значит на практике: инструмент ModelOpt позволяет сжимать модели вроде CLIP до формата FP8 без заметной потери качества. Тесты на ImageNet и MS-COCO показали: квантизованная модель работает почти так же хорошо, как оригинальная FP16-версия.
Зачем это нужно? Меньше памяти GPU, быстрее инференс — модели становятся доступны на обычных потребительских картах GeForce RTX. ModelOpt поддерживает форматы FP4, FP8, INT4, INT8 и работает с моделями из Hugging Face, PyTorch и ONNX.
Особенность подхода: квантизация происходит после обучения (PTQ), без переобучения модели. Достаточно калибровочного датасета из 8 тысяч примеров.
https://developer.nvidia.com/blog/model-quantization-post-training-quantization-using-nvidia-model-optimizer/
Что это значит на практике: инструмент ModelOpt позволяет сжимать модели вроде CLIP до формата FP8 без заметной потери качества. Тесты на ImageNet и MS-COCO показали: квантизованная модель работает почти так же хорошо, как оригинальная FP16-версия.
Зачем это нужно? Меньше памяти GPU, быстрее инференс — модели становятся доступны на обычных потребительских картах GeForce RTX. ModelOpt поддерживает форматы FP4, FP8, INT4, INT8 и работает с моделями из Hugging Face, PyTorch и ONNX.
Особенность подхода: квантизация происходит после обучения (PTQ), без переобучения модели. Достаточно калибровочного датасета из 8 тысяч примеров.
https://developer.nvidia.com/blog/model-quantization-post-training-quantization-using-nvidia-model-optimizer/
NVIDIA Technical Blog
Model Quantization: Post-Training Quantization Using NVIDIA Model Optimizer
Model quantization is an effective method to reduce VRAM usage and improve inference performance on consumer devices such as NVIDIA GeForce RTX GPUs. By lowering computational and memory requirements…
Nvidia Tech обновила инструмент NCCL Inspector — теперь он работает в реальном времени.
NCCL 2.30 получил режим Prometheus Mode: метрики GPU-коммуникаций при обучении нейросетей теперь можно смотреть вживую через дашборды Grafana, а не ждать офлайн-анализа JSON-файлов.
Что это даёт на практике: когда обучение большой модели замедляется, раньше было сложно понять — виновата сеть, железо или конкретный GPU. Теперь инженеры видят просадку bandwidth прямо в момент её возникновения. В тестах удалось поймать сетевую деградацию, снизившую производительность с 310 до 268 TFLOPs/GPU, то есть минус 13%.
Бонус: новый режим не требует большого хранилища — файлы метрик перезаписываются непрерывно и сразу уходят в Prometheus.
Полезно всем, кто занимается распределённым обучением на GPU-кластерах и хочет быстрее находить узкие места.
https://developer.nvidia.com/blog/real-time-performance-monitoring-and-faster-debugging-with-nccl-inspector-and-prometheus/
NCCL 2.30 получил режим Prometheus Mode: метрики GPU-коммуникаций при обучении нейросетей теперь можно смотреть вживую через дашборды Grafana, а не ждать офлайн-анализа JSON-файлов.
Что это даёт на практике: когда обучение большой модели замедляется, раньше было сложно понять — виновата сеть, железо или конкретный GPU. Теперь инженеры видят просадку bandwidth прямо в момент её возникновения. В тестах удалось поймать сетевую деградацию, снизившую производительность с 310 до 268 TFLOPs/GPU, то есть минус 13%.
Бонус: новый режим не требует большого хранилища — файлы метрик перезаписываются непрерывно и сразу уходят в Prometheus.
Полезно всем, кто занимается распределённым обучением на GPU-кластерах и хочет быстрее находить узкие места.
https://developer.nvidia.com/blog/real-time-performance-monitoring-and-faster-debugging-with-nccl-inspector-and-prometheus/
NVIDIA Technical Blog
Real-Time Performance Monitoring and Faster Debugging with NCCL Inspector and Prometheus
Distributed deep learning depends on fast, reliable GPU-to-GPU communication using the NVIDIA Collective Communication Library (NCCL). When training slows down, it becomes challenging to determine why…
Apple ML представила RVPO — новый метод обучения языковых моделей с учётом рисков.
Проблема: существующие методы RLHF усредняют несколько метрик вознаграждения арифметически. Из-за этого модель может отлично справляться с одними задачами, полностью игнорируя критически важные — например, безопасность или форматирование.
RVPO решает это через штраф за разброс между наградами. Вместо "максимизируй сумму" цель становится "максимизируй стабильность по всем критериям". Математически это реализовано через оператор LogSumExp, который работает как сглаженный вариационный штраф.
На практике: модель Qwen2.5-14B с RVPO набрала 0.261 на медицинском бенчмарке HealthBench против 0.215 у конкурирующего метода GDPO. При этом общие способности не деградируют.
Почему важно: это шаг к более надёжным AI-ассистентам, которые не жертвуют безопасностью ради производительности в других областях.
https://machinelearning.apple.com/research/rvpo-risk-sensitive-alignment
Проблема: существующие методы RLHF усредняют несколько метрик вознаграждения арифметически. Из-за этого модель может отлично справляться с одними задачами, полностью игнорируя критически важные — например, безопасность или форматирование.
RVPO решает это через штраф за разброс между наградами. Вместо "максимизируй сумму" цель становится "максимизируй стабильность по всем критериям". Математически это реализовано через оператор LogSumExp, который работает как сглаженный вариационный штраф.
На практике: модель Qwen2.5-14B с RVPO набрала 0.261 на медицинском бенчмарке HealthBench против 0.215 у конкурирующего метода GDPO. При этом общие способности не деградируют.
Почему важно: это шаг к более надёжным AI-ассистентам, которые не жертвуют безопасностью ради производительности в других областях.
https://machinelearning.apple.com/research/rvpo-risk-sensitive-alignment
Apple Machine Learning Research
RVPO: Risk-Sensitive Alignment via Variance Regularization
Current critic-less RLHF methods aggregate multi-objective rewards via an arithmetic mean, leaving them vulnerable to constraint neglect:…
Идея из LLM-мира спасает text-to-image генерацию от "эффекта качелей"
Когда учишь диффузионную модель сразу нескольким задачам (OCR, композиция, эстетика), улучшение одного неизбежно ломает другое — это называют seesaw effect. Авторы из USTC предлагают Flow-OPD: берём идею On-Policy Distillation из мира LLM (DeepSeek, GLM) и переносим её на Flow Matching модели.
Схема: сначала обучаем отдельных учителей через GRPO под каждую задачу. Потом студент генерирует свои траектории, учителя дают плотную (trajectory-level) supervision по своим доменам. Плюс добавляется Manifold Anchor Regularization — task-agnostic учитель следит, чтобы эстетика не деградировала.
Результат на SD 3.5 Medium: GenEval 63→92, OCR accuracy 59→94, +10 пунктов над vanilla GRPO. И студент местами обгоняет своих учителей.
https://arxiv.org/abs/2605.08063
Когда учишь диффузионную модель сразу нескольким задачам (OCR, композиция, эстетика), улучшение одного неизбежно ломает другое — это называют seesaw effect. Авторы из USTC предлагают Flow-OPD: берём идею On-Policy Distillation из мира LLM (DeepSeek, GLM) и переносим её на Flow Matching модели.
Схема: сначала обучаем отдельных учителей через GRPO под каждую задачу. Потом студент генерирует свои траектории, учителя дают плотную (trajectory-level) supervision по своим доменам. Плюс добавляется Manifold Anchor Regularization — task-agnostic учитель следит, чтобы эстетика не деградировала.
Результат на SD 3.5 Medium: GenEval 63→92, OCR accuracy 59→94, +10 пунктов над vanilla GRPO. И студент местами обгоняет своих учителей.
https://arxiv.org/abs/2605.08063
HyperEyes: поиск вширь, а не вглубь (by Xiaohongshu)
Мультимодальные агенты поиска умеют искать параллельно — но всё равно делают это последовательно. Почему? Потому что их обучали только на точность ответа, без штрафа за лишние шаги.
HyperEyes решает это через Dual-Grained Efficiency-Aware RL:
— На уровне траектории: динамический референс TRACE, который по ходу обучения ужесточает требования к числу шагов
— На уровне токенов: On-Policy Distillation — учитель подсказывает правильные токены на провальных роллаутах, решая проблему размытого кредита
Плюс Unified Grounded Search: вместо "сначала crop, потом search" — единое действие, которое одновременно локализует все сущности на изображении и запускает параллельный поиск.
Результат на 6 бенчмарках: +9.9% к точности и в 5.3× меньше обращений к инструментам по сравнению с лучшим open-source агентом.
https://arxiv.org/abs/2605.07177
Мультимодальные агенты поиска умеют искать параллельно — но всё равно делают это последовательно. Почему? Потому что их обучали только на точность ответа, без штрафа за лишние шаги.
HyperEyes решает это через Dual-Grained Efficiency-Aware RL:
— На уровне траектории: динамический референс TRACE, который по ходу обучения ужесточает требования к числу шагов
— На уровне токенов: On-Policy Distillation — учитель подсказывает правильные токены на провальных роллаутах, решая проблему размытого кредита
Плюс Unified Grounded Search: вместо "сначала crop, потом search" — единое действие, которое одновременно локализует все сущности на изображении и запускает параллельный поиск.
Результат на 6 бенчмарках: +9.9% к точности и в 5.3× меньше обращений к инструментам по сравнению с лучшим open-source агентом.
https://arxiv.org/abs/2605.07177
(by Google) LLM сам придумывает алгоритмы test-time scaling вместо людей
Все существующие стратегии TTS (self-consistency, beam search, adaptive pruning) — это ручные эвристики: исследователи вручную решают, когда ветвиться, углубляться или останавливаться.
Google предлагает AutoTTS: пусть LLM-агент сам ищет оптимальную стратегию управления вычислениями. Ключевая идея — оффлайн-среда: заранее собираем траектории рассуждений, и агент (Claude Code!) оценивает кандидат-контроллеры без повторных вызовов базовой модели — дёшево и детерминированно.
Два трюка делают поиск управляемым: бета-параметризация (один скалярный параметр β управляет всеми гиперпараметрами контроллера) и трейсы исполнения (агент видит не просто точность, а как именно контроллер тратил бюджет — и может диагностировать ошибки).
Результат: найденные контроллеры бьют ручные базовые линии по Парето-фронту accuracy/cost и обобщаются на новые бенчмарки и масштабы моделей.
https://arxiv.org/abs/2605.08083
Все существующие стратегии TTS (self-consistency, beam search, adaptive pruning) — это ручные эвристики: исследователи вручную решают, когда ветвиться, углубляться или останавливаться.
Google предлагает AutoTTS: пусть LLM-агент сам ищет оптимальную стратегию управления вычислениями. Ключевая идея — оффлайн-среда: заранее собираем траектории рассуждений, и агент (Claude Code!) оценивает кандидат-контроллеры без повторных вызовов базовой модели — дёшево и детерминированно.
Два трюка делают поиск управляемым: бета-параметризация (один скалярный параметр β управляет всеми гиперпараметрами контроллера) и трейсы исполнения (агент видит не просто точность, а как именно контроллер тратил бюджет — и может диагностировать ошибки).
Результат: найденные контроллеры бьют ручные базовые линии по Парето-фронту accuracy/cost и обобщаются на новые бенчмарки и масштабы моделей.
https://arxiv.org/abs/2605.08083
Математики vs LLM: кто сильнее в настоящей математике? (by EleutherAI)
Топовые модели решают олимпиадные задачи уже неплохо — но что если дать им задачи уровня аспирантуры, написанные живыми математиками? Именно это сделали авторы бенчмарка Soohak: 105 математиков (38 профессоров, 25 постдоков/PhD, IMO-медалисты) написали задачи с нуля, без ИИ.
Результаты на Challenge-части: лучший Gemini-3-Pro берёт лишь 30%, GPT-5 — 26%, Claude Opus 4.5 — 10%. Лучшая открытая модель Kimi-2.5 — 14%.
Отдельный сюрприз: Refusal-сабсет с некорректно поставленными задачами. Лучшие модели распознают "плохие" задачи лишь в 43-49% случаев — остальное время уверенно решают то, что решить невозможно.
Человеческая команда IMO-медалистов и PhD покрыла 50% задач — бенчмарк сложный, но реальный.
https://arxiv.org/abs/2605.09063
Топовые модели решают олимпиадные задачи уже неплохо — но что если дать им задачи уровня аспирантуры, написанные живыми математиками? Именно это сделали авторы бенчмарка Soohak: 105 математиков (38 профессоров, 25 постдоков/PhD, IMO-медалисты) написали задачи с нуля, без ИИ.
Результаты на Challenge-части: лучший Gemini-3-Pro берёт лишь 30%, GPT-5 — 26%, Claude Opus 4.5 — 10%. Лучшая открытая модель Kimi-2.5 — 14%.
Отдельный сюрприз: Refusal-сабсет с некорректно поставленными задачами. Лучшие модели распознают "плохие" задачи лишь в 43-49% случаев — остальное время уверенно решают то, что решить невозможно.
Человеческая команда IMO-медалистов и PhD покрыла 50% задач — бенчмарк сложный, но реальный.
https://arxiv.org/abs/2605.09063
Законы масштабирования для слияния LLM
Слияние моделей (model merging) — мощный трюк: берёшь несколько специализированных LLM, складываешь их веса и получаешь одну универсальную модель без дообучения. Но когда стоит остановиться и сколько экспертов сливать?
Авторы из Hong Kong PolyU вывели закон масштабирования для merging: потери убывают по формуле floor + tail, где floor зависит от размера модели N, а tail убывает как 1/(k+b) с числом экспертов k. Проверили на 10 866 слитых моделях (0.5B–72B, 9 доменов, 4 метода: Average, TA, TIES, DARE). R² > 0.98.
Главные выводы: большие модели сливаются легче; большинство выигрыша даёт первая горсть экспертов — потом плато; различия между методами исчезают при росте масштаба. При этом merging почти догоняет multitask SFT, тратя ничтожно мало GPU-часов.
Практически: три замера — и можно предсказать всю кривую качества и выбрать оптимальное k под бюджет.
https://arxiv.org/abs/2509.24244
Слияние моделей (model merging) — мощный трюк: берёшь несколько специализированных LLM, складываешь их веса и получаешь одну универсальную модель без дообучения. Но когда стоит остановиться и сколько экспертов сливать?
Авторы из Hong Kong PolyU вывели закон масштабирования для merging: потери убывают по формуле floor + tail, где floor зависит от размера модели N, а tail убывает как 1/(k+b) с числом экспертов k. Проверили на 10 866 слитых моделях (0.5B–72B, 9 доменов, 4 метода: Average, TA, TIES, DARE). R² > 0.98.
Главные выводы: большие модели сливаются легче; большинство выигрыша даёт первая горсть экспертов — потом плато; различия между методами исчезают при росте масштаба. При этом merging почти догоняет multitask SFT, тратя ничтожно мало GPU-часов.
Практически: три замера — и можно предсказать всю кривую качества и выбрать оптимальное k под бюджет.
https://arxiv.org/abs/2509.24244
Qwen-Image-2.0: один фреймворк для генерации и редактирования изображений (by Qwen/Alibaba)
Главная идея: зачем держать отдельные модели для text-to-image и редактирования, если можно обучить одну?
Qwen-Image-2.0 объединяет генерацию и инструкционное редактирование в единой архитектуре. Под капотом — Qwen3-VL как энкодер + MMDiT-бэкбон, плюс VAE с 16× сжатием для нативной генерации в 2K.
Ключевые фишки:
— Рендеринг текста до 1K токенов промпта (слайды, постеры, инфографика)
— Широкая многоязычность с корректной типографикой
— RLHF через GRPO с отдельными reward-моделями для эстетики, портретов, следования инструкциям
Данные обучаются в 6 стадий фильтрации с автоматическим data flywheel — модель сама находит свои провалы через evaluation-сигналы и итеративно улучшается.
Конкурируют с GPT-4o image gen и Gemini Imagen — судя по бенчмаркам, вполне достойно.
https://arxiv.org/abs/2605.10730
Главная идея: зачем держать отдельные модели для text-to-image и редактирования, если можно обучить одну?
Qwen-Image-2.0 объединяет генерацию и инструкционное редактирование в единой архитектуре. Под капотом — Qwen3-VL как энкодер + MMDiT-бэкбон, плюс VAE с 16× сжатием для нативной генерации в 2K.
Ключевые фишки:
— Рендеринг текста до 1K токенов промпта (слайды, постеры, инфографика)
— Широкая многоязычность с корректной типографикой
— RLHF через GRPO с отдельными reward-моделями для эстетики, портретов, следования инструкциям
Данные обучаются в 6 стадий фильтрации с автоматическим data flywheel — модель сама находит свои провалы через evaluation-сигналы и итеративно улучшается.
Конкурируют с GPT-4o image gen и Gemini Imagen — судя по бенчмаркам, вполне достойно.
https://arxiv.org/abs/2605.10730
Apple ML представила BalCapRL — новый фреймворк для обучения мультимодальных языковых моделей описывать изображения с помощью reinforcement learning.
Проблема была в том, что существующие RL-методы оптимизируют что-то одно: либо точность ответов на вопросы по картинке, либо красивый слог — но не всё сразу. В итоге модели генерировали либо длинные галлюцинирующие описания, либо гладкие, но бесполезные.
BalCapRL одновременно оптимизирует три параметра: фактическую корректность, полноту охвата и качество языка. Для этого используется GDPO-нормализация наград и новая техника length-conditional reward masking, которая штрафует за неуместную длину.
Результаты на моделях LLaVA-1.5-7B и Qwen2.5-VL: прирост до +13.6 по DCScore, +9.0 по CaptionQA и +29.0 по CapArena.
Для пользователей это значит более точные и читаемые описания изображений в будущих продуктах Apple — от accessibility-функций до поиска по фото.
https://machinelearning.apple.com/research/balcaprl-mllm-image-captioning
Проблема была в том, что существующие RL-методы оптимизируют что-то одно: либо точность ответов на вопросы по картинке, либо красивый слог — но не всё сразу. В итоге модели генерировали либо длинные галлюцинирующие описания, либо гладкие, но бесполезные.
BalCapRL одновременно оптимизирует три параметра: фактическую корректность, полноту охвата и качество языка. Для этого используется GDPO-нормализация наград и новая техника length-conditional reward masking, которая штрафует за неуместную длину.
Результаты на моделях LLaVA-1.5-7B и Qwen2.5-VL: прирост до +13.6 по DCScore, +9.0 по CaptionQA и +29.0 по CapArena.
Для пользователей это значит более точные и читаемые описания изображений в будущих продуктах Apple — от accessibility-функций до поиска по фото.
https://machinelearning.apple.com/research/balcaprl-mllm-image-captioning
Apple Machine Learning Research
BalCapRL: A Balanced Framework for RL-Based MLLM Image Captioning
Image captioning is one of the most fundamental tasks in computer vision. Owing to its open-ended nature, it has received significant…
Один трансформер вместо зоопарка энкодеров и декодеров
Классическая проблема мультимодальных систем: понимание изображений требует vision encoder, генерация — VAE/latent diffusion, и всё это склеивается на скотч. SenseNova-U1 предлагает радикальный выход: никаких VE, никаких VAE, только сырые пиксели и слова прямо на вход.
Ключевая идея — архитектура NEO-unify с near-lossless visual interface: патчи изображений кодируются минимальным embedding-слоем, а декодирование идёт через pixel-space flow matching, без латентного сжатия. Для совмещения понимания и генерации используется native Mixture-of-Transformers (MoT) — эксперты специализируются под разные модальные цели, снижая интерференцию.
Результат: модели 8B и 30B-A3B конкурируют с топовыми understanding-only VLM и при этом генерируют изображения, делают редактирование и interleaved vision+text output в одной архитектуре.
https://arxiv.org/abs/2605.12500
Классическая проблема мультимодальных систем: понимание изображений требует vision encoder, генерация — VAE/latent diffusion, и всё это склеивается на скотч. SenseNova-U1 предлагает радикальный выход: никаких VE, никаких VAE, только сырые пиксели и слова прямо на вход.
Ключевая идея — архитектура NEO-unify с near-lossless visual interface: патчи изображений кодируются минимальным embedding-слоем, а декодирование идёт через pixel-space flow matching, без латентного сжатия. Для совмещения понимания и генерации используется native Mixture-of-Transformers (MoT) — эксперты специализируются под разные модальные цели, снижая интерференцию.
Результат: модели 8B и 30B-A3B конкурируют с топовыми understanding-only VLM и при этом генерируют изображения, делают редактирование и interleaved vision+text output в одной архитектуре.
https://arxiv.org/abs/2605.12500
World Action Models: следующий шаг после VLA-роботов
Обычные VLA-модели (RT-2, OpenVLA, π0) умеют следовать инструкциям и брать предметы, но у них есть слепое пятно: они не моделируют, что произойдёт с миром после действия. Просто obs → action, без предсказания будущего.
Свежий обзор от OpenMOSS вводит термин World Action Models (WAMs) — модели, которые совместно предсказывают и действие, и следующее состояние среды: p(o', a | o, l).
Два архитектурных подхода:
1. Cascaded WAM — сначала предсказываем будущее состояние, потом из него выводим действие (явная факторизация).
2. Joint WAM — предсказание мира и генерация действий обучаются совместно в одном пространстве.
Главный бонус WAM: можно использовать огромные датасеты человеческого видео без разметки действий — модель учится физике мира из интернета.
Это первый систематический обзор этого направления, покрывающий ~80+ работ с таксономией архитектур, датасетов и бенчмарков.
https://arxiv.org/abs/2605.12090
Обычные VLA-модели (RT-2, OpenVLA, π0) умеют следовать инструкциям и брать предметы, но у них есть слепое пятно: они не моделируют, что произойдёт с миром после действия. Просто obs → action, без предсказания будущего.
Свежий обзор от OpenMOSS вводит термин World Action Models (WAMs) — модели, которые совместно предсказывают и действие, и следующее состояние среды: p(o', a | o, l).
Два архитектурных подхода:
1. Cascaded WAM — сначала предсказываем будущее состояние, потом из него выводим действие (явная факторизация).
2. Joint WAM — предсказание мира и генерация действий обучаются совместно в одном пространстве.
Главный бонус WAM: можно использовать огромные датасеты человеческого видео без разметки действий — модель учится физике мира из интернета.
Это первый систематический обзор этого направления, покрывающий ~80+ работ с таксономией архитектур, датасетов и бенчмарков.
https://arxiv.org/abs/2605.12090