Интерактивное видео в реальном времени за 1-2 шага диффузии (by Tsinghua ML Group)
Хочешь генерировать видео покадрово с минимальной задержкой? Проблема: дистилляция авторегрессионных диффузионных моделей до 1-2 шагов — это больно. Старые методы либо используют двунаправленного учителя (архитектурный мисматч с каузальным роллаутом), либо требуют хранить полные ODE-траектории для каждого сэмпла (дорого и не масштабируется).
Causal Forcing++ решает это через causal consistency distillation: вместо генерации полных траекторий берём один онлайн-шаг учителя между соседними таймстепами на реальных видео. Это и дешевле (4× меньше затрат на Stage 2), и качественнее — меньший per-step gap при оптимизации.
Результат на Wan2.1-1.3B: лучший VBench Total среди AR-методов, задержка первого кадра -50%, никакого хранения вспомогательных траекторий. Плюс метод легко расширяется до action-conditioned world models с управлением камерой.
https://arxiv.org/abs/2605.15141
Хочешь генерировать видео покадрово с минимальной задержкой? Проблема: дистилляция авторегрессионных диффузионных моделей до 1-2 шагов — это больно. Старые методы либо используют двунаправленного учителя (архитектурный мисматч с каузальным роллаутом), либо требуют хранить полные ODE-траектории для каждого сэмпла (дорого и не масштабируется).
Causal Forcing++ решает это через causal consistency distillation: вместо генерации полных траекторий берём один онлайн-шаг учителя между соседними таймстепами на реальных видео. Это и дешевле (4× меньше затрат на Stage 2), и качественнее — меньший per-step gap при оптимизации.
Результат на Wan2.1-1.3B: лучший VBench Total среди AR-методов, задержка первого кадра -50%, никакого хранения вспомогательных траекторий. Плюс метод легко расширяется до action-conditioned world models с управлением камерой.
https://arxiv.org/abs/2605.15141
Nvidia Tech представила платформу Vera Rubin — решение для масштабирования агентного ИИ.
Проблема: агентные системы генерируют сотни запросов за сессию, каждый со своим контекстом, историей и кешем. Это убивает латентность и делает традиционные серверные решения неэффективными.
Что нового: связка Vera Rubin NVL72 и Groq 3 LPX. Первый даёт мощь — 3600 PFLOPS и 20,7 ТБ памяти HBM4. Второй решает проблему связи между чипами: компилятор планирует передачу данных заранее, а не в рантайме, обеспечивая предсказуемую низкую задержку на тысячах ускорителей одновременно.
Почему важно: впервые в одной платформе совмещены высокая пропускная способность и стабильная низкая задержка для триллионных MoE-моделей. Это открывает путь к надёжным мультиагентным системам в продакшене.
https://developer.nvidia.com/blog/how-the-nvidia-vera-rubin-platform-is-solving-agentic-ais-scale-up-problem/
Проблема: агентные системы генерируют сотни запросов за сессию, каждый со своим контекстом, историей и кешем. Это убивает латентность и делает традиционные серверные решения неэффективными.
Что нового: связка Vera Rubin NVL72 и Groq 3 LPX. Первый даёт мощь — 3600 PFLOPS и 20,7 ТБ памяти HBM4. Второй решает проблему связи между чипами: компилятор планирует передачу данных заранее, а не в рантайме, обеспечивая предсказуемую низкую задержку на тысячах ускорителей одновременно.
Почему важно: впервые в одной платформе совмещены высокая пропускная способность и стабильная низкая задержка для триллионных MoE-моделей. Это открывает путь к надёжным мультиагентным системам в продакшене.
https://developer.nvidia.com/blog/how-the-nvidia-vera-rubin-platform-is-solving-agentic-ais-scale-up-problem/
NVIDIA Technical Blog
How the NVIDIA Vera Rubin Platform is Solving Agentic AI’s Scale-Up Problem
Agentic inference has fundamentally changed the runtime dynamics of inference workloads by introducing non-deterministic trajectories—actions, observations, and decisions that an AI agent produces…
Amazon Science выпустила Promptimus — фреймворк для автоматической оптимизации уже хороших промптов для LLM, без ручной доработки.
Проблема: промпты для корпоративных задач создаются месяцами и кодируют сложную бизнес-логику. Улучшить их без регрессий крайне сложно, а при смене модели всё приходится переделывать вручную.
Как работает Promptimus: четыре итерационных шага — оценка, генерация обратной связи, выработка стратегии и проверка кандидатов. Ключевая фишка — фокус на конкретных точках отказа, а не случайные правки. Есть режим точечного редактирования для сложных промптов.
Результат: лучший результат на 16 из 20 бенчмарков среди шести конкурирующих методов. Работает с любой моделью и поддерживает классификацию, генерацию, суммаризацию, code gen и другие задачи.
Важно для бизнеса: при переходе на новую модель промпт можно быстро переоптимизировать автоматически, не нанимая армию инженеров.
https://www.amazon.science/blog/promptimus-improving-already-good-llm-prompts-with-zero-manual-engineering
Проблема: промпты для корпоративных задач создаются месяцами и кодируют сложную бизнес-логику. Улучшить их без регрессий крайне сложно, а при смене модели всё приходится переделывать вручную.
Как работает Promptimus: четыре итерационных шага — оценка, генерация обратной связи, выработка стратегии и проверка кандидатов. Ключевая фишка — фокус на конкретных точках отказа, а не случайные правки. Есть режим точечного редактирования для сложных промптов.
Результат: лучший результат на 16 из 20 бенчмарков среди шести конкурирующих методов. Работает с любой моделью и поддерживает классификацию, генерацию, суммаризацию, code gen и другие задачи.
Важно для бизнеса: при переходе на новую модель промпт можно быстро переоптимизировать автоматически, не нанимая армию инженеров.
https://www.amazon.science/blog/promptimus-improving-already-good-llm-prompts-with-zero-manual-engineering
Amazon Science
Promptimus: Improving already good LLM prompts with zero manual engineering
By focusing on specific failure points and suggesting targeted solutions, a new automated prompt-engineering framework improves prompt performance without compromising existing functionality.
PyTorch выпустил версию 2.12
Крупное обновление популярного фреймворка для машинного обучения. Вот главное:
Скорость: батчевое разложение матриц на CUDA теперь до 100 раз быстрее — задачи, которые раньше занимали минуты, выполняются за секунды.
Унификация: новый API torch.accelerator.Graph объединяет захват и воспроизведение графов вычислений сразу для CUDA, XPU и сторонних бэкендов — меньше головной боли при переносе кода между железом.
Квантизация: torch.export теперь поддерживает формат MX-квантизации, что критично для развёртывания больших языковых моделей на edge-устройствах.
Оптимизаторы: Adagrad получил поддержку fused=True — весь шаг оптимизатора в одном CUDA-ядре, быстрее и эффективнее.
Релиз собран из 2926 коммитов от 457 контрибьюторов. 20 мая в 10:00 PST пройдёт живое Q&A с командой разработчиков.
https://pytorch.org/blog/pytorch-2-12-release-blog/
Крупное обновление популярного фреймворка для машинного обучения. Вот главное:
Скорость: батчевое разложение матриц на CUDA теперь до 100 раз быстрее — задачи, которые раньше занимали минуты, выполняются за секунды.
Унификация: новый API torch.accelerator.Graph объединяет захват и воспроизведение графов вычислений сразу для CUDA, XPU и сторонних бэкендов — меньше головной боли при переносе кода между железом.
Квантизация: torch.export теперь поддерживает формат MX-квантизации, что критично для развёртывания больших языковых моделей на edge-устройствах.
Оптимизаторы: Adagrad получил поддержку fused=True — весь шаг оптимизатора в одном CUDA-ядре, быстрее и эффективнее.
Релиз собран из 2926 коммитов от 457 контрибьюторов. 20 мая в 10:00 PST пройдёт живое Q&A с командой разработчиков.
https://pytorch.org/blog/pytorch-2-12-release-blog/
Умный учитель знает, когда молчать: токен-уровневая дистилляция для агентов
Обучать LLM-агентов сложнее, чем одношаговые модели — ошибки накапливаются по ходу диалога. Популярный подход OPSD (самодистилляция с привилегированным учителем) ломается в многоходовых сценариях: учитель и ученик расходятся всё сильнее с каждым шагом, KL-дивергенция взрывается, и обучение рушится.
Авторы из Чжэцзянского университета предлагают SDAR: вместо того чтобы слепо копировать учителя на каждом токене, они вводят адаптивные гейты. Гейт решает, насколько доверять учителю на каждом конкретном токене — опираясь на энтропию студента и разрыв вероятностей учитель-студент. Если учитель "одобряет" токен студента — сигнал усиливается, если "отвергает" — ослабляется. RL-лосс при этом остаётся нетронутым.
Результат на ALFWorld, WebShop, Search-QA: +9–10% к GRPO-базелайну для 7B-моделей, без катастрофических сбоев. Даже случайный retrieval бьёт базелайн — гейты фильтруют мусор автоматически.
https://arxiv.org/abs/2605.15155
Обучать LLM-агентов сложнее, чем одношаговые модели — ошибки накапливаются по ходу диалога. Популярный подход OPSD (самодистилляция с привилегированным учителем) ломается в многоходовых сценариях: учитель и ученик расходятся всё сильнее с каждым шагом, KL-дивергенция взрывается, и обучение рушится.
Авторы из Чжэцзянского университета предлагают SDAR: вместо того чтобы слепо копировать учителя на каждом токене, они вводят адаптивные гейты. Гейт решает, насколько доверять учителю на каждом конкретном токене — опираясь на энтропию студента и разрыв вероятностей учитель-студент. Если учитель "одобряет" токен студента — сигнал усиливается, если "отвергает" — ослабляется. RL-лосс при этом остаётся нетронутым.
Результат на ALFWorld, WebShop, Search-QA: +9–10% к GRPO-базелайну для 7B-моделей, без катастрофических сбоев. Даже случайный retrieval бьёт базелайн — гейты фильтруют мусор автоматически.
https://arxiv.org/abs/2605.15155
MemLens: у LLM нет долгосрочной мультимодальной памяти (by NVIDIA)
Представьте: вы общаетесь с ИИ-ассистентом месяцами, делитесь фотками, и вдруг он забывает всё что было раньше. Насколько хорошо современные модели справляются с долгосрочной мультимодальной памятью?
NVIDIA выпустила бенчмарк MemLens — 789 вопросов по 5 типам памяти: извлечение фактов, многосессионные рассуждения, временная логика, обновление знаний и отказ от ответа. Фишка: убери картинки — точность двух топовых моделей падает ниже 2%. Визуальные доказательства реально нужны.
Протестировали 27 LVLMs и 7 memory-агентов на контекстах 32K–256K токенов. Итог жёсткий:
— Длинный контекст работает хорошо на коротких историях, но деградирует при росте
— Memory-агенты стабильны по длине, но теряют визуальные детали при сжатии
— Multi-session reasoning не покоряется никому: большинство систем ниже 30%
Вывод: ни один подход не решает задачу. Нужна гибридная архитектура — длинный контекст + структурированный мультимодальный retrieval.
Представьте: вы общаетесь с ИИ-ассистентом месяцами, делитесь фотками, и вдруг он забывает всё что было раньше. Насколько хорошо современные модели справляются с долгосрочной мультимодальной памятью?
NVIDIA выпустила бенчмарк MemLens — 789 вопросов по 5 типам памяти: извлечение фактов, многосессионные рассуждения, временная логика, обновление знаний и отказ от ответа. Фишка: убери картинки — точность двух топовых моделей падает ниже 2%. Визуальные доказательства реально нужны.
Протестировали 27 LVLMs и 7 memory-агентов на контекстах 32K–256K токенов. Итог жёсткий:
— Длинный контекст работает хорошо на коротких историях, но деградирует при росте
— Memory-агенты стабильны по длине, но теряют визуальные детали при сжатии
— Multi-session reasoning не покоряется никому: большинство систем ниже 30%
Вывод: ни один подход не решает задачу. Нужна гибридная архитектура — длинный контекст + структурированный мультимодальный retrieval.
Можно улучшить LLM-рассуждения без единого шага обучения?
Darwin — фреймворк, который сливает несколько языковых моделей прямо в пространстве весов, не запуская градиентный спуск. Ключевая идея: не все слои одинаково важны для рассуждений, и это можно измерить без обучения.
Авторы вводят метрику MRI (Model-layer Response Importance) — комбинацию статистик тензоров (энтропия, дисперсия, норма) и косинусного расстояния между активациями на «рассуждательных» и обычных промптах. MRI показывает, какие слои модели B важнее для логики, чем слои модели A — и пропорционально им назначаются коэффициенты смешивания.
Поверх этого работает эволюционный поиск: 14-мерный геном кодирует стратегию слияния, а параметр τ балансирует доверие к MRI-диагностике против случайного поиска. Итог — merged-модель без дообучения, которая лучше рассуждает, чем каждый из родителей по отдельности.
https://arxiv.org/abs/2605.14386
Darwin — фреймворк, который сливает несколько языковых моделей прямо в пространстве весов, не запуская градиентный спуск. Ключевая идея: не все слои одинаково важны для рассуждений, и это можно измерить без обучения.
Авторы вводят метрику MRI (Model-layer Response Importance) — комбинацию статистик тензоров (энтропия, дисперсия, норма) и косинусного расстояния между активациями на «рассуждательных» и обычных промптах. MRI показывает, какие слои модели B важнее для логики, чем слои модели A — и пропорционально им назначаются коэффициенты смешивания.
Поверх этого работает эволюционный поиск: 14-мерный геном кодирует стратегию слияния, а параметр τ балансирует доверие к MRI-диагностике против случайного поиска. Итог — merged-модель без дообучения, которая лучше рассуждает, чем каждый из родителей по отдельности.
https://arxiv.org/abs/2605.14386
Microsoft Research предупреждает: ИИ портит ваши документы при делегировании задач
Исследователи опубликовали работу "LLMs Corrupt Your Documents When You Delegate" — о надёжности ИИ в длинных рабочих цепочках. Суть: когда вы поручаете модели многошаговую работу с документами, таблицами или кодом без промежуточной проверки, она постепенно «деградирует».
Конкретные цифры: у топовых моделей за 20 итераций редактирования смысловое содержание артефактов ухудшалось на 19–34%. Исключение — Python-код: там деградация составила менее 1%.
Важно: авторы не говорят, что ИИ бесполезен. Они указывают на конкретную проблему — автономное делегирование без человеческого контроля. Продакшн-системы с верификацией и оркестрацией справляются лучше.
Вывод для пользователей: если вы отдаёте ИИ важные документы на длительную самостоятельную обработку — проверяйте промежуточные результаты. Доверяй, но верифицируй.
https://www.microsoft.com/en-us/research/blog/further-notes-on-our-recent-research-on-ai-delegation-and-long-horizon-reliability/
Исследователи опубликовали работу "LLMs Corrupt Your Documents When You Delegate" — о надёжности ИИ в длинных рабочих цепочках. Суть: когда вы поручаете модели многошаговую работу с документами, таблицами или кодом без промежуточной проверки, она постепенно «деградирует».
Конкретные цифры: у топовых моделей за 20 итераций редактирования смысловое содержание артефактов ухудшалось на 19–34%. Исключение — Python-код: там деградация составила менее 1%.
Важно: авторы не говорят, что ИИ бесполезен. Они указывают на конкретную проблему — автономное делегирование без человеческого контроля. Продакшн-системы с верификацией и оркестрацией справляются лучше.
Вывод для пользователей: если вы отдаёте ИИ важные документы на длительную самостоятельную обработку — проверяйте промежуточные результаты. Доверяй, но верифицируй.
https://www.microsoft.com/en-us/research/blog/further-notes-on-our-recent-research-on-ai-delegation-and-long-horizon-reliability/
Microsoft Research
Further Notes on Our Recent Research on AI Delegation and Long-Horizon Reliability - Microsoft Research
Our recent paper, “LLMs Corrupt Your Documents When You Delegate”, has generated discussion about the reliability of AI systems in delegated workflows. We appreciate the interest in this work and want to clarify several important points about what the paper…
Nvidia выпустила VSS 3 — платформу для превращения видео в поисковую базу данных
Nvidia Metropolis Blueprint для поиска и анализа видео (VSS) обновился до версии 3. Теперь компании могут превращать миллионы прямых трансляций или часы записанного видео в мгновенно доступную аналитику.
Что нового: модульная архитектура, улучшенный поиск по нескольким источникам и набор Skills — готовых инструментов для интеграции с AI-агентами. Разработчики могут подключить VSS к агентам вроде Codex или OpenClaw и управлять всем через обычный чат: разворачивать сервисы, искать нужные моменты в видео, получать отчёты.
Практический пример: агент автоматически просматривает часы складских записей и находит все случаи использования лестниц, проверяя, надеты ли у рабочих каски и жилеты.
Почему важно: раньше настройка требовала ручной конфигурации десятков микросервисов. Теперь это делает агент по одной команде. Порог входа для видеоаналитики резко снижается.
https://developer.nvidia.com/blog/transform-video-into-instantly-searchable-actionable-intelligence-with-ai-agents-and-skills/
Nvidia Metropolis Blueprint для поиска и анализа видео (VSS) обновился до версии 3. Теперь компании могут превращать миллионы прямых трансляций или часы записанного видео в мгновенно доступную аналитику.
Что нового: модульная архитектура, улучшенный поиск по нескольким источникам и набор Skills — готовых инструментов для интеграции с AI-агентами. Разработчики могут подключить VSS к агентам вроде Codex или OpenClaw и управлять всем через обычный чат: разворачивать сервисы, искать нужные моменты в видео, получать отчёты.
Практический пример: агент автоматически просматривает часы складских записей и находит все случаи использования лестниц, проверяя, надеты ли у рабочих каски и жилеты.
Почему важно: раньше настройка требовала ручной конфигурации десятков микросервисов. Теперь это делает агент по одной команде. Порог входа для видеоаналитики резко снижается.
https://developer.nvidia.com/blog/transform-video-into-instantly-searchable-actionable-intelligence-with-ai-agents-and-skills/
Amazon Science ускоряет LLM без потери точности
Исследователи Amazon представили на конференции ICLR 2026 новый подход к оптимизации языковых моделей. Суть: они расширили известный закон масштабирования Chinchilla, добавив в него архитектурные параметры — размер скрытого слоя, соотношение MLP и attention-блоков, а также групповое внимание (GQA).
На основе этого фреймворка созданы две линейки моделей. Panda — максимальная точность, превосходит LLaMA-3.2 на 0.6–2.1%. Surefire — баланс скорости и точности: не уступает LLaMA-3.2 по качеству, но работает на 12–47% быстрее в зависимости от железа и фреймворка.
Ключевое открытие: оптимальное соотношение MLP к attention около 1.0, тогда как у LLaMA-3.2-1B оно равно 4.8 — далеко от оптимума.
Для пользователей это означает более быстрые и дешёвые AI-приложения без жертв в качестве ответов.
https://www.amazon.science/blog/making-llms-faster-without-sacrificing-accuracy
Исследователи Amazon представили на конференции ICLR 2026 новый подход к оптимизации языковых моделей. Суть: они расширили известный закон масштабирования Chinchilla, добавив в него архитектурные параметры — размер скрытого слоя, соотношение MLP и attention-блоков, а также групповое внимание (GQA).
На основе этого фреймворка созданы две линейки моделей. Panda — максимальная точность, превосходит LLaMA-3.2 на 0.6–2.1%. Surefire — баланс скорости и точности: не уступает LLaMA-3.2 по качеству, но работает на 12–47% быстрее в зависимости от железа и фреймворка.
Ключевое открытие: оптимальное соотношение MLP к attention около 1.0, тогда как у LLaMA-3.2-1B оно равно 4.8 — далеко от оптимума.
Для пользователей это означает более быстрые и дешёвые AI-приложения без жертв в качестве ответов.
https://www.amazon.science/blog/making-llms-faster-without-sacrificing-accuracy
Amazon Science
Making LLMs faster without sacrificing accuracy
A new scaling law that relates particular architectural choices to loss helps identify models that improve throughput by up to 47% with no loss of accuracy.
BitNet b1.58 2B4T — первая полноценная 1-битная LLM на 2B параметров, обученная с нуля
Веса нейросети обычно хранятся в float16 или bfloat16. А что если хранить только {-1, 0, +1}? Это и есть идея BitNet. Авторы обучили 2B модель на 4 триллионах токенов с нуля — не квантизация после обучения, а именно нативная 1.58-битная тренировка.
Ключевые трюки: замена стандартных Linear-слоёв на BitLinear (веса в ternary, активации в int8), squared ReLU вместо SwiGLU для большей разреженности, двухстадийный learning rate с cooldown на качественных данных. После претрейна — SFT и DPO.
Результат: сопоставимо с полноточными моделями того же размера при кратно меньшем потреблении памяти и энергии. Веса выложены на HuggingFace, есть оптимизированный инференс под CPU и GPU.
https://arxiv.org/abs/2504.12285
Веса нейросети обычно хранятся в float16 или bfloat16. А что если хранить только {-1, 0, +1}? Это и есть идея BitNet. Авторы обучили 2B модель на 4 триллионах токенов с нуля — не квантизация после обучения, а именно нативная 1.58-битная тренировка.
Ключевые трюки: замена стандартных Linear-слоёв на BitLinear (веса в ternary, активации в int8), squared ReLU вместо SwiGLU для большей разреженности, двухстадийный learning rate с cooldown на качественных данных. После претрейна — SFT и DPO.
Результат: сопоставимо с полноточными моделями того же размера при кратно меньшем потреблении памяти и энергии. Веса выложены на HuggingFace, есть оптимизированный инференс под CPU и GPU.
https://arxiv.org/abs/2504.12285
👍1
Orchard: универсальный слой окружений для обучения агентов (by Microsoft Research)
Главная боль при обучении LLM-агентов — окружение. Каждый раз нужно поднять контейнер, накатить зависимости, запустить тесты, потом почистить. А при тысячах параллельных сред это превращается в ад.
Microsoft Research выкатили Orchard — open-source фреймворк, где ключевая идея: среда выполнения должна быть тонким независимым сервисом, не привязанным ни к конкретному агенту, ни к тренировочному стеку.
Orchard Env — Kubernetes-native сервис с REST API, который работает в 2-10x дешевле аналогов вроде E2B/Daytona и даёт латентность 0.28с на команду.
На этом фундаменте обучили агентов в трёх доменах:
- Orchard-SWE: 67.5% на SWE-Bench Verified (SOTA среди open-source)
- Orchard-GUI: 74.1% на WebVoyager, 4B модель обогнала своего 235B учителя!
- Orchard-Claw: персональный ассистент, 59.6% pass@3
Всё открыто: код, рецепты обучения, 107K траекторий.
https://arxiv.org/abs/2605.15040
Главная боль при обучении LLM-агентов — окружение. Каждый раз нужно поднять контейнер, накатить зависимости, запустить тесты, потом почистить. А при тысячах параллельных сред это превращается в ад.
Microsoft Research выкатили Orchard — open-source фреймворк, где ключевая идея: среда выполнения должна быть тонким независимым сервисом, не привязанным ни к конкретному агенту, ни к тренировочному стеку.
Orchard Env — Kubernetes-native сервис с REST API, который работает в 2-10x дешевле аналогов вроде E2B/Daytona и даёт латентность 0.28с на команду.
На этом фундаменте обучили агентов в трёх доменах:
- Orchard-SWE: 67.5% на SWE-Bench Verified (SOTA среди open-source)
- Orchard-GUI: 74.1% на WebVoyager, 4B модель обогнала своего 235B учителя!
- Orchard-Claw: персональный ассистент, 59.6% pass@3
Всё открыто: код, рецепты обучения, 107K траекторий.
https://arxiv.org/abs/2605.15040
ThinkPRM: научи модель проверять рассуждения через рассуждения
Чтобы отбирать лучшие решения при test-time scaling, нужен хороший Process Reward Model (PRM). Проблема: обучить дискриминативный PRM дорого — нужны сотни тысяч пошаговых аннотаций. А LLM-as-a-judge работает нестабильно: чуть меняешь промпт — результат скачет на 3-4 пункта, модель зацикливается или вместо проверки начинает сама решать задачу.
Авторы предлагают ThinkPRM: берём reasoning-модель (R1-Distill, QwQ-32B), файнтюним её на синтетических цепочках верификации. Данных нужно минимум — всего 8K пошаговых меток. Зато модель учится думать длинным CoT над каждым шагом решения, а не просто выдавать метку.
Ключевой бонус: чем больше токенов даёшь на верификацию — тем лучше результат. ThinkPRM-14B обходит дискриминативные PRM, обученные на в 100 раз большем объёме данных, и работает на математике, коде и научных задачах.
https://arxiv.org/abs/2504.16828
Чтобы отбирать лучшие решения при test-time scaling, нужен хороший Process Reward Model (PRM). Проблема: обучить дискриминативный PRM дорого — нужны сотни тысяч пошаговых аннотаций. А LLM-as-a-judge работает нестабильно: чуть меняешь промпт — результат скачет на 3-4 пункта, модель зацикливается или вместо проверки начинает сама решать задачу.
Авторы предлагают ThinkPRM: берём reasoning-модель (R1-Distill, QwQ-32B), файнтюним её на синтетических цепочках верификации. Данных нужно минимум — всего 8K пошаговых меток. Зато модель учится думать длинным CoT над каждым шагом решения, а не просто выдавать метку.
Ключевой бонус: чем больше токенов даёшь на верификацию — тем лучше результат. ThinkPRM-14B обходит дискриминативные PRM, обученные на в 100 раз большем объёме данных, и работает на математике, коде и научных задачах.
https://arxiv.org/abs/2504.16828
PanoWorld: научить ИИ видеть всё вокруг сразу, а не по кускам
Обычные мультимодальные модели смотрят на мир как человек — только вперёд. Но задачи навигации и поиска объектов требуют понимания всего пространства вокруг наблюдателя сразу. 360° панорамы дают это, но просто перенести туда перспективные модели не выходит — геометрические искажения, неравномерная дискретизация, разрывы на швах.
Авторы из Zhejiang University предлагают PanoWorld — MLLM, обученную нативно на панорамах. Ключевая идея: Spherical Spatial Cross-Attention, которое явно встраивает сферическую геометрию (yaw/pitch координаты) прямо в визуальные токены ERP-изображения.
Параллельно собран датасет 570K панорам с верифицированными метаданными: глубина, сущности, пространственный граф. Плюс новый бенчмарк PanoSpace-Bench с таксономией из 4 групп задач: семантическое заземление, сферическая локализация, трансформация систем отсчёта, 3D-отношения.
Результат — сильные улучшения на 360° reasoning и VLN навигации (R2R-CE).
Обычные мультимодальные модели смотрят на мир как человек — только вперёд. Но задачи навигации и поиска объектов требуют понимания всего пространства вокруг наблюдателя сразу. 360° панорамы дают это, но просто перенести туда перспективные модели не выходит — геометрические искажения, неравномерная дискретизация, разрывы на швах.
Авторы из Zhejiang University предлагают PanoWorld — MLLM, обученную нативно на панорамах. Ключевая идея: Spherical Spatial Cross-Attention, которое явно встраивает сферическую геометрию (yaw/pitch координаты) прямо в визуальные токены ERP-изображения.
Параллельно собран датасет 570K панорам с верифицированными метаданными: глубина, сущности, пространственный граф. Плюс новый бенчмарк PanoSpace-Bench с таксономией из 4 групп задач: семантическое заземление, сферическая локализация, трансформация систем отсчёта, 3D-отношения.
Результат — сильные улучшения на 360° reasoning и VLN навигации (R2R-CE).
Агент, который учится на своих ошибках в олимпиадном программировании
Большинство LLM-систем для кода решают каждую задачу с нуля — никакого накопленного опыта. Solvita это меняет: четыре агента (Planner, Solver, Oracle, Hacker) работают в замкнутом цикле, а каждый неудачный запуск обновляет граф знаний через RL.
Ключевая идея: вместо файн-тюнинга модели — обучаемые графовые сети памяти у каждого агента. Веса рёбер меняются по сигналам pass/fail, а не по статическому сходству текстов. Hacker специально ищет adversarial тесты, ломающие текущее решение — и это тоже идёт в обучение.
Solver чинит код патчами (search-and-replace), а не перегенерирует с нуля — экономит токены.
Результат на CodeContests с GPT backbone: pass@1 вырос с 40% до 82.4% — почти вдвое, при сопоставимом расходе токенов с другими пайплайнами.
https://arxiv.org/abs/2605.15301
Большинство LLM-систем для кода решают каждую задачу с нуля — никакого накопленного опыта. Solvita это меняет: четыре агента (Planner, Solver, Oracle, Hacker) работают в замкнутом цикле, а каждый неудачный запуск обновляет граф знаний через RL.
Ключевая идея: вместо файн-тюнинга модели — обучаемые графовые сети памяти у каждого агента. Веса рёбер меняются по сигналам pass/fail, а не по статическому сходству текстов. Hacker специально ищет adversarial тесты, ломающие текущее решение — и это тоже идёт в обучение.
Solver чинит код патчами (search-and-replace), а не перегенерирует с нуля — экономит токены.
Результат на CodeContests с GPT backbone: pass@1 вырос с 40% до 82.4% — почти вдвое, при сопоставимом расходе токенов с другими пайплайнами.
https://arxiv.org/abs/2605.15301
PhysBrain 1.0: сначала понять физику, потом двигаться (by DeepCybo)
Большинство VLA-роботов учатся так: собери траектории телеоперации, обучи политику, масштабируй. PhysBrain 1.0 говорит: стоп, это тупик.
Идея: сначала научи модель понимать физический мир через видео от первого лица (Ego4D и др.), и только потом адаптируй под конкретного робота. Человеческое эго-видео дешевле, разнообразнее и полно физических паттернов: контакты, досягаемость, изменение состояния объектов.
Ключевой трюк — data engine, который работает как компилятор: сырое видео → структурированные метаданные сцены (объекты, пространственные отношения, глубина) → физически обоснованные QA-пары для обучения. Никаких дженерик-капшнов.
Результат: модель хорошо работает и на VLM-бенчмарках (MMMU, MME), и на робо-бенчмарках (LIBERO, SimplerEnv) — используя минимум реальных траекторий робота.
https://arxiv.org/abs/2605.15298
Большинство VLA-роботов учатся так: собери траектории телеоперации, обучи политику, масштабируй. PhysBrain 1.0 говорит: стоп, это тупик.
Идея: сначала научи модель понимать физический мир через видео от первого лица (Ego4D и др.), и только потом адаптируй под конкретного робота. Человеческое эго-видео дешевле, разнообразнее и полно физических паттернов: контакты, досягаемость, изменение состояния объектов.
Ключевой трюк — data engine, который работает как компилятор: сырое видео → структурированные метаданные сцены (объекты, пространственные отношения, глубина) → физически обоснованные QA-пары для обучения. Никаких дженерик-капшнов.
Результат: модель хорошо работает и на VLM-бенчмарках (MMMU, MME), и на робо-бенчмарках (LIBERO, SimplerEnv) — используя минимум реальных траекторий робота.
https://arxiv.org/abs/2605.15298
LongLive-2.0: генерация длинных видео в реальном времени (by NVIDIA)
Главная боль генерации длинных видео — огромное потребление памяти GPU и низкая скорость. NVIDIA представила LongLive-2.0 — инфраструктуру, которая решает это через совместный дизайн обучения и инференса.
Ключевые идеи:
1. Balanced SP — новый sequence parallelism для AR-обучения. Вместо наивной нарезки последовательности каждый GPU получает пару clean+noisy латентов из одного временного чанка. Это балансирует нагрузку и убирает дублирование VAE-энкодинга.
2. NVFP4 — 4-битное квантование весов и активаций (W4A4) на Blackwell GPU даёт ускорение GEMM в 2-4x. Причём квантование используется и при обучении, и при инференсе — нет разрыва между ними.
3. Асинхронный декодинг — VAE-декодирование перекрывается с диффузионными шагами, что приближает end-to-end FPS к model-only FPS.
В итоге пайплайн обучения упростился: не нужны ODE-инициализация и многоэтапный DMD — только прямой AR fine-tuning + standalone LoRA для real-time инференса.
Главная боль генерации длинных видео — огромное потребление памяти GPU и низкая скорость. NVIDIA представила LongLive-2.0 — инфраструктуру, которая решает это через совместный дизайн обучения и инференса.
Ключевые идеи:
1. Balanced SP — новый sequence parallelism для AR-обучения. Вместо наивной нарезки последовательности каждый GPU получает пару clean+noisy латентов из одного временного чанка. Это балансирует нагрузку и убирает дублирование VAE-энкодинга.
2. NVFP4 — 4-битное квантование весов и активаций (W4A4) на Blackwell GPU даёт ускорение GEMM в 2-4x. Причём квантование используется и при обучении, и при инференсе — нет разрыва между ними.
3. Асинхронный декодинг — VAE-декодирование перекрывается с диффузионными шагами, что приближает end-to-end FPS к model-only FPS.
В итоге пайплайн обучения упростился: не нужны ODE-инициализация и многоэтапный DMD — только прямой AR fine-tuning + standalone LoRA для real-time инференса.
Агентский пруver для Lean 4, который учится на своих ошибках
Большинство систем автодоказательства теорем генерируют доказательство за один проход и надеются на лучшее. OProver делает иначе: это единый фреймворк, где модель итеративно правит доказательство, используя обратную связь от компилятора Lean 4 и retrieved примеры похожих доказанных теорем.
Ключевая идея: устранить разрыв train-inference. Обычно retrieval и фидбек компилятора применяются только при инференсе, а модель их никогда не видела при обучении. OProver обучает политику именно на таких траекториях: провал → ошибка компилятора → правка → успех.
Корпус OProofs содержит 1.77M утверждений и 6.86M верифицированных доказательств, плюс сериализованные траектории с ошибками и починками — чего нет в других Lean-датасетах.
Обучение: CPT на Lean-коде → итеративный SFT+RL, где новые доказательства сразу добавляются в retrieval memory.
Результат: OProver-32B достигает Pass@32 = 93.3 на MiniF2F и 11.3 на PutnamBench — SOTA среди open-weight моделей.
Большинство систем автодоказательства теорем генерируют доказательство за один проход и надеются на лучшее. OProver делает иначе: это единый фреймворк, где модель итеративно правит доказательство, используя обратную связь от компилятора Lean 4 и retrieved примеры похожих доказанных теорем.
Ключевая идея: устранить разрыв train-inference. Обычно retrieval и фидбек компилятора применяются только при инференсе, а модель их никогда не видела при обучении. OProver обучает политику именно на таких траекториях: провал → ошибка компилятора → правка → успех.
Корпус OProofs содержит 1.77M утверждений и 6.86M верифицированных доказательств, плюс сериализованные траектории с ошибками и починками — чего нет в других Lean-датасетах.
Обучение: CPT на Lean-коде → итеративный SFT+RL, где новые доказательства сразу добавляются в retrieval memory.
Результат: OProver-32B достигает Pass@32 = 93.3 на MiniF2F и 11.3 на PutnamBench — SOTA среди open-weight моделей.
Зачем вообще нужен отдельный vision encoder в мультимодальных моделях?
Оказывается — незачем. Новая работа изучает scaling laws для "нативных" мультимодальных моделей, обученных с нуля на всех модальностях сразу, без предобученных LLM или vision encoder'ов.
Главные находки:
Early fusion (сырые патчи изображений прямо в трансформер) работает так же хорошо, как late fusion (отдельный энкодер + LLM), но требует меньше параметров. Late fusion просто тратит их впустую.
Scaling laws для таких моделей похожи на законы для текстовых LLM — параметры и токены нужно масштабировать примерно одинаково.
Добавление MoE даёт большой прирост, причём эксперты сами учатся специализироваться по модальностям — особенно в первых и последних слоях. При этом modality-agnostic routing бьёт modality-aware.
Вывод: строить мультимодальные модели с нуля проще и эффективнее, чем склеивать готовые части.
https://arxiv.org/abs/2504.07951
Оказывается — незачем. Новая работа изучает scaling laws для "нативных" мультимодальных моделей, обученных с нуля на всех модальностях сразу, без предобученных LLM или vision encoder'ов.
Главные находки:
Early fusion (сырые патчи изображений прямо в трансформер) работает так же хорошо, как late fusion (отдельный энкодер + LLM), но требует меньше параметров. Late fusion просто тратит их впустую.
Scaling laws для таких моделей похожи на законы для текстовых LLM — параметры и токены нужно масштабировать примерно одинаково.
Добавление MoE даёт большой прирост, причём эксперты сами учатся специализироваться по модальностям — особенно в первых и последних слоях. При этом modality-agnostic routing бьёт modality-aware.
Вывод: строить мультимодальные модели с нуля проще и эффективнее, чем склеивать готовые части.
https://arxiv.org/abs/2504.07951
PyTorch выпустил MLX делегат для ExecuTorch — теперь модели на Apple Silicon работают с ускорением на GPU через фреймворк Apple MLX.
Раньше пользователи macOS были ограничены CPU-бэкендами вроде XNNPACK. Новый делегат даёт 3-6x прирост производительности на генеративных задачах.
Что поддерживается: Llama, Qwen, Gemma, Phi-4, модели речи Whisper, Voxtral и Parakeet — включая стриминг в реальном времени. Квантизация: BF16, FP16, FP32, 2/4/8-bit и даже NVFP4.
Воркфлоу стандартный: экспортируешь модель через torch.export, применяешь MLXPartitioner, запускаешь .pte файл. Код приложения менять не нужно — тот же ExecuTorch API.
Делегат пока экспериментальный, но уже проверен на 30+ моделях.
https://pytorch.org/blog/running-pytorch-models-on-apple-silicon-gpus-with-the-executorch-mlx-delegate/
Раньше пользователи macOS были ограничены CPU-бэкендами вроде XNNPACK. Новый делегат даёт 3-6x прирост производительности на генеративных задачах.
Что поддерживается: Llama, Qwen, Gemma, Phi-4, модели речи Whisper, Voxtral и Parakeet — включая стриминг в реальном времени. Квантизация: BF16, FP16, FP32, 2/4/8-bit и даже NVFP4.
Воркфлоу стандартный: экспортируешь модель через torch.export, применяешь MLXPartitioner, запускаешь .pte файл. Код приложения менять не нужно — тот же ExecuTorch API.
Делегат пока экспериментальный, но уже проверен на 30+ моделях.
https://pytorch.org/blog/running-pytorch-models-on-apple-silicon-gpus-with-the-executorch-mlx-delegate/
ИИ-исследователь, который учится на своих ошибках и не начинает каждый раз с нуля
AutoResearchClaw — это мультиагентная система для автономного проведения исследований, которая решает три ключевые проблемы существующих подходов типа AI Scientist.
Во-первых, гипотезы проверяются через дебаты трёх агентов с разными ролями: Инноватор, Прагматик и Скептик — чтобы не было эффекта "сам придумал, сам одобрил". Во-вторых, упавший эксперимент не выбрасывается, а анализируется: система решает — починить текущий подход (Refine) или сменить направление (Pivot). В-третьих, уроки из прошлых запусков сохраняются с временным затуханием и инжектируются в новые попытки.
Плюс есть 7 режимов участия человека: от полной автономии до пошагового одобрения. Оказалось, что точечное вмешательство в ключевых точках бьёт оба крайних варианта.
На бенчмарке ARC-Bench система обгоняет AI Scientist v2 на 54.7%.
https://arxiv.org/abs/2605.20025
AutoResearchClaw — это мультиагентная система для автономного проведения исследований, которая решает три ключевые проблемы существующих подходов типа AI Scientist.
Во-первых, гипотезы проверяются через дебаты трёх агентов с разными ролями: Инноватор, Прагматик и Скептик — чтобы не было эффекта "сам придумал, сам одобрил". Во-вторых, упавший эксперимент не выбрасывается, а анализируется: система решает — починить текущий подход (Refine) или сменить направление (Pivot). В-третьих, уроки из прошлых запусков сохраняются с временным затуханием и инжектируются в новые попытки.
Плюс есть 7 режимов участия человека: от полной автономии до пошагового одобрения. Оказалось, что точечное вмешательство в ключевых точках бьёт оба крайних варианта.
На бенчмарке ARC-Bench система обгоняет AI Scientist v2 на 54.7%.
https://arxiv.org/abs/2605.20025