Nvidia выпустила обновление NVIDIA Warp — Python-фреймворка для GPU-ускоренного физического моделирования с поддержкой автодифференцирования.
Что нового: Warp позволяет писать высокопроизводительные симуляционные ядра на Python, которые JIT-компилируются под GPU. В отличие от тензорных фреймворков, каждый поток может независимо ветвиться и выходить — без громоздких масок. Встроенное автодифференцирование генерирует прямой и обратный проходы, что делает солверы совместимыми с PyTorch и JAX.
Почему важно: реальные кейсы впечатляют — ускорение до 669x по сравнению с CPU и более 250x по сравнению с JAX. Autodesk, Google DeepMind (MuJoCo) и C-Infinity уже используют Warp в продакшне для инженерного ПО, робототехники и пространственных вычислений.
Для кого: разработчики AI-моделей для физики, CFD и робототехники получают инструмент, где симуляция напрямую встраивается в ML-пайплайн без компромиссов по скорости.
https://developer.nvidia.com/blog/build-accelerated-differentiable-computational-physics-code-for-ai-with-nvidia-warp/
Что нового: Warp позволяет писать высокопроизводительные симуляционные ядра на Python, которые JIT-компилируются под GPU. В отличие от тензорных фреймворков, каждый поток может независимо ветвиться и выходить — без громоздких масок. Встроенное автодифференцирование генерирует прямой и обратный проходы, что делает солверы совместимыми с PyTorch и JAX.
Почему важно: реальные кейсы впечатляют — ускорение до 669x по сравнению с CPU и более 250x по сравнению с JAX. Autodesk, Google DeepMind (MuJoCo) и C-Infinity уже используют Warp в продакшне для инженерного ПО, робототехники и пространственных вычислений.
Для кого: разработчики AI-моделей для физики, CFD и робототехники получают инструмент, где симуляция напрямую встраивается в ML-пайплайн без компромиссов по скорости.
https://developer.nvidia.com/blog/build-accelerated-differentiable-computational-physics-code-for-ai-with-nvidia-warp/
NVIDIA Technical Blog
Build Accelerated, Differentiable Computational Physics Code for AI with NVIDIA Warp
Computer-aided engineering (CAE) is shifting from human-driven workflows toward AI-driven ones, including physics foundation models that generalize across geometries and operating conditions.
Nvidia обновила TensorRT Edge-LLM для физического ИИ
Nvidia выпустила крупное обновление TensorRT Edge-LLM — рантайма для запуска языковых и мультимодальных моделей прямо на бортовых чипах DRIVE AGX Thor и Jetson Thor.
Что нового: поддержка архитектуры MoE (активируются только нужные параметры — меньше вычислений, выше интеллект), модели Cosmos Reason 2 для пространственно-временного рассуждения роботов, и Qwen3-TTS/ASR для голосового диалога без задержек. Также добавлен Nemotron 2 Nano с гибридной архитектурой Mamba-Transformer.
Почему важно: автономные машины и роботы теперь могут рассуждать, слышать и отвечать голосом прямо на устройстве — без облака, в реальном времени, в рамках жёстких ограничений по энергопотреблению.
Для разработчиков это означает переход от модульных пайплайнов к единым производительным моделям для планирования маршрутов, диалога с водителем и навигации роботов.
https://developer.nvidia.com/blog/build-next-gen-physical-ai-with-edge%e2%80%91first-llms-for-autonomous-vehicles-and-robotics/
Nvidia выпустила крупное обновление TensorRT Edge-LLM — рантайма для запуска языковых и мультимодальных моделей прямо на бортовых чипах DRIVE AGX Thor и Jetson Thor.
Что нового: поддержка архитектуры MoE (активируются только нужные параметры — меньше вычислений, выше интеллект), модели Cosmos Reason 2 для пространственно-временного рассуждения роботов, и Qwen3-TTS/ASR для голосового диалога без задержек. Также добавлен Nemotron 2 Nano с гибридной архитектурой Mamba-Transformer.
Почему важно: автономные машины и роботы теперь могут рассуждать, слышать и отвечать голосом прямо на устройстве — без облака, в реальном времени, в рамках жёстких ограничений по энергопотреблению.
Для разработчиков это означает переход от модульных пайплайнов к единым производительным моделям для планирования маршрутов, диалога с водителем и навигации роботов.
https://developer.nvidia.com/blog/build-next-gen-physical-ai-with-edge%e2%80%91first-llms-for-autonomous-vehicles-and-robotics/
NVIDIA Technical Blog
Build Next-Gen Physical AI with Edge‑First LLMs for Autonomous Vehicles and Robotics
Physical AI is rapidly evolving, from next-generation software-defined autonomous vehicles (AVs) to humanoid robots. The challenge is no longer how to run a large language model (LLM)…
Деми Хассабис (глава Google DeepMind) в восторге от нового достижения AlphaEvolve — их ИИ-системы для научных открытий.
AlphaEvolve улучшил границы для 5 классических чисел Рэмси. Для тех, кто не в теме: числа Рэмси — это одна из самых сложных областей комбинаторики, где даже крошечный прогресс требует огромных усилий. Некоторые из этих результатов не удавалось улучшить более 10 лет.
Что особенно круто: ИИ не просто перебирал варианты по заданным правилам — он сам придумал процедуры поиска решений. То есть система фактически занималась математическим творчеством.
Хассабис называет это большой вехой в применении ИИ к математике. И сложно не согласиться.
https://x.com/demishassabis/status/2032267485735460867
AlphaEvolve улучшил границы для 5 классических чисел Рэмси. Для тех, кто не в теме: числа Рэмси — это одна из самых сложных областей комбинаторики, где даже крошечный прогресс требует огромных усилий. Некоторые из этих результатов не удавалось улучшить более 10 лет.
Что особенно круто: ИИ не просто перебирал варианты по заданным правилам — он сам придумал процедуры поиска решений. То есть система фактически занималась математическим творчеством.
Хассабис называет это большой вехой в применении ИИ к математике. И сложно не согласиться.
https://x.com/demishassabis/status/2032267485735460867
X (formerly Twitter)
Demis Hassabis (@demishassabis) on X
Ramsey numbers are notoriously hard. Amazing to see AlphaEvolve improve bounds for 5 classical Ramsey numbers - some for the first time in 10+ years - by discovering search procedures itself. A big milestone in AI for maths - congrats to the team!
Meta AI анонсировала Canopy Height Maps v2 — обновлённую версию открытой модели для картирования лесного покрова по всему миру. Проект создан совместно с World Resources Institute.
В основе CHMv2 — их собственная модель компьютерного зрения DINOv3 Sat-L, заточенная специально под спутниковые снимки. Она позволяет строить детальные карты высоты лесного полога с высоким разрешением в глобальном масштабе.
Проще говоря: ИИ смотрит на спутниковые фото и точно определяет, где и насколько высокие деревья. Это важно для мониторинга вырубки лесов, оценки запасов углерода и климатических исследований. Модель открытая — любой желающий может её использовать.
https://x.com/AIatMeta/status/2032135993436909874
В основе CHMv2 — их собственная модель компьютерного зрения DINOv3 Sat-L, заточенная специально под спутниковые снимки. Она позволяет строить детальные карты высоты лесного полога с высоким разрешением в глобальном масштабе.
Проще говоря: ИИ смотрит на спутниковые фото и точно определяет, где и насколько высокие деревья. Это важно для мониторинга вырубки лесов, оценки запасов углерода и климатических исследований. Модель открытая — любой желающий может её использовать.
https://x.com/AIatMeta/status/2032135993436909874
X (formerly Twitter)
AI at Meta (@AIatMeta) on X
We’re announcing Canopy Height Maps v2 (CHMv2), an open source model for high-resolution global forest canopy mapping, developed in partnership with the @WorldResources.
CHMv2 leverages our DINOv3 Sat-L vision model, specifically optimized for satellite…
CHMv2 leverages our DINOv3 Sat-L vision model, specifically optimized for satellite…
Spatial-TTT: LLM учится понимать 3D-пространство прямо во время инференса (by Tencent Hunyuan)
Обычные мультимодальные LLM плохо понимают 3D-пространство — они обучались на 2D картинках без геометрических прiors. А если дать модели длинное видео (тысячи кадров) из движущейся камеры? Квадратичный attention просто умрёт.
Авторы предлагают Spatial-TTT: модель обновляет свои "быстрые веса" прямо на лету, пока смотрит видеопоток. Эти веса работают как компактная нелинейная память, накапливающая 3D-информацию из потока кадров.
Ключевые трюки:
— Гибридная архитектура: TTT-слои чередуются с обычным self-attention (3:1), чтобы не сломать предобученные знания
— Вместо точечных проекций Q/K/V — лёгкие 3D depth-wise свёртки, которые захватывают пространственно-временную структуру
— Специальный датасет плотных описаний сцен, чтобы модель училась правильно обновлять быстрые веса
Результат: state-of-the-art на видео-пространственных бенчмарках при работе с длинными потоками.
https://arxiv.org/abs/2603.12255
Обычные мультимодальные LLM плохо понимают 3D-пространство — они обучались на 2D картинках без геометрических прiors. А если дать модели длинное видео (тысячи кадров) из движущейся камеры? Квадратичный attention просто умрёт.
Авторы предлагают Spatial-TTT: модель обновляет свои "быстрые веса" прямо на лету, пока смотрит видеопоток. Эти веса работают как компактная нелинейная память, накапливающая 3D-информацию из потока кадров.
Ключевые трюки:
— Гибридная архитектура: TTT-слои чередуются с обычным self-attention (3:1), чтобы не сломать предобученные знания
— Вместо точечных проекций Q/K/V — лёгкие 3D depth-wise свёртки, которые захватывают пространственно-временную структуру
— Специальный датасет плотных описаний сцен, чтобы модель училась правильно обновлять быстрые веса
Результат: state-of-the-art на видео-пространственных бенчмарках при работе с длинными потоками.
https://arxiv.org/abs/2603.12255
Агенты vs люди: кто лучше ищет ответы в корпусе PDF-документов? (by Snowflake)
Snowflake выпустили новый бенчмарк MADQA — 2250 вопросов по 800 разнородным PDF-документам, полностью написанных людьми. Задача: найти ответ в коллекции документов, причём одним запросом к поиску не обойтись — нужно итеративно искать, рассуждать и синтезировать данные из разных страниц и файлов.
Главный вопрос: агент реально планирует поиск или просто случайно бродит по документам? Сравнение с людьми показало принципиально разные стратегии и огромный разрыв в эффективности.
Ключевые выводы: constrained agency (агент с ограниченным бюджетом действий) бьёт статичный RAG, но при этом не улетает в бесконечный перебор как Recursive LM. Люди и агенты решают задачи принципиально по-разному.
https://arxiv.org/abs/2603.12180
Snowflake выпустили новый бенчмарк MADQA — 2250 вопросов по 800 разнородным PDF-документам, полностью написанных людьми. Задача: найти ответ в коллекции документов, причём одним запросом к поиску не обойтись — нужно итеративно искать, рассуждать и синтезировать данные из разных страниц и файлов.
Главный вопрос: агент реально планирует поиск или просто случайно бродит по документам? Сравнение с людьми показало принципиально разные стратегии и огромный разрыв в эффективности.
Ключевые выводы: constrained agency (агент с ограниченным бюджетом действий) бьёт статичный RAG, но при этом не улетает в бесконечный перебор как Recursive LM. Люди и агенты решают задачи принципиально по-разному.
https://arxiv.org/abs/2603.12180
IndexCache: как убрать 75% вычислений в sparse attention (by Z.ai)
Соседние слои трансформера выбирают почти одинаковые токены — зачем тогда каждый слой считает это заново?
В DeepSeek Sparse Attention есть лёгкий "indexer" — он для каждого слоя выбирает top-k нужных токенов из всей последовательности. Проблема: при длинных контекстах (200K токенов) этот indexer начинает занимать 80% времени prefill-стадии.
Авторы заметили: соседние слои совпадают по выбранным токенам на 70-100%. Значит, можно оставить indexer только в каждом 4-м слое, а остальные просто переиспользуют кэшированный результат.
Два варианта: без дообучения (greedy-поиск, какие слои оставить) и с дообучением (distillation-лосс, тогда хватает простого равномерного прореживания).
Результат на 30B модели: 1.82× ускорение prefill и 1.48× decode при 200K контексте без заметной потери качества. На 744B GLM-5 — минимум 1.3× ускорение.
https://arxiv.org/abs/2603.12201
Соседние слои трансформера выбирают почти одинаковые токены — зачем тогда каждый слой считает это заново?
В DeepSeek Sparse Attention есть лёгкий "indexer" — он для каждого слоя выбирает top-k нужных токенов из всей последовательности. Проблема: при длинных контекстах (200K токенов) этот indexer начинает занимать 80% времени prefill-стадии.
Авторы заметили: соседние слои совпадают по выбранным токенам на 70-100%. Значит, можно оставить indexer только в каждом 4-м слое, а остальные просто переиспользуют кэшированный результат.
Два варианта: без дообучения (greedy-поиск, какие слои оставить) и с дообучением (distillation-лосс, тогда хватает простого равномерного прореживания).
Результат на 30B модели: 1.82× ускорение prefill и 1.48× decode при 200K контексте без заметной потери качества. На 744B GLM-5 — минимум 1.3× ускорение.
https://arxiv.org/abs/2603.12201
DreamVideo-Omni: управляй движением каждого персонажа в видео (by Alibaba Tongyi Lab)
Хочешь сгенерировать видео, где конкретный мальчик гонится за мячом, а конкретная девочка играет с щенком — и всё это с контролем камеры? Существующие методы либо сохраняют внешность персонажей, либо управляют движением, но не вместе.
DreamVideo-Omni решает это двухэтапно:
Этап 1: обучают DiT-модель на триплетах ⟨Персонаж, Bounding Box, Траектория⟩. Специальные group/role embeddings явно привязывают сигналы движения к нужному персонажу, устраняя путаницу в сценах с несколькими людьми.
Этап 2: вместо стандартного reconstruction loss обучают Latent Identity Reward Model на базе видео-диффузии. Она оценивает сохранность личности с учётом динамики — и штрафует за "copy-paste" артефакты при больших движениях.
Бонус: модель сама научилась image-to-video без явного обучения этому.
https://arxiv.org/abs/2603.12257
Хочешь сгенерировать видео, где конкретный мальчик гонится за мячом, а конкретная девочка играет с щенком — и всё это с контролем камеры? Существующие методы либо сохраняют внешность персонажей, либо управляют движением, но не вместе.
DreamVideo-Omni решает это двухэтапно:
Этап 1: обучают DiT-модель на триплетах ⟨Персонаж, Bounding Box, Траектория⟩. Специальные group/role embeddings явно привязывают сигналы движения к нужному персонажу, устраняя путаницу в сценах с несколькими людьми.
Этап 2: вместо стандартного reconstruction loss обучают Latent Identity Reward Model на базе видео-диффузии. Она оценивает сохранность личности с учётом динамики — и штрафует за "copy-paste" артефакты при больших движениях.
Бонус: модель сама научилась image-to-video без явного обучения этому.
https://arxiv.org/abs/2603.12257
Reward hacking убивает RL для генерации изображений — вот как это починить (by SJTU VisionXLab)
Когда обучаешь диффузионную модель через RL, качество всего пайплайна упирается в одно: насколько хорош reward model. Проблема — обычные MLLM как судьи ужасны: галлюцинируют, игнорируют детали, не умеют в пространственное мышление.
Авторы предложили FIRM — систему для обучения специализированных reward моделей. Ключевые трюки:
Для редактирования: вместо прямой оценки "хорошо ли отредактировано?" — сначала описываем разницу между картинками текстом, потом уже оцениваем. Модели лучше описывают, чем судят.
Для генерации: LLM заранее составляет чеклист из промпта, и MLLM проверяет каждый пункт явно.
Так собрали датасеты FIRM-Edit-370K и FIRM-Gen-293K, обучили reward модели на Qwen3-VL-8B.
Плюс придумали стратегию "Base-and-Bonus" против reward hacking при балансировке нескольких наград одновременно.
https://arxiv.org/abs/2603.12247
Когда обучаешь диффузионную модель через RL, качество всего пайплайна упирается в одно: насколько хорош reward model. Проблема — обычные MLLM как судьи ужасны: галлюцинируют, игнорируют детали, не умеют в пространственное мышление.
Авторы предложили FIRM — систему для обучения специализированных reward моделей. Ключевые трюки:
Для редактирования: вместо прямой оценки "хорошо ли отредактировано?" — сначала описываем разницу между картинками текстом, потом уже оцениваем. Модели лучше описывают, чем судят.
Для генерации: LLM заранее составляет чеклист из промпта, и MLLM проверяет каждый пункт явно.
Так собрали датасеты FIRM-Edit-370K и FIRM-Gen-293K, обучили reward модели на Qwen3-VL-8B.
Плюс придумали стратегию "Base-and-Bonus" против reward hacking при балансировке нескольких наград одновременно.
https://arxiv.org/abs/2603.12247
Nvidia Tech обновила платформу Cosmos — набор фундаментальных моделей для обучения роботов и автономных автомобилей.
Вышли три новые версии. Cosmos Transfer 2.5 превращает 3D-симуляции в фотореалистичное видео с разным освещением и условиями среды — это дешевле и быстрее, чем собирать реальные данные. Cosmos Predict 2.5 генерирует правдоподобные сценарии будущего длиной до 30 секунд и даёт в 10 раз выше точность при дообучении на собственных данных. Cosmos Reason 2 — модель с цепочкой рассуждений, которая понимает движение объектов, определяет их координаты в 2D/3D и поддерживает контекст до 256К токенов.
Главная проблема физического ИИ — нехватка разнообразных обучающих данных. Cosmos решает её синтетической генерацией, снижая стоимость и риски реальных испытаний. Полезно разработчикам роботов и беспилотников, которые хотят быстрее переходить от симуляции к реальному миру.
https://developer.nvidia.com/blog/scale-synthetic-data-and-physical-ai-reasoning-with-nvidia-cosmos-world-foundation-models/
Вышли три новые версии. Cosmos Transfer 2.5 превращает 3D-симуляции в фотореалистичное видео с разным освещением и условиями среды — это дешевле и быстрее, чем собирать реальные данные. Cosmos Predict 2.5 генерирует правдоподобные сценарии будущего длиной до 30 секунд и даёт в 10 раз выше точность при дообучении на собственных данных. Cosmos Reason 2 — модель с цепочкой рассуждений, которая понимает движение объектов, определяет их координаты в 2D/3D и поддерживает контекст до 256К токенов.
Главная проблема физического ИИ — нехватка разнообразных обучающих данных. Cosmos решает её синтетической генерацией, снижая стоимость и риски реальных испытаний. Полезно разработчикам роботов и беспилотников, которые хотят быстрее переходить от симуляции к реальному миру.
https://developer.nvidia.com/blog/scale-synthetic-data-and-physical-ai-reasoning-with-nvidia-cosmos-world-foundation-models/
NVIDIA Technical Blog
Scale Synthetic Data and Physical AI Reasoning with NVIDIA Cosmos World Foundation Models
The next generation of AI-driven robots like humanoids and autonomous vehicles depends on high-fidelity, physics-aware training data. Without diverse and representative datasets, these systems don’t…
Nvidia выпустила Nemotron 3 Super — открытую гибридную модель для агентного ИИ
120 миллиардов параметров суммарно, но только 12B активных — это ключевая фишка новой модели. Nemotron 3 Super создана специально для многоагентных систем, где обычные LLM буквально «тонут» в контексте и дорого обходятся при каждом шаге.
Что внутри: гибридная архитектура Mamba-Transformer + MoE, контекстное окно 1 миллион токенов, нативное обучение в формате NVFP4 для чипов Blackwell. Скорость — в 5 раз выше предыдущего Nemotron Super, память и вычисления эффективнее в 4 раза.
Почему важно: агентные системы генерируют в 15 раз больше токенов, чем обычный чат. Super решает два главных боли — «взрыв контекста» и «налог на мышление», когда мощная модель тратится на каждую мелкую подзадачу.
Модель полностью открытая: веса, датасеты и рецепты доступны всем. Доступна на build.nvidia.com.
https://developer.nvidia.com/blog/introducing-nemotron-3-super-an-open-hybrid-mamba-transformer-moe-for-agentic-reasoning/
120 миллиардов параметров суммарно, но только 12B активных — это ключевая фишка новой модели. Nemotron 3 Super создана специально для многоагентных систем, где обычные LLM буквально «тонут» в контексте и дорого обходятся при каждом шаге.
Что внутри: гибридная архитектура Mamba-Transformer + MoE, контекстное окно 1 миллион токенов, нативное обучение в формате NVFP4 для чипов Blackwell. Скорость — в 5 раз выше предыдущего Nemotron Super, память и вычисления эффективнее в 4 раза.
Почему важно: агентные системы генерируют в 15 раз больше токенов, чем обычный чат. Super решает два главных боли — «взрыв контекста» и «налог на мышление», когда мощная модель тратится на каждую мелкую подзадачу.
Модель полностью открытая: веса, датасеты и рецепты доступны всем. Доступна на build.nvidia.com.
https://developer.nvidia.com/blog/introducing-nemotron-3-super-an-open-hybrid-mamba-transformer-moe-for-agentic-reasoning/
NVIDIA Technical Blog
Introducing Nemotron 3 Super: An Open Hybrid Mamba-Transformer MoE for Agentic Reasoning
Agentic AI systems need models with the specialized depth to solve dense technical problems autonomously. They must excel at reasoning, coding, and long-context analysis…
Apple ML выпустила Multilingual Reasoning Gym — набор задач для обучения и оценки ИИ на 14 языках.
Это расширение популярного Reasoning Gym: исследователи перевели шаблоны 94 задач с валидацией от носителей языка в 10 из них. Задачи генерируются процедурно — то есть их количество практически неограничено, а сложность можно регулировать.
Главная фишка: задачи параллельны между языками. Это позволяет создавать огромные мультиязычные датасеты и обучать модели рассуждать не только по-английски. Набор совместим с методом обучения через подкрепление на верифицируемых наградах (RLVR) — тем самым, что стоит за успехами моделей вроде DeepSeek-R1.
Почему важно: большинство reasoning-моделей обучают на английском, а их качество на других языках резко падает. Этот инструмент даёт инфраструктуру для исправления этого перекоса. Код открыт на GitHub.
https://machinelearning.apple.com/research/multilingual-reasoning-gym
Это расширение популярного Reasoning Gym: исследователи перевели шаблоны 94 задач с валидацией от носителей языка в 10 из них. Задачи генерируются процедурно — то есть их количество практически неограничено, а сложность можно регулировать.
Главная фишка: задачи параллельны между языками. Это позволяет создавать огромные мультиязычные датасеты и обучать модели рассуждать не только по-английски. Набор совместим с методом обучения через подкрепление на верифицируемых наградах (RLVR) — тем самым, что стоит за успехами моделей вроде DeepSeek-R1.
Почему важно: большинство reasoning-моделей обучают на английском, а их качество на других языках резко падает. Этот инструмент даёт инфраструктуру для исправления этого перекоса. Код открыт на GitHub.
https://machinelearning.apple.com/research/multilingual-reasoning-gym
Apple Machine Learning Research
Multilingual Reasoning Gym: Multilingual Scaling of Procedural Reasoning Environments
We present the Multilingual Reasoning Gym, an extension of Reasoning Gym (Stojanovski et al., 2025), that procedurally generates verifiable…
RubiCap: как научить модель писать подписи к картинкам лучше, чем GPT-4V (by Apple)
Главная проблема применения RL к описанию изображений — нет надёжного верификатора. CIDEr/ROUGE меряют n-граммы, а не смысл. VLM-as-a-Judge даёт один мутный скаляр.
Авторы придумали RubiCap: вместо скалярной оценки — набор рубрик, специфичных для каждого изображения. Схема такая: комитет из K разных VLM генерирует кандидатные подписи → LLM-писатель рубрик находит консенсус и диагностирует слабости студента → превращает это в конкретные проверяемые правила (есть ли объект X? правильный ли атрибут? корректны ли пространственные отношения?) → LLM-судья применяет рубрики и даёт структурированный reward для RL.
Результат: 7B-модель обходит 32B и 72B фронтиры в слепом ранжировании, меньше галлюцинирует, а 3B-модель работает лучше, чем GPT-4V как источник данных для pretraining VLM.
https://arxiv.org/abs/2603.09160
Главная проблема применения RL к описанию изображений — нет надёжного верификатора. CIDEr/ROUGE меряют n-граммы, а не смысл. VLM-as-a-Judge даёт один мутный скаляр.
Авторы придумали RubiCap: вместо скалярной оценки — набор рубрик, специфичных для каждого изображения. Схема такая: комитет из K разных VLM генерирует кандидатные подписи → LLM-писатель рубрик находит консенсус и диагностирует слабости студента → превращает это в конкретные проверяемые правила (есть ли объект X? правильный ли атрибут? корректны ли пространственные отношения?) → LLM-судья применяет рубрики и даёт структурированный reward для RL.
Результат: 7B-модель обходит 32B и 72B фронтиры в слепом ранжировании, меньше галлюцинирует, а 3B-модель работает лучше, чем GPT-4V как источник данных для pretraining VLM.
https://arxiv.org/abs/2603.09160
ShotVerse: Plan-then-Control для кино из текста (by Tencent)
Хочешь снять многоплановую сцену, просто написав "камера плавно панорамирует влево, затем зум на героя"? Звучит просто, но на деле — два отдельных ада: как автоматически спланировать кинематографические траектории камеры, и как потом видеомодель их точно выполнит?
ShotVerse решает это через "Plan-then-Control": сначала VLM (Qwen3-VL с LoRA) переводит текстовое описание в явные 3D-траектории камеры в едином глобальном координатном пространстве, а затем DiT-контроллер рендерит по этим траекториям видео с несколькими склейками.
Ключевая идея — обучение на тройках (Caption, Trajectory, Video), которые образуют единое распределение. Это позволяет оптимизировать планировщик и генератор раздельно, без нестабильности совместного обучения.
Отдельно собрали датасет ShotVerse-Bench из реальных съёмок с автоматической калибровкой траекторий разных планов в единую систему координат — первый такой датасет для multi-shot.
https://arxiv.org/abs/2603.11421
Хочешь снять многоплановую сцену, просто написав "камера плавно панорамирует влево, затем зум на героя"? Звучит просто, но на деле — два отдельных ада: как автоматически спланировать кинематографические траектории камеры, и как потом видеомодель их точно выполнит?
ShotVerse решает это через "Plan-then-Control": сначала VLM (Qwen3-VL с LoRA) переводит текстовое описание в явные 3D-траектории камеры в едином глобальном координатном пространстве, а затем DiT-контроллер рендерит по этим траекториям видео с несколькими склейками.
Ключевая идея — обучение на тройках (Caption, Trajectory, Video), которые образуют единое распределение. Это позволяет оптимизировать планировщик и генератор раздельно, без нестабильности совместного обучения.
Отдельно собрали датасет ShotVerse-Bench из реальных съёмок с автоматической калибровкой траекторий разных планов в единую систему координат — первый такой датасет для multi-shot.
https://arxiv.org/abs/2603.11421
Агент учится на своих ошибках — без переобучения
Мультимодальные агенты часто тупят: тратят кучу шагов на простые задачи или не могут скомпоновать инструменты для сложных. XSkill решает это через два потока знаний без дообучения модели.
Идея простая: агент прогоняет задачи несколько раз, а система извлекает из траекторий (1) Skills — структурированные воркфлоу и шаблоны инструментов для класса задач, и (2) Experiences — короткие инсайты уровня действий, привязанные к визуальному контексту и паттернам ошибок.
Ключевое отличие от похожих подходов — визуальная привязка. Прошлые методы работали только с текстовыми логами, а здесь знания заземлены в визуальном состоянии задачи.
При инференсе: задача декомпозируется на подзадачи, релевантные знания достаются по семантическому сходству, адаптируются под текущий визуальный контекст и инжектируются в промпт.
Результат: +2.58–6.71 Average@4 над базовыми агентами, до +11 на сложных сценариях, работает поверх разных backbone-моделей.
Мультимодальные агенты часто тупят: тратят кучу шагов на простые задачи или не могут скомпоновать инструменты для сложных. XSkill решает это через два потока знаний без дообучения модели.
Идея простая: агент прогоняет задачи несколько раз, а система извлекает из траекторий (1) Skills — структурированные воркфлоу и шаблоны инструментов для класса задач, и (2) Experiences — короткие инсайты уровня действий, привязанные к визуальному контексту и паттернам ошибок.
Ключевое отличие от похожих подходов — визуальная привязка. Прошлые методы работали только с текстовыми логами, а здесь знания заземлены в визуальном состоянии задачи.
При инференсе: задача декомпозируется на подзадачи, релевантные знания достаются по семантическому сходству, адаптируются под текущий визуальный контекст и инжектируются в промпт.
Результат: +2.58–6.71 Average@4 над базовыми агентами, до +11 на сложных сценариях, работает поверх разных backbone-моделей.
Редактируем текст прямо в картинке — теперь по-арабски и хинди тоже
Современные диффузионные модели умеют переставлять объекты и менять стиль, но стоит попросить их поменять текст внутри изображения — особенно на нелатинских языках — и начинается каша из смазанных букв и галлюцинаций.
WeEdit решает это тремя ходами: сначала VLM предсказывает позицию и содержание нового текста и рендерит glyph-изображение как пространственный prior для диффузии (SFT-стадия). Затем RL-стадия с многокомпонентной наградой выравнивает результат под читаемость, точность и сохранность фона. Всё это обучено на автоматически синтезированном датасете через HTML-пайплайн с поддержкой 15 языков.
Итог: среди open-source моделей — лучший результат, обходят большинство проприетарных, уступая только Gemini-3-Pro-Image.
https://arxiv.org/abs/2603.11593
Современные диффузионные модели умеют переставлять объекты и менять стиль, но стоит попросить их поменять текст внутри изображения — особенно на нелатинских языках — и начинается каша из смазанных букв и галлюцинаций.
WeEdit решает это тремя ходами: сначала VLM предсказывает позицию и содержание нового текста и рендерит glyph-изображение как пространственный prior для диффузии (SFT-стадия). Затем RL-стадия с многокомпонентной наградой выравнивает результат под читаемость, точность и сохранность фона. Всё это обучено на автоматически синтезированном датасете через HTML-пайплайн с поддержкой 15 языков.
Итог: среди open-source моделей — лучший результат, обходят большинство проприетарных, уступая только Gemini-3-Pro-Image.
https://arxiv.org/abs/2603.11593
Могут ли AI-редакторы изображений решать задачи уровня PhD?
Большинство бенчмарков для image editing проверяют, насколько точно модель следует простым инструкциям типа "сделай небо розовым". Авторы решили поднять планку и создали GRADE — первый бенчмарк, где модели нужно редактировать научные изображения, требующие реальных дисциплинарных знаний.
520 задач из 10 областей: математика, химия, физика, CS, биология, музыка, экономика и др. Примеры: нарисовать кратчайший путь в графе, добавить энантиомер молекулы, отметить новое рыночное равновесие на графике спроса.
Результаты жёсткие: лучшая open-source модель набрала всего 2.7%, тогда как лучшая закрытая — 46.2%. Огромный разрыв показывает, что дисциплинарное рассуждение при редактировании изображений — нерешённая задача даже для топовых моделей.
https://arxiv.org/abs/2603.12264
Большинство бенчмарков для image editing проверяют, насколько точно модель следует простым инструкциям типа "сделай небо розовым". Авторы решили поднять планку и создали GRADE — первый бенчмарк, где модели нужно редактировать научные изображения, требующие реальных дисциплинарных знаний.
520 задач из 10 областей: математика, химия, физика, CS, биология, музыка, экономика и др. Примеры: нарисовать кратчайший путь в графе, добавить энантиомер молекулы, отметить новое рыночное равновесие на графике спроса.
Результаты жёсткие: лучшая open-source модель набрала всего 2.7%, тогда как лучшая закрытая — 46.2%. Огромный разрыв показывает, что дисциплинарное рассуждение при редактировании изображений — нерешённая задача даже для топовых моделей.
https://arxiv.org/abs/2603.12264
Nvidia выпустила AI Cluster Runtime — открытый инструмент для стандартизации Kubernetes-кластеров под GPU-нагрузки.
Проблема знакома каждому ML-инженеру: настроил один кластер — потратил дни, чтобы повторить на другом. Обновил компонент — сломалось что-то ещё. Переехал в другое облако — начинай заново.
AI Cluster Runtime решает это через «рецепты» — версионированные YAML-файлы с точными версиями компонентов, порядком деплоя и проверенными настройками для конкретного железа (H100, Blackwell) и окружения (EKS, Ubuntu).
Что умеет инструмент: снять снапшот текущего кластера, сгенерировать рецепт под нужное окружение, провалидировать деплой по стандартам CNCF и собрать готовые Helm-чарты.
Проект открытый, принимает контрибьюции от облачных провайдеров и команд. Доступен на GitHub как альфа-релиз.
https://developer.nvidia.com/blog/validate-kubernetes-for-gpu-infrastructure-with-layered-reproducible-recipes/
Проблема знакома каждому ML-инженеру: настроил один кластер — потратил дни, чтобы повторить на другом. Обновил компонент — сломалось что-то ещё. Переехал в другое облако — начинай заново.
AI Cluster Runtime решает это через «рецепты» — версионированные YAML-файлы с точными версиями компонентов, порядком деплоя и проверенными настройками для конкретного железа (H100, Blackwell) и окружения (EKS, Ubuntu).
Что умеет инструмент: снять снапшот текущего кластера, сгенерировать рецепт под нужное окружение, провалидировать деплой по стандартам CNCF и собрать готовые Helm-чарты.
Проект открытый, принимает контрибьюции от облачных провайдеров и команд. Доступен на GitHub как альфа-релиз.
https://developer.nvidia.com/blog/validate-kubernetes-for-gpu-infrastructure-with-layered-reproducible-recipes/
NVIDIA Technical Blog
Validate Kubernetes for GPU Infrastructure with Layered, Reproducible Recipes
Every AI cluster running on Kubernetes requires a full software stack that works together, from low-level driver and kernel settings to high-level operator and workload configurations.
Apple ML выпустила mAceReason-Math — датасет для многоязычного обучения математических моделей через RLVR.
Проблема была простой: почти все датасеты для обучения ИИ решению математических задач — на английском. Существующие многоязычные наборы данных либо устарели, либо слишком простые для современных моделей.
Apple ML перевела сложные задачи из корпуса AceReason-Math на 14 языков, тщательно почистила переводы и собрала более 10 000 примеров на каждый язык. Датасет открыт для исследователей.
Почему это важно: RLVR — один из ключевых методов прокачки LLM в математике и логике. Теперь его можно применять не только к англоязычным моделям. Это шаг к тому, чтобы сильные математические рассуждения работали на русском, китайском и других языках так же хорошо, как на английском.
https://machinelearning.apple.com/research/macereason-math
Проблема была простой: почти все датасеты для обучения ИИ решению математических задач — на английском. Существующие многоязычные наборы данных либо устарели, либо слишком простые для современных моделей.
Apple ML перевела сложные задачи из корпуса AceReason-Math на 14 языков, тщательно почистила переводы и собрала более 10 000 примеров на каждый язык. Датасет открыт для исследователей.
Почему это важно: RLVR — один из ключевых методов прокачки LLM в математике и логике. Теперь его можно применять не только к англоязычным моделям. Это шаг к тому, чтобы сильные математические рассуждения работали на русском, китайском и других языках так же хорошо, как на английском.
https://machinelearning.apple.com/research/macereason-math
Apple Machine Learning Research
mAceReason-Math: A Dataset of High-Quality Multilingual Math Problems Ready For RLVR
Reinforcement Learning with Verifiable Rewards (RLVR) has been successfully applied to significantly boost the capabilities of pretrained…
PyTorch: MXFP8 ускоряет обучение MoE-моделей на 30%
Команда PyTorch показала впечатляющий результат: обучение Llama4 Scout с использованием MXFP8 стало на 30,2% быстрее по сравнению с BF16 — при этом качество сходимости не пострадало.
Эксперименты проводились на кластере из 256 GPU NVIDIA GB200. Скорость выросла с 5317 до 6921 токенов/сек. Ключевой инструмент — новый примитив _to_mxfp8_then_scaled_grouped_mm в TorchAO, который работает в 1,8 раза быстрее BF16 для матричных умножений в MoE-слоях.
Почему это важно: MoE-архитектуры (как в Llama4) активируют только часть параметров, и оптимизация именно этих вычислений даёт максимальный эффект. MXFP8 позволяет вдвое увеличить пропускную способность тензорных ядер.
Для воспроизведения достаточно TorchTitan + TorchAO — конфиги и документация уже доступны.
https://pytorch.org/blog/mxfp8-training-for-moes-1-3x-training-speedup-vs-bf16-for-llama4-scout-on-gb200-cluster-using-torchao-and-torchtitan/
Команда PyTorch показала впечатляющий результат: обучение Llama4 Scout с использованием MXFP8 стало на 30,2% быстрее по сравнению с BF16 — при этом качество сходимости не пострадало.
Эксперименты проводились на кластере из 256 GPU NVIDIA GB200. Скорость выросла с 5317 до 6921 токенов/сек. Ключевой инструмент — новый примитив _to_mxfp8_then_scaled_grouped_mm в TorchAO, который работает в 1,8 раза быстрее BF16 для матричных умножений в MoE-слоях.
Почему это важно: MoE-архитектуры (как в Llama4) активируют только часть параметров, и оптимизация именно этих вычислений даёт максимальный эффект. MXFP8 позволяет вдвое увеличить пропускную способность тензорных ядер.
Для воспроизведения достаточно TorchTitan + TorchAO — конфиги и документация уже доступны.
https://pytorch.org/blog/mxfp8-training-for-moes-1-3x-training-speedup-vs-bf16-for-llama4-scout-on-gb200-cluster-using-torchao-and-torchtitan/
Демис Хассабис (DeepMind) поделился очередным крутым применением AlphaFold — их революционной системы предсказания структуры белков. По его словам, это лишь начало эпохи "цифровой биологии".
AlphaFold уже перевернул науку, предсказав структуры сотен миллионов белков — задачу, над которой биологи бились десятилетиями. Теперь исследователи по всему миру используют эти данные для разработки лекарств, изучения болезней и создания новых материалов. Хассабис явно намекает: самое интересное впереди.
https://x.com/demishassabis/status/2033010713413754987
AlphaFold уже перевернул науку, предсказав структуры сотен миллионов белков — задачу, над которой биологи бились десятилетиями. Теперь исследователи по всему миру используют эти данные для разработки лекарств, изучения болезней и создания новых материалов. Хассабис явно намекает: самое интересное впереди.
https://x.com/demishassabis/status/2033010713413754987
X (formerly Twitter)
Demis Hassabis (@demishassabis) on X
Cool use case of AlphaFold, this is just the beginning of digital biology!