Мультимодальный агент научился НЕ использовать инструменты (by Alibaba/Accio)
Современные мультимодальные агенты страдают от "слепого вызова инструментов": они дёргают внешние API в 80-98% случаев, даже когда задача решается напрямую из картинки. Это медленно, шумно и снижает качество.
Ключевая проблема: если штрафовать за лишние вызовы инструментов через обычный скалярный reward (accuracy + efficiency), сигналы мешают друг другу. Агрессивный штраф убивает нужные вызовы, слабый — тонет в дисперсии accuracy-reward.
Решение — HDPO (Hierarchical Decoupled Policy Optimization): два отдельных канала обучения. Accuracy-канал оптимизируется на всех траекториях, efficiency-канал — только на правильных ответах. Градиенты смешиваются лишь в финальном лоссе.
Результат: агент Metis использует инструменты лишь в 2% случаев против 98% у базового GRPO — и при этом бьёт все конкуренты по точности. Меньше шума = лучше рассуждения.
https://arxiv.org/abs/2604.08545
Современные мультимодальные агенты страдают от "слепого вызова инструментов": они дёргают внешние API в 80-98% случаев, даже когда задача решается напрямую из картинки. Это медленно, шумно и снижает качество.
Ключевая проблема: если штрафовать за лишние вызовы инструментов через обычный скалярный reward (accuracy + efficiency), сигналы мешают друг другу. Агрессивный штраф убивает нужные вызовы, слабый — тонет в дисперсии accuracy-reward.
Решение — HDPO (Hierarchical Decoupled Policy Optimization): два отдельных канала обучения. Accuracy-канал оптимизируется на всех траекториях, efficiency-канал — только на правильных ответах. Градиенты смешиваются лишь в финальном лоссе.
Результат: агент Metis использует инструменты лишь в 2% случаев против 98% у базового GRPO — и при этом бьёт все конкуренты по точности. Меньше шума = лучше рассуждения.
https://arxiv.org/abs/2604.08545
WildDet3D: универсальный 3D-детектор "в дикой природе" (by Ai2)
Что если один детектор умел бы находить любой объект в 3D — по тексту, клику мышью или 2D-боксу, да ещё и с опциональным LiDAR?
Именно это делает WildDet3D. Авторы из Ai2 построили open-vocabulary детектор, который по одной RGB-картинке (и опциональной глубине) предсказывает 3D-боксы для произвольных категорий. Три ключевые идеи:
1. Dual-encoder: отдельный энкодер для семантики (ViT-H) и отдельный для геометрии (RGBD), объединяемые через depth fusion module.
2. Promptable detector: единый интерфейс для текста, 2D-точек и 2D-боксов.
3. WildDet3D-Data: 1M+ изображений, 13.5K категорий — разметка через автоматические кандидаты + верификация людьми.
Результат: 22.6 AP3D на 700+ категориях против 2.3 AP у конкурентов. Модель запускается на iPhone и интегрирована в Meta Quest.
https://arxiv.org/abs/2604.08626
Что если один детектор умел бы находить любой объект в 3D — по тексту, клику мышью или 2D-боксу, да ещё и с опциональным LiDAR?
Именно это делает WildDet3D. Авторы из Ai2 построили open-vocabulary детектор, который по одной RGB-картинке (и опциональной глубине) предсказывает 3D-боксы для произвольных категорий. Три ключевые идеи:
1. Dual-encoder: отдельный энкодер для семантики (ViT-H) и отдельный для геометрии (RGBD), объединяемые через depth fusion module.
2. Promptable detector: единый интерфейс для текста, 2D-точек и 2D-боксов.
3. WildDet3D-Data: 1M+ изображений, 13.5K категорий — разметка через автоматические кандидаты + верификация людьми.
Результат: 22.6 AP3D на 700+ категориях против 2.3 AP у конкурентов. Модель запускается на iPhone и интегрирована в Meta Quest.
https://arxiv.org/abs/2604.08626
Маленькая VLM как умный компрессор для часовых видео
Проблема длинных видео для мультимодальных LLM простая: тысячи фреймов → миллионы токенов → контекстное окно лопается. Обычные решения либо редко сэмплируют фреймы (и пропускают важные моменты), либо жмут всё равномерно (и теряют детали).
Авторы предлагают Tempo: маленькая VLM (SVLM) сначала "читает" каждый сегмент вместе с запросом пользователя и выдаёт компактные memory tokens. Ключевая фишка — Adaptive Token Allocation (ATA): релевантные сегменты получают 16 токенов/фрейм, скучные фоны сжимаются до 0.5 токена/фрейм. Причём ATA работает без дообучения — просто перехватывает hidden states SVLM для оценки релевантности.
Результат: 6B-модель Tempo набирает 52.3 на LVBench, обгоняя GPT-4o и Gemini 1.5 Pro при в разы меньшем бюджете токенов.
https://arxiv.org/abs/2604.08120
Проблема длинных видео для мультимодальных LLM простая: тысячи фреймов → миллионы токенов → контекстное окно лопается. Обычные решения либо редко сэмплируют фреймы (и пропускают важные моменты), либо жмут всё равномерно (и теряют детали).
Авторы предлагают Tempo: маленькая VLM (SVLM) сначала "читает" каждый сегмент вместе с запросом пользователя и выдаёт компактные memory tokens. Ключевая фишка — Adaptive Token Allocation (ATA): релевантные сегменты получают 16 токенов/фрейм, скучные фоны сжимаются до 0.5 токена/фрейм. Причём ATA работает без дообучения — просто перехватывает hidden states SVLM для оценки релевантности.
Результат: 6B-модель Tempo набирает 52.3 на LVBench, обгоняя GPT-4o и Gemini 1.5 Pro при в разы меньшем бюджете токенов.
https://arxiv.org/abs/2604.08120
NVIDIA и MiniMax выпустили MiniMax M2.7 — новую версию популярной модели для агентных задач.
M2.7 — это MoE-модель с 230 млрд параметров, но при работе активирует лишь 10 млрд (4,3% от общего числа). Это значит: мощность большой модели при низких затратах на инференс. Контекст — 200К токенов, 256 экспертов.
Что важно для разработчиков: модель оптимизирована под vLLM и SGLang на GPU Blackwell Ultra — прирост производительности до 2,7x всего за месяц. Доступна через NVIDIA NIM и build.nvidia.com, поддерживает файнтюнинг через NeMo Framework.
Веса открыты. Идеально для сложных агентных сценариев, кодинга и исследовательских пайплайнов.
https://developer.nvidia.com/blog/minimax-m2-7-advances-scalable-agentic-workflows-on-nvidia-platforms-for-complex-ai-applications/
M2.7 — это MoE-модель с 230 млрд параметров, но при работе активирует лишь 10 млрд (4,3% от общего числа). Это значит: мощность большой модели при низких затратах на инференс. Контекст — 200К токенов, 256 экспертов.
Что важно для разработчиков: модель оптимизирована под vLLM и SGLang на GPU Blackwell Ultra — прирост производительности до 2,7x всего за месяц. Доступна через NVIDIA NIM и build.nvidia.com, поддерживает файнтюнинг через NeMo Framework.
Веса открыты. Идеально для сложных агентных сценариев, кодинга и исследовательских пайплайнов.
https://developer.nvidia.com/blog/minimax-m2-7-advances-scalable-agentic-workflows-on-nvidia-platforms-for-complex-ai-applications/
NVIDIA Technical Blog
MiniMax M2.7 Advances Scalable Agentic Workflows on NVIDIA Platforms for Complex AI Applications
The release of MiniMax M2.7 adds enhancements to the popular MiniMax M2.5 model, built for agentic harnesses, and other complex use cases in fields such as reasoning, ML research workflows, software…
Могут ли топовые LLM отличить болт M10 от M20?
Оказывается — с трудом. Исследователи из Waterloo создали FORGE — первый fine-grained бенчмарк для производственных сценариев, где моделям нужно не просто распознать «это болт», а определить конкретный типоразмер, найти дефект поверхности или проверить корректность сборки.
Датасет: 12 972 примера, 2D-изображения + 3D point clouds, 14 категорий деталей, 90 моделей (например, гайки от M10 до M20).
Три задачи: верификация детали, инспекция поверхности (трещины, вмятины), верификация сборки.
Результат: даже GPT-5 и Gemini проваливаются на мелкозернистых задачах — главный bottleneck это понимание морфологии и отсутствие доменных знаний.
Но есть хорошая новость: SFT компактной 3B-модели на их данных даёт +25.6% на новых задачах. Доменная дообучка работает даже на маленьких моделях.
https://arxiv.org/abs/2604.07413
Оказывается — с трудом. Исследователи из Waterloo создали FORGE — первый fine-grained бенчмарк для производственных сценариев, где моделям нужно не просто распознать «это болт», а определить конкретный типоразмер, найти дефект поверхности или проверить корректность сборки.
Датасет: 12 972 примера, 2D-изображения + 3D point clouds, 14 категорий деталей, 90 моделей (например, гайки от M10 до M20).
Три задачи: верификация детали, инспекция поверхности (трещины, вмятины), верификация сборки.
Результат: даже GPT-5 и Gemini проваливаются на мелкозернистых задачах — главный bottleneck это понимание морфологии и отсутствие доменных знаний.
Но есть хорошая новость: SFT компактной 3B-модели на их данных даёт +25.6% на новых задачах. Доменная дообучка работает даже на маленьких моделях.
https://arxiv.org/abs/2604.07413
Почему трансформер "залипает" на одном токене — и что с этим делать?
Attention Sink — эффект, при котором модель концентрирует непропорционально много внимания на нескольких "мусорных" токенах (чаще всего первый токен или специальные символы). Это не баг, это фича softmax: когда нечего выделять, внимание "сбрасывается" в одно место как no-op операция.
Авторы собрали обзор 180+ работ по теме и выделили три направления:
1. Использование — многие методы сжатия KV-кэша просто сохраняют sink-токены, и это работает
2. Интерпретация — оказывается, sink связан с outlier-нейронами и геометрическими "якорями" в пространстве эмбеддингов
3. Митигация — gated attention, модифицированный softmax и learnable bias помогают избавиться от эффекта
Практический вывод: attention sink влияет на галлюцинации, квантизацию и длинный контекст. Понимать его механику — уже необходимость для тех, кто работает с LLM и ViT в продакшне.
https://arxiv.org/abs/2604.10098
Attention Sink — эффект, при котором модель концентрирует непропорционально много внимания на нескольких "мусорных" токенах (чаще всего первый токен или специальные символы). Это не баг, это фича softmax: когда нечего выделять, внимание "сбрасывается" в одно место как no-op операция.
Авторы собрали обзор 180+ работ по теме и выделили три направления:
1. Использование — многие методы сжатия KV-кэша просто сохраняют sink-токены, и это работает
2. Интерпретация — оказывается, sink связан с outlier-нейронами и геометрическими "якорями" в пространстве эмбеддингов
3. Митигация — gated attention, модифицированный softmax и learnable bias помогают избавиться от эффекта
Практический вывод: attention sink влияет на галлюцинации, квантизацию и длинный контекст. Понимать его механику — уже необходимость для тех, кто работает с LLM и ViT в продакшне.
https://arxiv.org/abs/2604.10098
OmniShow: один фреймворк для видео с людьми и объектами (by ByteDance)
Хотите сгенерировать видео, где человек держит конкретный продукт, двигается под музыку и ещё точно повторяет заданную позу? Раньше каждую из этих задач решали отдельные модели.
OmniShow объединяет сразу 4 типа условий: текст, референсные изображения персонажа и объекта, аудио и позы. Три ключевых решения:
1. Unified Channel-wise Conditioning — позы и референсы инжектятся через конкатенацию токенов, не ломая предобученные веса базовой модели.
2. Gated Local-Context Attention — аудио-токены привязываются к соответствующим видео-фрагментам через маскированное внимание + learnable gating для стабильной синхронизации.
3. Decoupled-Then-Joint Training — сначала обучают отдельные A2V и R2V модели, потом сливают и дообучают совместно. Так обходят дефицит датасетов с полным набором условий.
Ещё авторы предложили бенчмарк HOIVG-Bench. Применения: e-commerce демо, аватары, видеоремиксы.
https://arxiv.org/abs/2604.11804
Хотите сгенерировать видео, где человек держит конкретный продукт, двигается под музыку и ещё точно повторяет заданную позу? Раньше каждую из этих задач решали отдельные модели.
OmniShow объединяет сразу 4 типа условий: текст, референсные изображения персонажа и объекта, аудио и позы. Три ключевых решения:
1. Unified Channel-wise Conditioning — позы и референсы инжектятся через конкатенацию токенов, не ломая предобученные веса базовой модели.
2. Gated Local-Context Attention — аудио-токены привязываются к соответствующим видео-фрагментам через маскированное внимание + learnable gating для стабильной синхронизации.
3. Decoupled-Then-Joint Training — сначала обучают отдельные A2V и R2V модели, потом сливают и дообучают совместно. Так обходят дефицит датасетов с полным набором условий.
Ещё авторы предложили бенчмарк HOIVG-Bench. Применения: e-commerce демо, аватары, видеоремиксы.
https://arxiv.org/abs/2604.11804
Apple ML представила исследование о борьбе с галлюцинациями в языковых моделях.
Учёные из Apple показали: главная причина того, что LLM "выдумывают" факты — не плохая архитектура, а перегруженность обучающих данных. Если фактов больше, чем модель способна запомнить, точность падает. Особенно плохо, когда одни факты встречаются в данных намного чаще других.
Решение — умная обрезка данных. Исследователи предложили отбирать обучающие примеры на основе потерь при обучении, чтобы сократить число фактов и выровнять их частотное распределение.
Результат впечатляет: маленькая модель GPT-2 Small (110 млн параметров) после такого отбора данных запоминает в 1,3 раза больше фактов и дотягивается до уровня модели в 10 раз крупнее (1,3 млрд параметров).
Вывод: качество данных важнее их количества. Меньше — значит лучше, если выбирать с умом.
https://machinelearning.apple.com/research/cram-less
Учёные из Apple показали: главная причина того, что LLM "выдумывают" факты — не плохая архитектура, а перегруженность обучающих данных. Если фактов больше, чем модель способна запомнить, точность падает. Особенно плохо, когда одни факты встречаются в данных намного чаще других.
Решение — умная обрезка данных. Исследователи предложили отбирать обучающие примеры на основе потерь при обучении, чтобы сократить число фактов и выровнять их частотное распределение.
Результат впечатляет: маленькая модель GPT-2 Small (110 млн параметров) после такого отбора данных запоминает в 1,3 раза больше фактов и дотягивается до уровня модели в 10 раз крупнее (1,3 млрд параметров).
Вывод: качество данных важнее их количества. Меньше — значит лучше, если выбирать с умом.
https://machinelearning.apple.com/research/cram-less
Apple Machine Learning Research
Cram Less to Fit More: Training Data Pruning Improves Memorization of Facts
This paper was accepted at the Workshop on Navigating and Addressing Data Problems for Foundation Models at ICLR 2026.
Large language models…
Large language models…
Клеман Делангe, CEO Hugging Face, поделился впечатляющим кейсом: его команда перевела 27 000 научных статей с arxiv в формат Markdown с помощью открытой модели на 5 миллиардов параметров.
Для этого запустили 16 параллельных задач на GPU L40S через инфраструктуру Hugging Face. Итог: потрачено всего 850 долларов, работа заняла около 29 часов, и — что особенно приятно — ни один из процессов не упал.
Теперь эти данные питают функцию "Chat with your paper" на сайте Hugging Face — можно загрузить статью и поговорить с ней как с собеседником. Хороший пример того, что open-source модели уже вполне способны справляться с масштабными промышленными задачами без огромных затрат.
https://x.com/ClementDelangue/status/2043779449322160270
Для этого запустили 16 параллельных задач на GPU L40S через инфраструктуру Hugging Face. Итог: потрачено всего 850 долларов, работа заняла около 29 часов, и — что особенно приятно — ни один из процессов не упал.
Теперь эти данные питают функцию "Chat with your paper" на сайте Hugging Face — можно загрузить статью и поговорить с ней как с собеседником. Хороший пример того, что open-source модели уже вполне способны справляться с масштабными промышленными задачами без огромных затрат.
https://x.com/ClementDelangue/status/2043779449322160270
X (formerly Twitter)
clem 🤗 (@ClementDelangue) on X
We just OCR'd 27,000 arxiv papers into Markdown using an open 5B model, 16 parallel HF Jobs on L40S GPUs, and a mounted bucket.
Total cost: $850 Total time: ~29 hours Jobs that crashed: 0
This now powers "Chat with your paper" on https://t.co/G2mDae0uv9
Total cost: $850 Total time: ~29 hours Jobs that crashed: 0
This now powers "Chat with your paper" on https://t.co/G2mDae0uv9
GUI-агент, который умеет и учиться, и оцениваться, и работать на реальном смартфоне
Одна из главных проблем GUI-агентов: обучение, оценка и деплой существуют в разных мирах и не стыкуются. ClawGUI от Чжэцзянского университета — попытка собрать всё в единый open-source фреймворк.
Три модуля: ClawGUI-RL (онлайн RL с поддержкой эмуляторов и реальных устройств, dense reward через Process Reward Model и GiGPO вместо GRPO), ClawGUI-Eval (воспроизводимая оценка на 6 бенчмарках и 11+ моделях, 95.8% совпадение с опубликованными результатами), ClawGUI-Agent (деплой на Android/HarmonyOS/iOS через 12+ чат-платформ с персонализированной памятью).
Результат: ClawGUI-2B набирает 17.1% на MobileWorld GUI-Only, обходя MAI-UI-2B на 6 пунктов и даже Qwen3-VL-32B (11.9%). Замена эпизодного GRPO на пошаговый GiGPO даёт +2.6% — dense reward реально работает.
https://arxiv.org/abs/2604.11784
Одна из главных проблем GUI-агентов: обучение, оценка и деплой существуют в разных мирах и не стыкуются. ClawGUI от Чжэцзянского университета — попытка собрать всё в единый open-source фреймворк.
Три модуля: ClawGUI-RL (онлайн RL с поддержкой эмуляторов и реальных устройств, dense reward через Process Reward Model и GiGPO вместо GRPO), ClawGUI-Eval (воспроизводимая оценка на 6 бенчмарках и 11+ моделях, 95.8% совпадение с опубликованными результатами), ClawGUI-Agent (деплой на Android/HarmonyOS/iOS через 12+ чат-платформ с персонализированной памятью).
Результат: ClawGUI-2B набирает 17.1% на MobileWorld GUI-Only, обходя MAI-UI-2B на 6 пунктов и даже Qwen3-VL-32B (11.9%). Замена эпизодного GRPO на пошаговый GiGPO даёт +2.6% — dense reward реально работает.
https://arxiv.org/abs/2604.11784
Lyra 2.0: генерируй целые 3D-миры из одной картинки (by NVIDIA)
Представь: загружаешь одно фото комнаты или улицы — и можешь буквально «ходить» по сгенерированному 3D-миру. Именно это делает Lyra 2.0.
Главные враги таких систем — «пространственное забывание» (модель забывает, как выглядел угол, когда ты туда возвращаешься) и «временной дрейф» (ошибки накапливаются, цвета уплывают).
Решение элегантное: 3D-геометрия используется только для маршрутизации — чтобы найти нужные исторические кадры и установить пространственные соответствия. Сам синтез пикселей остаётся за диффузионной моделью, которая не тащит артефакты рендеринга дальше по цепочке.
Против дрейфа — self-augmentation: во время обучения модель кормят её же собственными зашумлёнными предсказаниями вместо идеальных кадров. Так она учится исправлять свои ошибки.
На выходе — 3D Gaussian Splatting + меши, готовые для embodied AI и иммерсивного рендеринга.
https://arxiv.org/abs/2604.13036
Представь: загружаешь одно фото комнаты или улицы — и можешь буквально «ходить» по сгенерированному 3D-миру. Именно это делает Lyra 2.0.
Главные враги таких систем — «пространственное забывание» (модель забывает, как выглядел угол, когда ты туда возвращаешься) и «временной дрейф» (ошибки накапливаются, цвета уплывают).
Решение элегантное: 3D-геометрия используется только для маршрутизации — чтобы найти нужные исторические кадры и установить пространственные соответствия. Сам синтез пикселей остаётся за диффузионной моделью, которая не тащит артефакты рендеринга дальше по цепочке.
Против дрейфа — self-augmentation: во время обучения модель кормят её же собственными зашумлёнными предсказаниями вместо идеальных кадров. Так она учится исправлять свои ошибки.
На выходе — 3D Gaussian Splatting + меши, готовые для embodied AI и иммерсивного рендеринга.
https://arxiv.org/abs/2604.13036
Могут ли LLM писать квантовый код — или просто знают API наизусть?
Проверить это сложно: большинство бенчмарков для квантового кода заточены под один фреймворк (Qiskit, PennyLane или Cirq). Если модель ошибается — непонятно: она не понимает квантовую логику или просто не знает API?
Авторы из American University of Beirut предлагают QuanBench+ — бенчмарк из 42 задач, где одна и та же задача переведена на все три фреймворка. Метрики: Pass@k и KL-дивергенция для вероятностных выходов (вместо унитарной верности, которая даёт ложные негативы).
Ключевые выводы: современные LLM реально прогрессируют, но кросс-фреймворковая надёжность низкая. Подсказки с boilerplate убирают синтаксические ошибки, но не логические. Итеративный фидбэк исправляет часть провалов — но остаток это именно ошибки в квантовом мышлении, а не в API.
https://arxiv.org/abs/2604.08570
Проверить это сложно: большинство бенчмарков для квантового кода заточены под один фреймворк (Qiskit, PennyLane или Cirq). Если модель ошибается — непонятно: она не понимает квантовую логику или просто не знает API?
Авторы из American University of Beirut предлагают QuanBench+ — бенчмарк из 42 задач, где одна и та же задача переведена на все три фреймворка. Метрики: Pass@k и KL-дивергенция для вероятностных выходов (вместо унитарной верности, которая даёт ложные негативы).
Ключевые выводы: современные LLM реально прогрессируют, но кросс-фреймворковая надёжность низкая. Подсказки с boilerplate убирают синтаксические ошибки, но не логические. Итеративный фидбэк исправляет часть провалов — но остаток это именно ошибки в квантовом мышлении, а не в API.
https://arxiv.org/abs/2604.08570
Google DeepMind представила Gemini Robotics-ER 1.6 — обновлённую модель для управления роботами с улучшенным пространственным мышлением.
Модель заточена под реальные задачи: она лучше понимает физический мир, может рассуждать о пространстве, объектах и их взаимодействии. Это позволяет роботам точнее выполнять сложные манипуляции — брать предметы, ориентироваться в пространстве, работать в непредсказуемых условиях.
Ключевое улучшение — embodied reasoning, то есть способность модели "думать телом": соотносить визуальную информацию с физическими действиями гораздо эффективнее, чем раньше.
Для обычных пользователей это пока далеко, но для разработчиков робототехники — серьёзный шаг. Google DeepMind явно целится в промышленную автоматизацию и бытовых роботов-помощников.
https://deepmind.google/blog/gemini-robotics-er-1-6/
Модель заточена под реальные задачи: она лучше понимает физический мир, может рассуждать о пространстве, объектах и их взаимодействии. Это позволяет роботам точнее выполнять сложные манипуляции — брать предметы, ориентироваться в пространстве, работать в непредсказуемых условиях.
Ключевое улучшение — embodied reasoning, то есть способность модели "думать телом": соотносить визуальную информацию с физическими действиями гораздо эффективнее, чем раньше.
Для обычных пользователей это пока далеко, но для разработчиков робототехники — серьёзный шаг. Google DeepMind явно целится в промышленную автоматизацию и бытовых роботов-помощников.
https://deepmind.google/blog/gemini-robotics-er-1-6/
Google DeepMind
Gemini Robotics ER 1.6: Enhanced Embodied Reasoning
Gemini Robotics ER 1.6 upgrades spatial reasoning and multi-view understanding, unlocking new capabilities like instrument reading for autonomous robots.
Nvidia выпустила ALCHEMI Toolkit — набор GPU-ускоренных инструментов для атомистических симуляций в химии и материаловедении.
Главная проблема отрасли: точные квантовые методы (DFT) слишком медленные, а быстрые классические — недостаточно точные. ML-потенциалы решают это, но старая CPU-инфраструктура тормозит весь пайплайн.
Что нового: ALCHEMI Toolkit даёт исследователям модульную PyTorch-нативную среду для создания кастомных симуляционных воркфлоу. Поддерживает батчевую молекулярную динамику, геометрическую релаксацию и объединение нескольких моделей в одном пайплайне.
Уже интегрировались партнёры: Orbital получил ускорение до 33x для батчевых симуляций, Matlantis — до 10x на атомистических расчётах.
Кому важно: учёным в фармацевтике, материаловедении и химии — теперь можно запускать миллионы параллельных симуляций на GPU без переписывания легаси-кода.
Доступно на GitHub: github.com/NVIDIA/nvalchemi-toolkit
https://developer.nvidia.com/blog/building-custom-atomistic-simulation-workflows-for-chemistry-and-materials-science-with-nvidia-alchemi-toolkit/
Главная проблема отрасли: точные квантовые методы (DFT) слишком медленные, а быстрые классические — недостаточно точные. ML-потенциалы решают это, но старая CPU-инфраструктура тормозит весь пайплайн.
Что нового: ALCHEMI Toolkit даёт исследователям модульную PyTorch-нативную среду для создания кастомных симуляционных воркфлоу. Поддерживает батчевую молекулярную динамику, геометрическую релаксацию и объединение нескольких моделей в одном пайплайне.
Уже интегрировались партнёры: Orbital получил ускорение до 33x для батчевых симуляций, Matlantis — до 10x на атомистических расчётах.
Кому важно: учёным в фармацевтике, материаловедении и химии — теперь можно запускать миллионы параллельных симуляций на GPU без переписывания легаси-кода.
Доступно на GitHub: github.com/NVIDIA/nvalchemi-toolkit
https://developer.nvidia.com/blog/building-custom-atomistic-simulation-workflows-for-chemistry-and-materials-science-with-nvidia-alchemi-toolkit/
GitHub
GitHub - NVIDIA/nvalchemi-toolkit: ALCHEMI Toolkit is a developer toolkit for accelerating training and inference for AI in chemistry…
ALCHEMI Toolkit is a developer toolkit for accelerating training and inference for AI in chemistry and material science. - NVIDIA/nvalchemi-toolkit
Nvidia Tech выпустила NVIDIA Ising — первое семейство открытых AI-моделей для построения квантовых процессоров.
Запуск включает два инструмента. Ising Calibration — VLM на 35 млрд параметров, которая автоматизирует калибровку квантовых процессоров в агентном режиме. На новом бенчмарке QCalEval она обходит Gemini 3.1 Pro на 3,3%, Claude Opus 4.6 на 9,7% и GPT 5.4 на 14,5%. Ising Decoding — фреймворк на базе 3D CNN для коррекции квантовых ошибок в реальном времени: быстрая версия работает в 2,5 раза шустрее аналогов при сопоставимой точности.
Почему важно: кубиты шумят — ошибка случается раз в тысячу операций. Для реальной пользы нужна одна на триллион. AI — самый реалистичный путь туда. Модели открыты, данные остаются на стороне пользователя.
https://developer.nvidia.com/blog/nvidia-ising-introduces-ai-powered-workflows-to-build-fault-tolerant-quantum-systems/
Запуск включает два инструмента. Ising Calibration — VLM на 35 млрд параметров, которая автоматизирует калибровку квантовых процессоров в агентном режиме. На новом бенчмарке QCalEval она обходит Gemini 3.1 Pro на 3,3%, Claude Opus 4.6 на 9,7% и GPT 5.4 на 14,5%. Ising Decoding — фреймворк на базе 3D CNN для коррекции квантовых ошибок в реальном времени: быстрая версия работает в 2,5 раза шустрее аналогов при сопоставимой точности.
Почему важно: кубиты шумят — ошибка случается раз в тысячу операций. Для реальной пользы нужна одна на триллион. AI — самый реалистичный путь туда. Модели открыты, данные остаются на стороне пользователя.
https://developer.nvidia.com/blog/nvidia-ising-introduces-ai-powered-workflows-to-build-fault-tolerant-quantum-systems/
NVIDIA Technical Blog
NVIDIA Ising Introduces AI-Powered Workflows to Build Fault-Tolerant Quantum Systems
NVIDIA Ising is the world’s first family of open AI models for building quantum processors, launching with two model domains: Ising Calibration and Ising Decoding. Both target the fundamental…
Ян Лейке поделился интересным результатом: Claude теперь способен самостоятельно вести исследования по scalable oversight — одному из ключевых направлений в безопасности ИИ.
В эксперименте модель итеративно перебирала разные техники и в итоге обошла человеческих исследователей по метрике PGR (performance gap recovered). Всё это обошлось примерно в 18 тысяч долларов в кредитах на API.
Если коротко: ИИ уже помогает делать ИИ безопаснее — и делает это лучше людей. Звучит как рекурсия, но именно к этому и стремились в Anthropic.
https://x.com/janleike/status/2044139528596910584
В эксперименте модель итеративно перебирала разные техники и в итоге обошла человеческих исследователей по метрике PGR (performance gap recovered). Всё это обошлось примерно в 18 тысяч долларов в кредитах на API.
Если коротко: ИИ уже помогает делать ИИ безопаснее — и делает это лучше людей. Звучит как рекурсия, но именно к этому и стремились в Anthropic.
https://x.com/janleike/status/2044139528596910584
Клеман Делангё, CEO Hugging Face, анонсировал Kernels — новую фичу на HF Hub.
Теперь деплоить GPU-ядра так же просто, как выкладывать модели. Kernels заранее компилируются под конкретный GPU, версию PyTorch и ОС, несколько версий ядер могут работать в одном процессе одновременно, всё совместимо с torch.compile.
Главное — ускорение от 1.7x до 2.5x по сравнению с обычным PyTorch. Для ML-инженеров, которые хотят выжать максимум из железа без боли с низкоуровневой оптимизацией, это может стать серьёзным инструментом.
https://x.com/ClementDelangue/status/2044053580504584349
Теперь деплоить GPU-ядра так же просто, как выкладывать модели. Kernels заранее компилируются под конкретный GPU, версию PyTorch и ОС, несколько версий ядер могут работать в одном процессе одновременно, всё совместимо с torch.compile.
Главное — ускорение от 1.7x до 2.5x по сравнению с обычным PyTorch. Для ML-инженеров, которые хотят выжать максимум из железа без боли с низкоуровневой оптимизацией, это может стать серьёзным инструментом.
https://x.com/ClementDelangue/status/2044053580504584349
X (formerly Twitter)
clem 🤗 (@ClementDelangue) on X
Introducing Kernels on the Hugging Face Hub ✨
What if shipping a GPU kernel was as easy as pushing a model?
- Pre-compiled for your exact GPU, PyTorch & OS
- Multiple kernel versions coexist in one process
- torch.compile compatible
- 1.7x–2.5x speedups…
What if shipping a GPU kernel was as easy as pushing a model?
- Pre-compiled for your exact GPU, PyTorch & OS
- Multiple kernel versions coexist in one process
- torch.compile compatible
- 1.7x–2.5x speedups…
Anthropic поделились впечатляющим результатом из своих исследований по автоматизации науки о безопасности ИИ.
Они измеряли, насколько можно сократить разрыв в производительности между слабой и сильной моделью. За 7 дней работы живые исследователи закрыли этот разрыв на 23%. А их система Automated Alignment Researchers на базе Claude Opus — на целых 97%.
Проще говоря: ИИ справился с задачей по улучшению другого ИИ почти идеально, тогда как люди едва продвинулись на четверть пути. Это один из первых серьёзных сигналов того, что автоматизация исследований в области выравнивания ИИ — уже не фантастика, а рабочая реальность.
https://x.com/AnthropicAI/status/2044138483870998932
Они измеряли, насколько можно сократить разрыв в производительности между слабой и сильной моделью. За 7 дней работы живые исследователи закрыли этот разрыв на 23%. А их система Automated Alignment Researchers на базе Claude Opus — на целых 97%.
Проще говоря: ИИ справился с задачей по улучшению другого ИИ почти идеально, тогда как люди едва продвинулись на четверть пути. Это один из первых серьёзных сигналов того, что автоматизация исследований в области выравнивания ИИ — уже не фантастика, а рабочая реальность.
https://x.com/AnthropicAI/status/2044138483870998932
X (formerly Twitter)
Anthropic (@AnthropicAI) on X
Here, we measure success by the fraction of the “performance gap” we can close between the weak model and the potential of the strong model.
After 7 days, human researchers closed it by 23%. Then, our Automated Alignment Researchers—Opus 4.6 with extra tools—closed…
After 7 days, human researchers closed it by 23%. Then, our Automated Alignment Researchers—Opus 4.6 with extra tools—closed…
Anthropic провели интересный эксперимент: они попытались научить Claude Opus 4.6 самостоятельно заниматься исследованиями в области безопасности ИИ. Конкретная задача — проверить, может ли слабая модель контролировать обучение более сильной (это классическая проблема "слабого надзора"). По сути, они хотят создать автоматизированного исследователя по alignment — ИИ, который помогает решать проблему безопасности других ИИ. Это важно: если ИИ-системы будут становиться умнее людей, нам нужны инструменты, которые помогут их контролировать даже тогда, когда мы сами не можем полностью понять их поведение. Результаты опубликованы в рамках программы Anthropic Fellows.
https://x.com/AnthropicAI/status/2044138481790648323
https://x.com/AnthropicAI/status/2044138481790648323
X (formerly Twitter)
Anthropic (@AnthropicAI) on X
New Anthropic Fellows research: developing an Automated Alignment Researcher.
We ran an experiment to learn whether Claude Opus 4.6 could accelerate research on a key alignment problem: using a weak AI model to supervise the training of a stronger one.
…
We ran an experiment to learn whether Claude Opus 4.6 could accelerate research on a key alignment problem: using a weak AI model to supervise the training of a stronger one.
…
RationalRewards: когда reward model умеет объяснять, а не просто ставить оценку
Главная беда reward-моделей для генерации изображений — они выдают одно число. Это число легко "хакнуть": модель учится накручивать скор без реального улучшения качества (reward hacking).
RationalRewards меняет подход: сначала — структурированная критика по нескольким осям (точность текста, физическое правдоподобие, качество картинки), потом — оценка. Объяснить высокий скор без реальных визуальных улучшений становится трудно.
Ключевая фишка — два режима использования:
1. Training time: структурированные rationales как dense reward для RL
2. Test time: цикл Generate–Critique–Refine улучшает промпты без обновления весов модели
Самый неожиданный результат: test-time refinement без обучения сравнивается или превосходит RL fine-tuning на нескольких бенчмарках!
Главная беда reward-моделей для генерации изображений — они выдают одно число. Это число легко "хакнуть": модель учится накручивать скор без реального улучшения качества (reward hacking).
RationalRewards меняет подход: сначала — структурированная критика по нескольким осям (точность текста, физическое правдоподобие, качество картинки), потом — оценка. Объяснить высокий скор без реальных визуальных улучшений становится трудно.
Ключевая фишка — два режима использования:
1. Training time: структурированные rationales как dense reward для RL
2. Test time: цикл Generate–Critique–Refine улучшает промпты без обновления весов модели
Самый неожиданный результат: test-time refinement без обучения сравнивается или превосходит RL fine-tuning на нескольких бенчмарках!
Меньше подсказок — лучше обучение!
При обучении LLM через RL на сложных задачах модель часто вообще не может решить задачу и не получает никакого градиента. Обычное решение — давать подсказки в промпте. Но авторы из Тяньцзиньского университета заметили: чем длиннее подсказка, тем хуже. Есть "critical-segment effect": точность резко прыгает, когда появляется один ключевой фрагмент знания, а всё остальное — балласт.
Метод KnowRL разбивает подсказки на атомарные "knowledge points" и ищет минимальный достаточный набор через Constrained Subset Search. Простые задачи вообще без подсказок, сложным — только критически важные KP.
Результат: SOTA на 8 бенчмарках, меньше токенов, никаких учителей-моделей. Оказывается, дело не в количестве подсказок, а в их структуре.
https://arxiv.org/abs/2604.12627
При обучении LLM через RL на сложных задачах модель часто вообще не может решить задачу и не получает никакого градиента. Обычное решение — давать подсказки в промпте. Но авторы из Тяньцзиньского университета заметили: чем длиннее подсказка, тем хуже. Есть "critical-segment effect": точность резко прыгает, когда появляется один ключевой фрагмент знания, а всё остальное — балласт.
Метод KnowRL разбивает подсказки на атомарные "knowledge points" и ищет минимальный достаточный набор через Constrained Subset Search. Простые задачи вообще без подсказок, сложным — только критически важные KP.
Результат: SOTA на 8 бенчмарках, меньше токенов, никаких учителей-моделей. Оказывается, дело не в количестве подсказок, а в их структуре.
https://arxiv.org/abs/2604.12627