DreamX-Phi 1.0: робот-манипулятор видит будущее (by Alibaba)
Хотите, чтобы робот не просто выполнял команды, а сначала "воображал" результат? Именно это делает DreamX-Phi — видео-модель мира, которая по одному кадру и заданной траектории рук предсказывает, как будет выглядеть сцена после манипуляции.
Главная проблема предыдущих подходов: красивое видео ≠ правильное движение. Модель могла генерировать реалистичный ролик, но рука двигалась не туда или хватала воздух.
Решение DreamX-Phi — три ключевых компонента:
1. SE(3)-траектории через PRoPE-attention — сохраняют реальную 3D-геометрию движения манипулятора
2. Оптический поток только от робота — явно показывает, где в кадре должно происходить движение
3. Depth + SAM3 маски + V-JEPA — следят за физической согласованностью объекта во времени
Обучение на 10к+ часов данных (Ego4D, AgiBot, симуляция). На WorldArena 2.0 — 1-е место в Track 1.
https://arxiv.org/abs/2608.13489
Хотите, чтобы робот не просто выполнял команды, а сначала "воображал" результат? Именно это делает DreamX-Phi — видео-модель мира, которая по одному кадру и заданной траектории рук предсказывает, как будет выглядеть сцена после манипуляции.
Главная проблема предыдущих подходов: красивое видео ≠ правильное движение. Модель могла генерировать реалистичный ролик, но рука двигалась не туда или хватала воздух.
Решение DreamX-Phi — три ключевых компонента:
1. SE(3)-траектории через PRoPE-attention — сохраняют реальную 3D-геометрию движения манипулятора
2. Оптический поток только от робота — явно показывает, где в кадре должно происходить движение
3. Depth + SAM3 маски + V-JEPA — следят за физической согласованностью объекта во времени
Обучение на 10к+ часов данных (Ego4D, AgiBot, симуляция). На WorldArena 2.0 — 1-е место в Track 1.
https://arxiv.org/abs/2608.13489
DarwinX: эволюция агентов без обучения весов (by Salesforce AI Research)
Что если улучшать агента не дообучением, а эволюцией его "оболочки" — промптов, инструментов и control flow?
DarwinX именно это и делает. Веса модели заморожены навсегда. Эволюционирует только harness вокруг неё. Каждый раз система предлагает небольшое изменение, запускает агента на реальных задачах и принимает правку только если она что-то улучшила, не сломав старое — "preserve-and-extend contract".
Ключевая идея: вместо одной линии улучшений — популяция веток-архив. Ветка, которая проиграла в общем зачёте, не выбрасывается — она может содержать единственный нужный фикс, который в комбинации с другой веткой откроет новые задачи.
Результаты впечатляют: Terminal-Bench 2.1 — 84.7%, WebArena-Infinity вырос с 43.5% до 93.0%, причём harness обученный на синтетике переносится на реальные задачи без дополнительной адаптации.
https://arxiv.org/abs/2608.07545
Что если улучшать агента не дообучением, а эволюцией его "оболочки" — промптов, инструментов и control flow?
DarwinX именно это и делает. Веса модели заморожены навсегда. Эволюционирует только harness вокруг неё. Каждый раз система предлагает небольшое изменение, запускает агента на реальных задачах и принимает правку только если она что-то улучшила, не сломав старое — "preserve-and-extend contract".
Ключевая идея: вместо одной линии улучшений — популяция веток-архив. Ветка, которая проиграла в общем зачёте, не выбрасывается — она может содержать единственный нужный фикс, который в комбинации с другой веткой откроет новые задачи.
Результаты впечатляют: Terminal-Bench 2.1 — 84.7%, WebArena-Infinity вырос с 43.5% до 93.0%, причём harness обученный на синтетике переносится на реальные задачи без дополнительной адаптации.
https://arxiv.org/abs/2608.07545
Intern-S2-Preview: научный агент на 397B параметров
Хотите модель, которая не просто отвечает на вопросы по науке, а реально работает как исследователь — запускает инструменты, итеративно планирует и адаптируется к новым доменам без переобучения?
Intern-S2-Preview-397B — это именно такая попытка. Ключевые фишки:
1. Memory Decoder: вместо дообучения огромного backbone к нему просто "прикручивается" маленькая параметрическая память (4B) с доменными знаниями. Лёгкий роутер на каждом токене решает, сколько брать от базовой модели, а сколько от памяти. Backbone при этом заморожен.
2. Time Series модуль: отдельная ветка для прогнозирования временных рядов поверх стандартного энкодера для длинных сигналов.
3. Agentic RL: специальный фреймворк для обучения с подкреплением на длинных агентских траекториях с верифицируемыми наградами.
По бенчмаркам — конкурентный уровень на научных, мультимодальных и агентских задачах.
https://arxiv.org/abs/2608.13505
Хотите модель, которая не просто отвечает на вопросы по науке, а реально работает как исследователь — запускает инструменты, итеративно планирует и адаптируется к новым доменам без переобучения?
Intern-S2-Preview-397B — это именно такая попытка. Ключевые фишки:
1. Memory Decoder: вместо дообучения огромного backbone к нему просто "прикручивается" маленькая параметрическая память (4B) с доменными знаниями. Лёгкий роутер на каждом токене решает, сколько брать от базовой модели, а сколько от памяти. Backbone при этом заморожен.
2. Time Series модуль: отдельная ветка для прогнозирования временных рядов поверх стандартного энкодера для длинных сигналов.
3. Agentic RL: специальный фреймворк для обучения с подкреплением на длинных агентских траекториях с верифицируемыми наградами.
По бенчмаркам — конкурентный уровень на научных, мультимодальных и агентских задачах.
https://arxiv.org/abs/2608.13505
LiveAnimate: анимация человека в реальном времени на 14B DiT (by Alibaba Qwen)
Все существующие системы pose-driven анимации работают офлайн — минуты или часы на клип. LiveAnimate — первая система, которая делает это в реальном времени (~20 FPS на 2×H100) с 14B-параметрной моделью.
Как это работает:
1. Stage 1 — превращают двунаправленный DiT в каузальный генератор через teacher-forcing: каждый блок обучается на чистой GT-истории, а референсное изображение всегда видно через глобальный Ref Sink.
2. Stage 2 — дистилляция до 3 шагов денойзинга через Block-wise Self-Forcing: сначала полный роллаут без градиентов, потом DMD-лосс блок за блоком. Это позволяет обучать 14B модель на одном узле 8×80GB GPU.
3. PR-Sink — умный KV-кэш: Static Sink (референс), Dynamic Sink (похожая поза из банка памяти по retrieval) + скользящее окно. Это держит внешний вид стабильным на длинных роллаутах.
Результат: трёхминутное видео без дрейфа идентичности, ~20 FPS.
https://arxiv.org/abs/2608.11745
Все существующие системы pose-driven анимации работают офлайн — минуты или часы на клип. LiveAnimate — первая система, которая делает это в реальном времени (~20 FPS на 2×H100) с 14B-параметрной моделью.
Как это работает:
1. Stage 1 — превращают двунаправленный DiT в каузальный генератор через teacher-forcing: каждый блок обучается на чистой GT-истории, а референсное изображение всегда видно через глобальный Ref Sink.
2. Stage 2 — дистилляция до 3 шагов денойзинга через Block-wise Self-Forcing: сначала полный роллаут без градиентов, потом DMD-лосс блок за блоком. Это позволяет обучать 14B модель на одном узле 8×80GB GPU.
3. PR-Sink — умный KV-кэш: Static Sink (референс), Dynamic Sink (похожая поза из банка памяти по retrieval) + скользящее окно. Это держит внешний вид стабильным на длинных роллаутах.
Результат: трёхминутное видео без дрейфа идентичности, ~20 FPS.
https://arxiv.org/abs/2608.11745
Beam Search для мыслей: как перестать тратить GPU впустую на рассуждения
Параллельный сэмплинг reasoning-трасс — стандарт тест-тайм скейлинга. Но это дико неэффективно: сотни длинных трасс, большинство ведут в никуда, GPU то перегружен, то простаивает.
Авторы из Princeton предлагают Gambit — beam search на уровне "мыслей". Идея: не запускать трассы независимо, а периодически оценивать частичные рассуждения, обрезать плохие и ветвиться от лучших префиксов. Zero-sum политика: число активных трасс всегда константно, GPU не простаивает.
Ключевой трюк — warmup threshold: не оценивать трассы слишком рано, когда сигналы ещё шумные. Плюс decoupled memory management, чтобы не схлопнуться в одну "жадную" ветку.
Результат: +6.7% на HMMT-24, +3.3% на AIME-25 vs агрессивного прунинга, при этом на 68.5% меньше токенов vs параллельного сэмплинга. Throughput 2x выше.
https://arxiv.org/abs/2608.08020
Параллельный сэмплинг reasoning-трасс — стандарт тест-тайм скейлинга. Но это дико неэффективно: сотни длинных трасс, большинство ведут в никуда, GPU то перегружен, то простаивает.
Авторы из Princeton предлагают Gambit — beam search на уровне "мыслей". Идея: не запускать трассы независимо, а периодически оценивать частичные рассуждения, обрезать плохие и ветвиться от лучших префиксов. Zero-sum политика: число активных трасс всегда константно, GPU не простаивает.
Ключевой трюк — warmup threshold: не оценивать трассы слишком рано, когда сигналы ещё шумные. Плюс decoupled memory management, чтобы не схлопнуться в одну "жадную" ветку.
Результат: +6.7% на HMMT-24, +3.3% на AIME-25 vs агрессивного прунинга, при этом на 68.5% меньше токенов vs параллельного сэмплинга. Throughput 2x выше.
https://arxiv.org/abs/2608.08020
Specification-first вместо code review: рефакторинг 189 файлов без единого ревьюера
Классическая проблема AI-агентов: код генерируется быстро, но ревью становится бутылочным горлышком. Особенно когда изменение затрагивает сотни взаимозависимых файлов — ни один человек не удержит весь граф зависимостей в голове.
Авторы предлагают перенести контроль РАНЬШЕ генерации. Вместо ревью кода — ревью спецификации. Протокол такой: сначала агент многократно сверяет спецификацию с реальным кодом, пока та не перестаёт давать расхождения. Потом код генерируется против замороженной спецификации. Потом свежая сессия того же агента сверяет результат с той же спецификацией — без памяти о процессе генерации.
Стресс-тест: удаление lifetime-инварианта в стриминговой подсистеме (717k строк TypeScript, 189 файлов, нет тестового оракула). Задача из разряда "проще переписать". Выполнено за 3 дня без единого человеческого ревью кода.
Классическая проблема AI-агентов: код генерируется быстро, но ревью становится бутылочным горлышком. Особенно когда изменение затрагивает сотни взаимозависимых файлов — ни один человек не удержит весь граф зависимостей в голове.
Авторы предлагают перенести контроль РАНЬШЕ генерации. Вместо ревью кода — ревью спецификации. Протокол такой: сначала агент многократно сверяет спецификацию с реальным кодом, пока та не перестаёт давать расхождения. Потом код генерируется против замороженной спецификации. Потом свежая сессия того же агента сверяет результат с той же спецификацией — без памяти о процессе генерации.
Стресс-тест: удаление lifetime-инварианта в стриминговой подсистеме (717k строк TypeScript, 189 файлов, нет тестового оракула). Задача из разряда "проще переписать". Выполнено за 3 дня без единого человеческого ревью кода.
🤔1
ИИ для реальных открытий — не просто "ответить на вопрос", а пройти весь путь до результата
Большинство бенчмарков проверяют, может ли модель дать правильный ответ на заранее сформулированный вопрос. Но реальные научные задачи — разработка терапий, новых материалов — не приходят с готовой постановкой.
Apodex предлагают концепцию "heavy-duty solver" и фреймворк Discoverative AI. Идея: нужны четыре компонента инфраструктуры — формулировка задачи, среда с реальными данными и инструментами, верификация промежуточных и финальных результатов, и петли исправления ошибок.
Они выпускают бенчмарк TRACES с реальными задачами: дизайн капсидов AAV-вирусов, репозиционирование лекарств, анализ клинических данных. Важно: оценивается не только финальный ответ, но и весь trajectory — правильно ли агент декомпозировал задачу, исправлял ли ошибки по ходу.
На задаче дизайна AAV-капсидов их система превзошла опубликованный SOTA. Это ближе к тому, как работает реальная наука.
https://arxiv.org/abs/2608.11341
Большинство бенчмарков проверяют, может ли модель дать правильный ответ на заранее сформулированный вопрос. Но реальные научные задачи — разработка терапий, новых материалов — не приходят с готовой постановкой.
Apodex предлагают концепцию "heavy-duty solver" и фреймворк Discoverative AI. Идея: нужны четыре компонента инфраструктуры — формулировка задачи, среда с реальными данными и инструментами, верификация промежуточных и финальных результатов, и петли исправления ошибок.
Они выпускают бенчмарк TRACES с реальными задачами: дизайн капсидов AAV-вирусов, репозиционирование лекарств, анализ клинических данных. Важно: оценивается не только финальный ответ, но и весь trajectory — правильно ли агент декомпозировал задачу, исправлял ли ошибки по ходу.
На задаче дизайна AAV-капсидов их система превзошла опубликованный SOTA. Это ближе к тому, как работает реальная наука.
https://arxiv.org/abs/2608.11341
ACID для агентов — базы данных уже так умеют, почему агенты нет?
Когда LLM-агент выполняет длинную задачу (анализ данных, написание кода), он может упасть на середине и оставить всё в хаосе — файлы изменены, часть шагов выполнена, результат неверный. Авторы из Tsinghua предлагают перенести принципы ACID из баз данных в мир агентов.
Идея: каждый цикл "исследование → выполнение → валидация" — это транзакция. Если валидация провалилась — откат. Если прошла — коммит в append-only workspace.
Конкретно: агент оценивает уверенность в своих решениях и коде (divergence между P(решение|данные) и P(код|данные)), и если уверенность низкая — делает retry с обратной связью, а не тихо коммитит мусор. Изоляция параллельных агентов через версионированные воркспейсы. Durability — через граф памяти только из валидированных шагов.
На практике: Claude Code дал ответ 0.261 (неверно агрегировал данные), ACID-Agent поймал это и пересчитал — 0.206.
https://arxiv.org/abs/2608.13900
Когда LLM-агент выполняет длинную задачу (анализ данных, написание кода), он может упасть на середине и оставить всё в хаосе — файлы изменены, часть шагов выполнена, результат неверный. Авторы из Tsinghua предлагают перенести принципы ACID из баз данных в мир агентов.
Идея: каждый цикл "исследование → выполнение → валидация" — это транзакция. Если валидация провалилась — откат. Если прошла — коммит в append-only workspace.
Конкретно: агент оценивает уверенность в своих решениях и коде (divergence между P(решение|данные) и P(код|данные)), и если уверенность низкая — делает retry с обратной связью, а не тихо коммитит мусор. Изоляция параллельных агентов через версионированные воркспейсы. Durability — через граф памяти только из валидированных шагов.
На практике: Claude Code дал ответ 0.261 (неверно агрегировал данные), ACID-Agent поймал это и пересчитал — 0.206.
https://arxiv.org/abs/2608.13900
MegaParts: генерируем 3D-объекты из 300 деталей авторегрессионно (by Shanghai AI Laboratory)
Генерация 3D-объектов обычно игнорирует их составную природу — объект как единое целое, без деталей и компонентов. Это мешает редактированию и управлению структурой. Авторы предлагают MegaParts — авторегрессионный фреймворк, который генерирует объекты покомпонентно, масштабируясь до 300 частей.
Ключевая идея: адаптивный токенайзер для каждой части объекта. Простые детали кодируются несколькими токенами, сложные — длинными последовательностями. Это решает главный трейдофф между качеством геометрии и длиной контекста.
Генерация идёт как chain-of-thought: сначала bounding box объекта, потом bbox каждой части, потом геометрия внутри. Итого — до 256k токенов на объект.
Результат: качество выше диффузионных методов, а масштаб — в 6 раз больше по числу частей, чем у конкурентов.
https://arxiv.org/abs/2608.14783
Генерация 3D-объектов обычно игнорирует их составную природу — объект как единое целое, без деталей и компонентов. Это мешает редактированию и управлению структурой. Авторы предлагают MegaParts — авторегрессионный фреймворк, который генерирует объекты покомпонентно, масштабируясь до 300 частей.
Ключевая идея: адаптивный токенайзер для каждой части объекта. Простые детали кодируются несколькими токенами, сложные — длинными последовательностями. Это решает главный трейдофф между качеством геометрии и длиной контекста.
Генерация идёт как chain-of-thought: сначала bounding box объекта, потом bbox каждой части, потом геометрия внутри. Итого — до 256k токенов на объект.
Результат: качество выше диффузионных методов, а масштаб — в 6 раз больше по числу частей, чем у конкурентов.
https://arxiv.org/abs/2608.14783
Nvidia выпустила Nemotron 3.5 Lightning NVFP4 — сжатую версию своей языковой модели с применением нового метода квантизации QAD.
Суть: модель похудела с 66 ГБ до 22 ГБ, а скорость выросла до 4 раз. При этом точность почти не пострадала — и вот как это удалось.
Стандартная квантизация (PTQ) режет веса до 4 бит, но теряет в качестве. QAD идёт дальше: сначала создаётся «сжатый студент», а затем его обучают под руководством оригинальной полноразрядной модели-«учителя» через KL-дивергенцию. Студент буквально учится имитировать поведение учителя, а не просто предсказывать токены.
Результат: QAD стабильно обходит PTQ на агентных и кодинговых бенчмарках, восстанавливая потери точности даже при агрессивном сжатии.
Инструменты доступны через NVIDIA Model Optimizer — разработчики могут воспроизвести весь пайплайн самостоятельно.
https://developer.nvidia.com/blog/developing-nemotron-3-5-lightning-nvfp4-with-qad-using-nvidia-model-optimizer/
Суть: модель похудела с 66 ГБ до 22 ГБ, а скорость выросла до 4 раз. При этом точность почти не пострадала — и вот как это удалось.
Стандартная квантизация (PTQ) режет веса до 4 бит, но теряет в качестве. QAD идёт дальше: сначала создаётся «сжатый студент», а затем его обучают под руководством оригинальной полноразрядной модели-«учителя» через KL-дивергенцию. Студент буквально учится имитировать поведение учителя, а не просто предсказывать токены.
Результат: QAD стабильно обходит PTQ на агентных и кодинговых бенчмарках, восстанавливая потери точности даже при агрессивном сжатии.
Инструменты доступны через NVIDIA Model Optimizer — разработчики могут воспроизвести весь пайплайн самостоятельно.
https://developer.nvidia.com/blog/developing-nemotron-3-5-lightning-nvfp4-with-qad-using-nvidia-model-optimizer/
NVIDIA Technical Blog
Developing Nemotron 3.5 Lightning NVFP4 with QAD Using NVIDIA Model Optimizer
Teams customize their models to hit their targets for latency, speed, memory, and compute. With the open NVIDIA Nemotron family of models, developers can find the right-sized model for their needs.
Агент умеет решать каждый шаг, но всё равно проваливает задачу целиком — знакомо?
Авторы предлагают "harness scaling": вместо того чтобы улучшать модель, улучшай окружение вокруг неё. Их система StateM — это YAML-файл с состояниями, переходами, хуками и правилами восстановления после ошибок. Агент сам управляет этим runbook через CLI, а человек может его редактировать.
Ключевой трюк: каждое состояние — это "контекст + контракт". Войти в состояние = получить свежие инструкции. Выйти = выполнить явные условия. После провала харнесс анализируется и улучшается без изменения весов модели.
Результат: GPT-5.5 с StateM догоняет GPT-5.6 по качеству. GPT-5.6 с замороженным runbook бьёт 95.3% на Terminal-Bench 2.1. А DeepSeek с адаптированным харнессом за $15 обходит референс за $575.
https://arxiv.org/abs/2608.15089
Авторы предлагают "harness scaling": вместо того чтобы улучшать модель, улучшай окружение вокруг неё. Их система StateM — это YAML-файл с состояниями, переходами, хуками и правилами восстановления после ошибок. Агент сам управляет этим runbook через CLI, а человек может его редактировать.
Ключевой трюк: каждое состояние — это "контекст + контракт". Войти в состояние = получить свежие инструкции. Выйти = выполнить явные условия. После провала харнесс анализируется и улучшается без изменения весов модели.
Результат: GPT-5.5 с StateM догоняет GPT-5.6 по качеству. GPT-5.6 с замороженным runbook бьёт 95.3% на Terminal-Bench 2.1. А DeepSeek с адаптированным харнессом за $15 обходит референс за $575.
https://arxiv.org/abs/2608.15089
LLM умеет предлагать гипотезы, но не знает, какие из них стоит проверять. Байесовская оптимизация умеет выбирать кандидатов, но не умеет выходить за пределы известного пространства поиска. Large Discovery Model (LDM) объединяет оба подхода.
Идея: LLM генерирует и редактирует структурированные кандидаты, расширяя фронтир поиска. Вероятностный суррогат предсказывает их ценность и неопределённость. Acquisition function решает, куда направить вычисления и дорогие эксперименты.
Авторы разделяют три режима: эксплуатация (лучшие известные кандидаты), исследование (снижение неопределённости), и открытие (выход за пределы текущего пространства поиска). LDM явно управляет переходами между ними.
Проверили на трёх задачах: поиск алгоритмов обучения нейросетей, дизайн антител и многоцелевой дизайн молекул. В каждом случае LDM обходит и чистый LLM, и чистую байесовскую оптимизацию.
https://arxiv.org/abs/2608.15669
Идея: LLM генерирует и редактирует структурированные кандидаты, расширяя фронтир поиска. Вероятностный суррогат предсказывает их ценность и неопределённость. Acquisition function решает, куда направить вычисления и дорогие эксперименты.
Авторы разделяют три режима: эксплуатация (лучшие известные кандидаты), исследование (снижение неопределённости), и открытие (выход за пределы текущего пространства поиска). LDM явно управляет переходами между ними.
Проверили на трёх задачах: поиск алгоритмов обучения нейросетей, дизайн антител и многоцелевой дизайн молекул. В каждом случае LDM обходит и чистый LLM, и чистую байесовскую оптимизацию.
https://arxiv.org/abs/2608.15669
👍1
Модель смотрит видео и отвечает одновременно — не дожидаясь конца записи
Большинство видео-моделей работают офлайн: сначала посмотрел клип целиком, потом ответил. MOSS-VL идёт дальше — модель продолжает воспринимать видео прямо во время генерации ответа и может прервать или исправить себя, если картинка изменилась.
Ключевая архитектурная идея: визуальные токены никогда не попадают в декодируемую последовательность. Вместо этого — gated cross-attention с нулевой инициализацией гейтов (языковой бэкбон Qwen3-8B остаётся нетронутым). Новый фрейм просто дописывается в cross-attention кэш — модель "видит" его без остановки генерации.
Ещё одна фишка — XRoPE: единое трёхосевое позиционное кодирование (t, h, w) для текста и видео, чтобы оба потока жили на одной временной шкале.
Результат: на стриминговых бенчмарках 66.0 vs 37.5 по Proactive Alerting, и в 5x быстрее по time-to-first-token против Qwen3-VL-8B при росте визуального контекста.
https://arxiv.org/abs/2608.15045
Большинство видео-моделей работают офлайн: сначала посмотрел клип целиком, потом ответил. MOSS-VL идёт дальше — модель продолжает воспринимать видео прямо во время генерации ответа и может прервать или исправить себя, если картинка изменилась.
Ключевая архитектурная идея: визуальные токены никогда не попадают в декодируемую последовательность. Вместо этого — gated cross-attention с нулевой инициализацией гейтов (языковой бэкбон Qwen3-8B остаётся нетронутым). Новый фрейм просто дописывается в cross-attention кэш — модель "видит" его без остановки генерации.
Ещё одна фишка — XRoPE: единое трёхосевое позиционное кодирование (t, h, w) для текста и видео, чтобы оба потока жили на одной временной шкале.
Результат: на стриминговых бенчмарках 66.0 vs 37.5 по Proactive Alerting, и в 5x быстрее по time-to-first-token против Qwen3-VL-8B при росте визуального контекста.
https://arxiv.org/abs/2608.15045
Nvidia Tech запустила ALCHEMI Toolkit — инструмент для симуляции материалов с ИИ
NVIDIA выпустила ALCHEMI Toolkit — набор инструментов для учёных, который позволяет запускать сложные атомистические симуляции через обычные текстовые запросы. Под капотом — PyTorch-нативные блоки и GPU-ускорение на картах H200.
Суть проста: исследователь описывает задачу словами («смоделируй диффузию лития»), ИИ-агент генерирует и сразу выполняет код. Специальные «навыки агента» подгружают нужные паттерны API — без них агент мог бы писать правдоподобный, но нерабочий код.
Тесты на 45 пайплайнах показали: детализация промпта влияет на структуру кода, но не на физическую корректность результатов. Все три тестовых сценария дали результаты, совпадающие с эталонными данными.
Важно: автоматизация не заменяет научное суждение. Модели типа MACE-MPA-0 могут ошибаться за пределами обучающих данных, а агент не проверяет физический смысл задачи сам.
https://developer.nvidia.com/blog/how-ai-coding-agents-can-unlock-materials-simulation-with-nvidia-alchemi-toolkit/
NVIDIA выпустила ALCHEMI Toolkit — набор инструментов для учёных, который позволяет запускать сложные атомистические симуляции через обычные текстовые запросы. Под капотом — PyTorch-нативные блоки и GPU-ускорение на картах H200.
Суть проста: исследователь описывает задачу словами («смоделируй диффузию лития»), ИИ-агент генерирует и сразу выполняет код. Специальные «навыки агента» подгружают нужные паттерны API — без них агент мог бы писать правдоподобный, но нерабочий код.
Тесты на 45 пайплайнах показали: детализация промпта влияет на структуру кода, но не на физическую корректность результатов. Все три тестовых сценария дали результаты, совпадающие с эталонными данными.
Важно: автоматизация не заменяет научное суждение. Модели типа MACE-MPA-0 могут ошибаться за пределами обучающих данных, а агент не проверяет физический смысл задачи сам.
https://developer.nvidia.com/blog/how-ai-coding-agents-can-unlock-materials-simulation-with-nvidia-alchemi-toolkit/
NVIDIA Technical Blog
How AI Coding Agents Can Unlock Materials Simulation with NVIDIA ALCHEMI Toolkit
Atomistic simulation requires three things: knowledge of the science, compute-efficient implementation of simulations, and accessible interfaces to the simulation stack. The first remains the…
🔥1
Nvidia Tech: многопоточный UMAP теперь работает на нескольких GPU
NVIDIA выпустила cuML и cuVS 25.06 с поддержкой многопроцессорного UMAP. Раньше самый тяжёлый этап — построение графа ближайших соседей — был ограничен одним GPU. Теперь задача распределяется между несколькими картами.
Как это работает: датасет делится на кластеры, каждый GPU обрабатывает свои независимо, затем локальные графы объединяются в глобальный. Никакой дорогостоящей синхронизации между GPU — только параллельная работа.
Результат: 870 ГБ векторов обрабатываются за 8 минут на 8 GPU H100. Ускорение до 74x по сравнению с CPU. При этом качество эмбеддингов сохраняется.
Кому важно: data scientists, работающие с десятками и сотнями миллионов векторов — в геномике, NLP, анализе данных. То, что раньше занимало часы или дни, теперь укладывается в минуты.
https://developer.nvidia.com/blog/run-massive-scale-umap-in-minutes-using-multiple-gpus-without-losing-accuracy/
NVIDIA выпустила cuML и cuVS 25.06 с поддержкой многопроцессорного UMAP. Раньше самый тяжёлый этап — построение графа ближайших соседей — был ограничен одним GPU. Теперь задача распределяется между несколькими картами.
Как это работает: датасет делится на кластеры, каждый GPU обрабатывает свои независимо, затем локальные графы объединяются в глобальный. Никакой дорогостоящей синхронизации между GPU — только параллельная работа.
Результат: 870 ГБ векторов обрабатываются за 8 минут на 8 GPU H100. Ускорение до 74x по сравнению с CPU. При этом качество эмбеддингов сохраняется.
Кому важно: data scientists, работающие с десятками и сотнями миллионов векторов — в геномике, NLP, анализе данных. То, что раньше занимало часы или дни, теперь укладывается в минуты.
https://developer.nvidia.com/blog/run-massive-scale-umap-in-minutes-using-multiple-gpus-without-losing-accuracy/
NVIDIA Technical Blog
Run Massive-Scale UMAP in Minutes Using Multiple GPUs—Without Losing Accuracy
Uniform Manifold Approximation and Projection (UMAP) is a dimensionality reduction technique widely used for visualization and feature extraction. Applications range across exploratory data analysis…
Apple ML — исследование GRPO за пределами английского языка
Команда Apple ML опубликовала масштабное исследование того, как работает метод обучения GRPO (Group Relative Policy Optimization) в многоязычных условиях. До этого почти все работы по RLVR-обучению языковых моделей были сосредоточены исключительно на английском.
Главные выводы: обучение модели рассуждать на родном языке даёт результаты, лишь незначительно уступающие английскому. Более того, тренировка на одном языке часто улучшает показатели сразу в нескольких других — это называют кросслингвальным переносом.
Но есть и подводные камни: в ряде случаев обучение на конкретном языке резко ухудшает работу модели на других языках, особенно за пределами тренировочного домена. Эффект сильно зависит от конкретной модели и языка.
Практический вывод: GRPO можно эффективно применять для многоязычных моделей, но это требует широкого тестирования, чтобы вовремя поймать регрессии. Для пользователей нон-английских приложений — хорошая новость: качественные модели с рассуждением теперь реальнее и на других языках.
https://machinelearning.apple.com/research/grpo-beyond-english
Команда Apple ML опубликовала масштабное исследование того, как работает метод обучения GRPO (Group Relative Policy Optimization) в многоязычных условиях. До этого почти все работы по RLVR-обучению языковых моделей были сосредоточены исключительно на английском.
Главные выводы: обучение модели рассуждать на родном языке даёт результаты, лишь незначительно уступающие английскому. Более того, тренировка на одном языке часто улучшает показатели сразу в нескольких других — это называют кросслингвальным переносом.
Но есть и подводные камни: в ряде случаев обучение на конкретном языке резко ухудшает работу модели на других языках, особенно за пределами тренировочного домена. Эффект сильно зависит от конкретной модели и языка.
Практический вывод: GRPO можно эффективно применять для многоязычных моделей, но это требует широкого тестирования, чтобы вовремя поймать регрессии. Для пользователей нон-английских приложений — хорошая новость: качественные модели с рассуждением теперь реальнее и на других языках.
https://machinelearning.apple.com/research/grpo-beyond-english
Apple Machine Learning Research
GRPO Beyond English: A Large-Scale Study of GRPO in Non-English and Multilingual Settings
Reinforcement Learning with Verifiable Rewards (RLVR), often optimized with Group Relative Policy Optimization (GRPO), has become a central…
Робот учится на своих ошибках прямо во время работы — без переобучения весов
Обычно embodied-агенты "думают" только после завершения эпизода. Zetta делает иначе: в процессе выполнения задачи работают code-based critics, которые мониторят траекторию в реальном времени и триггерят recovery-скиллы при обнаружении сбоя.
Ключевая идея: три вложенных цикла эволюции. Первый — на частоте действий (critic следит за роботом). Второй — между батчами роллаутов (кластеризация отказов, генерация новых critics). Третий — валидация и добавление в память только тех скиллов, что реально улучшают успех.
Результат: с 34.5% до 90.8% на LIBERO-Pro и с 73.6% до 93.6% на RoboCasa за несколько итераций. Скиллы переносятся zero-shot на похожие задачи. Инфраструктура Z-Infra ускорила роллауты в 20.6× (до 35 эпизодов/мин), что напрямую ускоряет эволюцию агента.
https://arxiv.org/abs/2608.16590
Обычно embodied-агенты "думают" только после завершения эпизода. Zetta делает иначе: в процессе выполнения задачи работают code-based critics, которые мониторят траекторию в реальном времени и триггерят recovery-скиллы при обнаружении сбоя.
Ключевая идея: три вложенных цикла эволюции. Первый — на частоте действий (critic следит за роботом). Второй — между батчами роллаутов (кластеризация отказов, генерация новых critics). Третий — валидация и добавление в память только тех скиллов, что реально улучшают успех.
Результат: с 34.5% до 90.8% на LIBERO-Pro и с 73.6% до 93.6% на RoboCasa за несколько итераций. Скиллы переносятся zero-shot на похожие задачи. Инфраструктура Z-Infra ускорила роллауты в 20.6× (до 35 эпизодов/мин), что напрямую ускоряет эволюцию агента.
https://arxiv.org/abs/2608.16590
Запускай 284B-модель на домашнем компьютере — это теперь реально
FreeToken от UC Berkeley — система инференса для MoE-моделей на потребительском железе. Идея: у 100+ млн геймерских ПК уже стоят дискретные GPU, которые простаивают. Почему бы не запускать там DeepSeek-V4-Flash (284B) или GLM-5.2 (753B)?
Три ключевых приёма:
1. Bandwidth-adaptive execution: во время prefill эксперты качаются по PCIe параллельно с вычислениями (double-buffering). Во время decode — алгоритм q* делит cache miss'ы между подгрузкой на GPU и прямым выполнением на CPU.
2. Semantic-aware caching: агентские сессии редактируются на семантических границах (tool calls, thinking). FreeToken кэширует KV-состояние в этих точках и не пересчитывает лишнего.
3. Elastic resource management: кэш GPU динамически ресайзится без перезапуска движка.
Результат: на RTX 5090 — 22-25 tok/s на DeepSeek-V4-Flash, на ноутбуке с 8GB RTX 4060 — 39 tok/s на 35B-модели. Это быстрее, чем Codex в продакшне (33 tok/s медиана).
https://arxiv.org/abs/2608.16157
FreeToken от UC Berkeley — система инференса для MoE-моделей на потребительском железе. Идея: у 100+ млн геймерских ПК уже стоят дискретные GPU, которые простаивают. Почему бы не запускать там DeepSeek-V4-Flash (284B) или GLM-5.2 (753B)?
Три ключевых приёма:
1. Bandwidth-adaptive execution: во время prefill эксперты качаются по PCIe параллельно с вычислениями (double-buffering). Во время decode — алгоритм q* делит cache miss'ы между подгрузкой на GPU и прямым выполнением на CPU.
2. Semantic-aware caching: агентские сессии редактируются на семантических границах (tool calls, thinking). FreeToken кэширует KV-состояние в этих точках и не пересчитывает лишнего.
3. Elastic resource management: кэш GPU динамически ресайзится без перезапуска движка.
Результат: на RTX 5090 — 22-25 tok/s на DeepSeek-V4-Flash, на ноутбуке с 8GB RTX 4060 — 39 tok/s на 35B-модели. Это быстрее, чем Codex в продакшне (33 tok/s медиана).
https://arxiv.org/abs/2608.16157
Робот, который думает только когда нужно (by ZJU-OmniAI)
Главная проблема навигационных агентов: если запускать Chain-of-Thought рассуждение на каждом шаге — медленно, если не запускать — тупо. TAMP-Nav решает это элегантно.
Четыре ключевые идеи:
Point: вместо предсказания 3D-координат или угла поворота агент просто тыкает пальцем в пиксель на картинке, а дальше SLAM сам разбирается с геометрией.
Think: CoT запускается только в критических точках маршрута (~30% шагов), остальное — без рассуждений.
Memorize: ключевые узлы хранятся подробно, промежуточные сжимаются в лёгкие Space-Time токены с координатами и временем через RoPE.
Align: обучение через двухуровневый GRPO — одновременно глобальные награды (дошёл/не дошёл) и пошаговые (не врезался, правильно остановился).
Результат: 66.2% success rate на R2R-CE при обучении всего на 90k траекториях.
https://arxiv.org/abs/2608.17512
Главная проблема навигационных агентов: если запускать Chain-of-Thought рассуждение на каждом шаге — медленно, если не запускать — тупо. TAMP-Nav решает это элегантно.
Четыре ключевые идеи:
Point: вместо предсказания 3D-координат или угла поворота агент просто тыкает пальцем в пиксель на картинке, а дальше SLAM сам разбирается с геометрией.
Think: CoT запускается только в критических точках маршрута (~30% шагов), остальное — без рассуждений.
Memorize: ключевые узлы хранятся подробно, промежуточные сжимаются в лёгкие Space-Time токены с координатами и временем через RoPE.
Align: обучение через двухуровневый GRPO — одновременно глобальные награды (дошёл/не дошёл) и пошаговые (не врезался, правильно остановился).
Результат: 66.2% success rate на R2R-CE при обучении всего на 90k траекториях.
https://arxiv.org/abs/2608.17512
Nvidia FLARE научился обучать мультимодальные AI-модели в федеративном режиме — без передачи сырых данных между организациями.
Суть: вместо передачи полных весов модели (28,6 ГБ за раунд) система теперь обменивается только лёгкими LoRA-адаптерами — всего 0,094 ГБ. Это в 300 раз меньше трафика при сохранении 97% качества централизованного обучения.
Что под капотом: стриминг тензоров, выгрузка агрегации на диск и новый механизм экстернализации крупных объектов. Всё это решает две главные боли федеративного обучения — сетевой трафик и память сервера.
Зачем это важно: больницы, банки и госструктуры смогут совместно обучать мощные vision-language модели, не передавая чувствительные данные за пределы своей инфраструктуры. FedUMM уже получил награду на TheWebConf 2026.
https://developer.nvidia.com/blog/building-federated-multimodal-ai-workflows-with-nvidia-flare/
Суть: вместо передачи полных весов модели (28,6 ГБ за раунд) система теперь обменивается только лёгкими LoRA-адаптерами — всего 0,094 ГБ. Это в 300 раз меньше трафика при сохранении 97% качества централизованного обучения.
Что под капотом: стриминг тензоров, выгрузка агрегации на диск и новый механизм экстернализации крупных объектов. Всё это решает две главные боли федеративного обучения — сетевой трафик и память сервера.
Зачем это важно: больницы, банки и госструктуры смогут совместно обучать мощные vision-language модели, не передавая чувствительные данные за пределы своей инфраструктуры. FedUMM уже получил награду на TheWebConf 2026.
https://developer.nvidia.com/blog/building-federated-multimodal-ai-workflows-with-nvidia-flare/
NVIDIA Technical Blog
Building Federated Multimodal AI Workflows with NVIDIA FLARE
Modern vision-language models (VLMs) can support tasks such as visual question answering, captioning, and image-text reasoning. In practice, however, the data needed to adapt these models may be…
👏1
Nvidia выпустила Cosmos 3 Edge — компактную модель для управления роботами прямо на устройстве.
Cosmos 3 Edge — это 4B-модель из семейства Cosmos 3, достаточно лёгкая, чтобы работать на борту робота на чипе NVIDIA Jetson Thor. Модель предобучена на физических данных реального мира и умеет предсказывать действия робота без подключения к облаку.
Ключевые детали: модель весит около 9 ГБ в формате BF16, генерирует чанк действий за ~1,53 секунды при частоте 15 Гц — и успевает просчитать следующий шаг до завершения текущего, обеспечивая непрерывное движение манипулятора. Успешность в закрытых симуляционных тестах RoboLab — 22,9%.
Чекпоинт доступен на HuggingFace, код открыт в репозитории cosmos-framework. Поддерживаются несколько платформ: Franka, UR, WidowX 250, SO101.
https://developer.nvidia.com/blog/post-train-nvidia-cosmos-3-edge-for-on-device-robot-control/
Cosmos 3 Edge — это 4B-модель из семейства Cosmos 3, достаточно лёгкая, чтобы работать на борту робота на чипе NVIDIA Jetson Thor. Модель предобучена на физических данных реального мира и умеет предсказывать действия робота без подключения к облаку.
Ключевые детали: модель весит около 9 ГБ в формате BF16, генерирует чанк действий за ~1,53 секунды при частоте 15 Гц — и успевает просчитать следующий шаг до завершения текущего, обеспечивая непрерывное движение манипулятора. Успешность в закрытых симуляционных тестах RoboLab — 22,9%.
Чекпоинт доступен на HuggingFace, код открыт в репозитории cosmos-framework. Поддерживаются несколько платформ: Franka, UR, WidowX 250, SO101.
https://developer.nvidia.com/blog/post-train-nvidia-cosmos-3-edge-for-on-device-robot-control/
NVIDIA Technical Blog
Post-Train NVIDIA Cosmos 3 Edge for On-Device Robot Control
Robots need policies that can adapt to their sensors, environments, and tasks while running on onboard computing hardware. World models offer a foundation for learning physical interactions…