Мировая модель, которая учится на своих ошибках без переобучения
LLM-агенты умеют планировать, используя "модель мира" — предсказания о том, что произойдёт после действия. Проблема: мир меняется, а замороженная модель мира начинает врать. Переобучать её онлайн дорого и опасно (catastrophic forgetting).
Авторы предлагают WORLDEVOLVER: вместо обновления весов — обновляй контекст. Система ведёт два вида памяти: эпизодическую (конкретные переходы "действие → наблюдение") и семантическую (правила, выведенные из расхождений предсказания с реальностью). Когда предсказание не совпало с тем, что случилось — это фиксируется как эвристика для следующих шагов.
Плюс Selective Foresight: ненадёжные предсказания просто не передаются агенту, чтобы не навредить. Oracle-эксперимент подтверждает: шумное предсказание хуже, чем никакого.
Бенчмарки: ALFWorld, ScienceWorld, Word2World — улучшение качества планирования без единого градиентного шага.
https://arxiv.org/abs/2606.30639
LLM-агенты умеют планировать, используя "модель мира" — предсказания о том, что произойдёт после действия. Проблема: мир меняется, а замороженная модель мира начинает врать. Переобучать её онлайн дорого и опасно (catastrophic forgetting).
Авторы предлагают WORLDEVOLVER: вместо обновления весов — обновляй контекст. Система ведёт два вида памяти: эпизодическую (конкретные переходы "действие → наблюдение") и семантическую (правила, выведенные из расхождений предсказания с реальностью). Когда предсказание не совпало с тем, что случилось — это фиксируется как эвристика для следующих шагов.
Плюс Selective Foresight: ненадёжные предсказания просто не передаются агенту, чтобы не навредить. Oracle-эксперимент подтверждает: шумное предсказание хуже, чем никакого.
Бенчмарки: ALFWorld, ScienceWorld, Word2World — улучшение качества планирования без единого градиентного шага.
https://arxiv.org/abs/2606.30639
В RL для агентов важно не только "выиграл/проиграл", но и что именно сделал агент на каждом шаге.
GRPO усредняет кредит по всем действиям в траектории: если агент победил — все действия поощряются, если проиграл — все наказываются. Но это создаёт два слепых пятна: полезные исследовательские действия в проигрышных траекториях незаслуженно штрафуются, а вредные действия в выигрышных — незаслуженно поощряются.
TRIAGE решает это через ролевую типизацию сегментов. LLM-судья классифицирует каждое действие агента по одной из четырёх ролей: decisive progress (прямой прогресс к цели), useful exploration (сбор информации), no-progress (безвредный холостой ход), regression (вред или повтор). Дальше для каждой роли применяются разные правила начисления кредита.
Результат: стабильный прирост на ALFWorld, SearchQA и WebShop поверх GRPO-базелайна, причём TRIAGE обходит и скалярные process reward модели, и value-бейзлайны с общим бэкбоном.
https://arxiv.org/abs/2606.32017
GRPO усредняет кредит по всем действиям в траектории: если агент победил — все действия поощряются, если проиграл — все наказываются. Но это создаёт два слепых пятна: полезные исследовательские действия в проигрышных траекториях незаслуженно штрафуются, а вредные действия в выигрышных — незаслуженно поощряются.
TRIAGE решает это через ролевую типизацию сегментов. LLM-судья классифицирует каждое действие агента по одной из четырёх ролей: decisive progress (прямой прогресс к цели), useful exploration (сбор информации), no-progress (безвредный холостой ход), regression (вред или повтор). Дальше для каждой роли применяются разные правила начисления кредита.
Результат: стабильный прирост на ALFWorld, SearchQA и WebShop поверх GRPO-базелайна, причём TRIAGE обходит и скалярные process reward модели, и value-бейзлайны с общим бэкбоном.
https://arxiv.org/abs/2606.32017
Скомпилируй нечёткую функцию один раз — запускай локально навсегда
Вместо того чтобы при каждом вызове дёргать GPT-API для задач вроде «отфильтруй важные строки лога» или «исправь кривой JSON», авторы предлагают парадигму Program-as-Weights (PAW): описываешь функцию на естественном языке, нейросетевой компилятор генерирует LoRA-адаптер (~23 МБ), и дальше маленькая замороженная модель-интерпретатор запускает его локально без интернета.
Схема: LLM-компилятор (Qwen3-4B) делает forward pass и через специальный LoRA mapper генерирует веса адаптера для интерпретатора (Qwen3-0.6B). Компилируешь один раз в облаке — запускаешь хоть в браузере через WebAssembly.
Результат: 0.6B-интерпретатор с PAW-программой бьёт прямой промптинг Qwen3-32B (73.78% vs 68.70% exact match) при потреблении памяти в 50 раз меньше. На MacBook M3 — 30 токенов/сек.
https://arxiv.org/abs/2607.02512
Вместо того чтобы при каждом вызове дёргать GPT-API для задач вроде «отфильтруй важные строки лога» или «исправь кривой JSON», авторы предлагают парадигму Program-as-Weights (PAW): описываешь функцию на естественном языке, нейросетевой компилятор генерирует LoRA-адаптер (~23 МБ), и дальше маленькая замороженная модель-интерпретатор запускает его локально без интернета.
Схема: LLM-компилятор (Qwen3-4B) делает forward pass и через специальный LoRA mapper генерирует веса адаптера для интерпретатора (Qwen3-0.6B). Компилируешь один раз в облаке — запускаешь хоть в браузере через WebAssembly.
Результат: 0.6B-интерпретатор с PAW-программой бьёт прямой промптинг Qwen3-32B (73.78% vs 68.70% exact match) при потреблении памяти в 50 раз меньше. На MacBook M3 — 30 токенов/сек.
https://arxiv.org/abs/2607.02512
👍2
RL для LLM оптимизирует не то, что нужно — и вот почему это проблема
В современных LLM-пайплайнах с RL есть скрытый баг: модель обучается одним движком (training engine), а генерирует ответы другим (inference engine, например vLLM). Из-за разницы в квантизации и реализации эти два движка дают разные вероятности на одних и тех же токенах. Итог: улучшение training policy не гарантирует улучшение inference policy — той, что реально деплоится!
Авторы называют это objective misalignment и предлагают новый принцип MIPI: оптимизировать нужно именно inference policy монотонно. Их метод MIPU работает в два шага: сначала обновляет веса с учётом inference sampler, затем проверяет, действительно ли синхронизация улучшила inference policy, и при необходимости откатывает апдейт.
На Qwen3-1.7B и Qwen3-4B с FP8-квантизацией MIPU даёт лучшую точность и более стабильное обучение по сравнению с GRPO/DAPO.
https://arxiv.org/abs/2606.29526
В современных LLM-пайплайнах с RL есть скрытый баг: модель обучается одним движком (training engine), а генерирует ответы другим (inference engine, например vLLM). Из-за разницы в квантизации и реализации эти два движка дают разные вероятности на одних и тех же токенах. Итог: улучшение training policy не гарантирует улучшение inference policy — той, что реально деплоится!
Авторы называют это objective misalignment и предлагают новый принцип MIPI: оптимизировать нужно именно inference policy монотонно. Их метод MIPU работает в два шага: сначала обновляет веса с учётом inference sampler, затем проверяет, действительно ли синхронизация улучшила inference policy, и при необходимости откатывает апдейт.
На Qwen3-1.7B и Qwen3-4B с FP8-квантизацией MIPU даёт лучшую точность и более стабильное обучение по сравнению с GRPO/DAPO.
https://arxiv.org/abs/2606.29526
Nvidia представила технологию Nonuniform Tensor Parallelism (NTP) для повышения эффективности обучения больших языковых моделей на тысячах GPU.
Суть проблемы: при обучении LLM на крупных кластерах даже временный сбой одного GPU может затормозить весь процесс из-за тесной синхронизации между устройствами.
Что делает NTP: технология динамически перераспределяет нагрузку между оставшимися рабочими GPU при выходе одного из строя. Если в группе из 8 GPU один отказал — система автоматически перестраивается на 7. Дополнительно активируется разгон оставшихся GPU по питанию и частоте, чтобы они не отставали от других реплик. Перераспределение данных происходит параллельно с вычислениями — накладные расходы менее 1%.
Почему важно: вместо полной остановки обучения или потери прогресса кластер продолжает работу почти без потерь производительности. Технология проверена на системах Blackwell и Blackwell Ultra с NVLink-доменами до 72 GPU.
https://developer.nvidia.com/blog/enhancing-goodput-in-large-scale-llm-training-with-nonuniform-tensor-parallelism/
Суть проблемы: при обучении LLM на крупных кластерах даже временный сбой одного GPU может затормозить весь процесс из-за тесной синхронизации между устройствами.
Что делает NTP: технология динамически перераспределяет нагрузку между оставшимися рабочими GPU при выходе одного из строя. Если в группе из 8 GPU один отказал — система автоматически перестраивается на 7. Дополнительно активируется разгон оставшихся GPU по питанию и частоте, чтобы они не отставали от других реплик. Перераспределение данных происходит параллельно с вычислениями — накладные расходы менее 1%.
Почему важно: вместо полной остановки обучения или потери прогресса кластер продолжает работу почти без потерь производительности. Технология проверена на системах Blackwell и Blackwell Ultra с NVLink-доменами до 72 GPU.
https://developer.nvidia.com/blog/enhancing-goodput-in-large-scale-llm-training-with-nonuniform-tensor-parallelism/
NVIDIA Technical Blog
Enhancing Goodput in Large-Scale LLM Training with Nonuniform Tensor Parallelism
Training LLMs at massive scale brings unique infrastructure challenges, especially as jobs span thousands of GPUs and run for extended periods. The longer these jobs run, the greater the likelihood of…
IBM Research совместно с Oak Ridge National Laboratory и Cleveland Clinic сделали шаг к решению ключевой проблемы термоядерной энергетики.
Суть: термоядерный реактор должен сам производить топливо — тритий. Его можно получать из расплавленной соли вокруг реактора, но химия этого процесса настолько сложна, что классические компьютеры не справляются с точным моделированием.
Исследователи применили квантово-классический гибридный подход: классические компьютеры решают простые фрагменты молекул, квантовый компьютер берёт на себя сложные кластеры с высоким уровнем запутанности. Результаты совпали с лучшими классическими методами.
Пока это ранний proof of concept на кластерах из 21 иона, а реальный реактор — триллионы триллионов частиц. Но направление задано: квантовые компьютеры, суперкомпьютеры и ИИ в одном цикле для проектирования оптимальных материалов реактора.
https://research.ibm.com/blog/molten-salts-fusion-quantum?utm_medium=rss&utm_source=rss
Суть: термоядерный реактор должен сам производить топливо — тритий. Его можно получать из расплавленной соли вокруг реактора, но химия этого процесса настолько сложна, что классические компьютеры не справляются с точным моделированием.
Исследователи применили квантово-классический гибридный подход: классические компьютеры решают простые фрагменты молекул, квантовый компьютер берёт на себя сложные кластеры с высоким уровнем запутанности. Результаты совпали с лучшими классическими методами.
Пока это ранний proof of concept на кластерах из 21 иона, а реальный реактор — триллионы триллионов частиц. Но направление задано: квантовые компьютеры, суперкомпьютеры и ИИ в одном цикле для проектирования оптимальных материалов реактора.
https://research.ibm.com/blog/molten-salts-fusion-quantum?utm_medium=rss&utm_source=rss
🔥3
Apple ML опубликовала исследование по исправлению ошибок в распознавании речи (ASR).
Проблема: большинство языковых моделей не знают о специфических паттернах ошибок ASR, а большие LLM хоть и помогают, но медленные и склонны к галлюцинациям.
Решение Apple: компактная seq2seq-модель, обученная на реальных и синтетических ASR-ошибках. Ключевая находка — важна не просто синтетика, а разнообразие ошибок, близкое к реальному. Также предложен новый подход correction-first decoding, где кандидаты перевзвешиваются акустическими оценками ASR.
Результат: модель в 15 раз меньше LLM, но достигает WER 1.5/3.3% на LibriSpeech и обходит LLM-конкурентов. Работает с разными архитектурами ASR и особенно хороша там, где LLM традиционно буксуют — в режиме малого числа ошибок.
Для пользователей это значит: более точный и быстрый голосовой ввод на устройствах Apple без лишней нагрузки на железо.
https://machinelearning.apple.com/research/asr-error-correction
Проблема: большинство языковых моделей не знают о специфических паттернах ошибок ASR, а большие LLM хоть и помогают, но медленные и склонны к галлюцинациям.
Решение Apple: компактная seq2seq-модель, обученная на реальных и синтетических ASR-ошибках. Ключевая находка — важна не просто синтетика, а разнообразие ошибок, близкое к реальному. Также предложен новый подход correction-first decoding, где кандидаты перевзвешиваются акустическими оценками ASR.
Результат: модель в 15 раз меньше LLM, но достигает WER 1.5/3.3% на LibriSpeech и обходит LLM-конкурентов. Работает с разными архитектурами ASR и особенно хороша там, где LLM традиционно буксуют — в режиме малого числа ошибок.
Для пользователей это значит: более точный и быстрый голосовой ввод на устройствах Apple без лишней нагрузки на железо.
https://machinelearning.apple.com/research/asr-error-correction
Apple Machine Learning Research
Revisiting ASR Error Correction with Specialized Models
Language models play a central role in automatic speech recognition (ASR), yet most methods rely on text-only models unaware of ASR error…
Один фреймворк вместо сотни CV-моделей (by SenseNova)
Детекция, сегментация, глубина, нормали, 3D-геометрия — каждая задача компьютерного зрения традиционно требует своей архитектуры и своих декодеров. SenseNova-Vision предлагает радикальное упрощение: все эти задачи — просто multimodal generation.
Идея проста: текстовые инструкции описывают задачу и схему вывода, текстовая генерация отдаёт символьные ответы (боксы, координаты, позы камер), а image generation — плотные карты (маски, depth, нормали). Никаких task-specific голов — один декодер на всё.
Модель обучается на едином корпусе из разнородных CV-аннотаций, преобразованных в instruction-response пары. Результат: конкурентные метрики сразу в четырёх семействах задач, плюс zero-shot обобщение на комбинации задач, которых не было в обучении.
По сути, это «GPT-момент» для компьютерного зрения.
https://arxiv.org/abs/2607.06560
Детекция, сегментация, глубина, нормали, 3D-геометрия — каждая задача компьютерного зрения традиционно требует своей архитектуры и своих декодеров. SenseNova-Vision предлагает радикальное упрощение: все эти задачи — просто multimodal generation.
Идея проста: текстовые инструкции описывают задачу и схему вывода, текстовая генерация отдаёт символьные ответы (боксы, координаты, позы камер), а image generation — плотные карты (маски, depth, нормали). Никаких task-specific голов — один декодер на всё.
Модель обучается на едином корпусе из разнородных CV-аннотаций, преобразованных в instruction-response пары. Результат: конкурентные метрики сразу в четырёх семействах задач, плюс zero-shot обобщение на комбинации задач, которых не было в обучении.
По сути, это «GPT-момент» для компьютерного зрения.
https://arxiv.org/abs/2607.06560
Мировая модель для 4 игроков в реальном времени — это реально!
MIRA — первая мультиплеерная world model: 5B параметров, Rocket League, 4 игрока одновременно, 20 fps на одном GPU (Nvidia B200). Модель работает в латентном пространстве видеокодека: энкодер сжимает кадры, трансформер предсказывает следующий латент по действиям всех 4 игроков, декодер рендерит обратно в видео.
Ключевые находки: предобученный feature extractor в кодеке резко улучшает качество роллаутов; диффузионное обучение с few-step дистилляцией даёт стабильные длинные горизонты; мультиплеерная модель заметно лучше однопользовательской — доп. виды снижают неопределённость. Интересно: модель сначала учится делать визуально правдоподобные кадры, и только потом — правильно реагировать на действия игроков.
Датасет: 10 000 часов игры RL-агентов, код и данные открыты. Демо: mira-wm.com
https://arxiv.org/abs/2607.05352
MIRA — первая мультиплеерная world model: 5B параметров, Rocket League, 4 игрока одновременно, 20 fps на одном GPU (Nvidia B200). Модель работает в латентном пространстве видеокодека: энкодер сжимает кадры, трансформер предсказывает следующий латент по действиям всех 4 игроков, декодер рендерит обратно в видео.
Ключевые находки: предобученный feature extractor в кодеке резко улучшает качество роллаутов; диффузионное обучение с few-step дистилляцией даёт стабильные длинные горизонты; мультиплеерная модель заметно лучше однопользовательской — доп. виды снижают неопределённость. Интересно: модель сначала учится делать визуально правдоподобные кадры, и только потом — правильно реагировать на действия игроков.
Датасет: 10 000 часов игры RL-агентов, код и данные открыты. Демо: mira-wm.com
https://arxiv.org/abs/2607.05352
Nvidia Tech выпустила обновлённую платформу Isaac GR00T для разработки политик управления человекоподобными роботами.
Главное обновление — модель GR00T 1.7, первая открытая VLA-модель (vision-language-action) под лицензией Apache 2.0. Она обучена на 32 000 часов реальных демонстраций и 8 000 часов симуляций. Новый бэкбон Cosmos-Reason2-2B заменил предыдущий Eagle, добавлена поддержка экспорта в ONNX и TensorRT.
Платформа закрывает главную боль разработчиков — фрагментированность пайплайна. Теперь весь цикл от сбора данных через телеоперацию до деплоя на реальный робот собран в единый инструментарий: Isaac Lab-Arena, Isaac Teleop, Isaac ROS и Jetson Thor.
Модель весит 3 млрд параметров, доступна на GitHub и Hugging Face. Бенчмарки улучшились: DROID-F6 вырос на 61% по сравнению с N1.6.
https://developer.nvidia.com/blog/develop-humanoid-robot-policies-end-to-end-with-nvidia-isaac-gr00t/
Главное обновление — модель GR00T 1.7, первая открытая VLA-модель (vision-language-action) под лицензией Apache 2.0. Она обучена на 32 000 часов реальных демонстраций и 8 000 часов симуляций. Новый бэкбон Cosmos-Reason2-2B заменил предыдущий Eagle, добавлена поддержка экспорта в ONNX и TensorRT.
Платформа закрывает главную боль разработчиков — фрагментированность пайплайна. Теперь весь цикл от сбора данных через телеоперацию до деплоя на реальный робот собран в единый инструментарий: Isaac Lab-Arena, Isaac Teleop, Isaac ROS и Jetson Thor.
Модель весит 3 млрд параметров, доступна на GitHub и Hugging Face. Бенчмарки улучшились: DROID-F6 вырос на 61% по сравнению с N1.6.
https://developer.nvidia.com/blog/develop-humanoid-robot-policies-end-to-end-with-nvidia-isaac-gr00t/
NVIDIA Technical Blog
Develop Humanoid Robot Policies End-to-End with NVIDIA Isaac GR00T
As more teams move from humanoid robot bring-up to task-specific skill development, the need for repeatable development workflows is growing. Building humanoids remains complex…
Nvidia Tech выпустила подробное руководство по созданию AI-агента для управления промышленными авариями на базе NVIDIA Nemotron.
Суть: промышленное оборудование генерирует сотни тревог в час, и техники просто не успевают их разбирать вручную. Новый агент берёт на себя рутину — сам собирает контекст из баз данных и документации, запускает специализированные проверки сигналов и выдаёт готовую рекомендацию с описанием причины и способа устранения.
Под капотом — модели Nemotron 3 Nano и Super, GPU-ускоренные библиотеки cuDF, cuVS, cuFFT, инструменты NeMo Retriever и безопасная среда выполнения OpenShell. Всё это упаковано в один HTTP-эндпоинт.
Почему важно: агент работает за секунды, а не минуты, и освобождает инженеров для действительно сложных задач. Решение масштабируется и дообучается по мере накопления опыта.
https://developer.nvidia.com/blog/building-an-analysis-ai-agent-for-industrial-alarm-management-with-nvidia-nemotron/
Суть: промышленное оборудование генерирует сотни тревог в час, и техники просто не успевают их разбирать вручную. Новый агент берёт на себя рутину — сам собирает контекст из баз данных и документации, запускает специализированные проверки сигналов и выдаёт готовую рекомендацию с описанием причины и способа устранения.
Под капотом — модели Nemotron 3 Nano и Super, GPU-ускоренные библиотеки cuDF, cuVS, cuFFT, инструменты NeMo Retriever и безопасная среда выполнения OpenShell. Всё это упаковано в один HTTP-эндпоинт.
Почему важно: агент работает за секунды, а не минуты, и освобождает инженеров для действительно сложных задач. Решение масштабируется и дообучается по мере накопления опыта.
https://developer.nvidia.com/blog/building-an-analysis-ai-agent-for-industrial-alarm-management-with-nvidia-nemotron/
NVIDIA Technical Blog
Building an Analysis AI Agent for Industrial Alarm Management with NVIDIA Nemotron
Industrial machinery generates more alarms than technicians can triage. For each important alarm requiring follow-up, the technician pulls historical context, determines the correct procedure…
Nvidia Tech запустила AI-Native RAN платформу NVIDIA AI Aerial для сетей 5G/6G.
Суть: GPU-ускорение позволяет переосмыслить алгоритмы радиосетей вместо того, чтобы "втискивать" их в ограниченные CPU-ресурсы. Результаты впечатляют — прирост пропускной способности до 1,62x в AI-бимформинге и 1,3x в адаптации канала на основе глубокого обучения по сравнению с классическими методами.
Почему это важно: операторы потратили свыше $240 млрд на радиочастотный спектр в США за 30 лет, но реальная отдача от Massive MIMO далека от теоретической. AI-Native RAN закрывает этот разрыв прямо сейчас. SoftBank уже подтвердил 3-кратный рост спектральной эффективности в полевых испытаниях.
Для пользователей это означает меньше обрывов связи, больше ёмкости сети и лучшее качество при пиковых нагрузках. Партнёры — Nokia и SoftBank.
https://developer.nvidia.com/blog/maximize-spectral-efficiency-with-ai-native-ran-and-nvidia-ai-aerial/
Суть: GPU-ускорение позволяет переосмыслить алгоритмы радиосетей вместо того, чтобы "втискивать" их в ограниченные CPU-ресурсы. Результаты впечатляют — прирост пропускной способности до 1,62x в AI-бимформинге и 1,3x в адаптации канала на основе глубокого обучения по сравнению с классическими методами.
Почему это важно: операторы потратили свыше $240 млрд на радиочастотный спектр в США за 30 лет, но реальная отдача от Massive MIMO далека от теоретической. AI-Native RAN закрывает этот разрыв прямо сейчас. SoftBank уже подтвердил 3-кратный рост спектральной эффективности в полевых испытаниях.
Для пользователей это означает меньше обрывов связи, больше ёмкости сети и лучшее качество при пиковых нагрузках. Партнёры — Nokia и SoftBank.
https://developer.nvidia.com/blog/maximize-spectral-efficiency-with-ai-native-ran-and-nvidia-ai-aerial/
NVIDIA Technical Blog
Maximize Spectral Efficiency with AI-Native RAN and NVIDIA AI Aerial
Spectrum is one of the most valuable assets in wireless communications. Over the last 30 years, telecom operators in the US have spent more than $240B to acquire wireless spectrum. A goal of a radio…
👍1
4D-мир для роботов: глубина + оптический поток вместо пикселей
Видеомодели для роботов страдают от одной проблемы: они предсказывают будущее в 2D-пикселях, теряя геометрию и точные 3D-позиции объектов. RynnWorld-4D решает это изящно: вместо чистого RGB генерирует синхронно три потока — RGB, карту глубины и оптический поток. Из этой тройки можно напрямую восстановить 3D scene flow (куда и как движется каждая точка сцены).
Архитектура — tri-branch трансформер поверх претренированной видеодиффузии, ветки связаны через Joint Cross-Modal Attention. Данных для обучения не было — собрали Rynn4DDataset 1.0: 254 млн кадров с псевдо-аннотациями глубины и потока.
Бонус: политика RynnWorld-4D-Policy читает внутренние 4D-фичи модели напрямую (без повторного денойзинга), что даёт высокочастотное управление в реальном времени.
https://arxiv.org/abs/2607.06559
Видеомодели для роботов страдают от одной проблемы: они предсказывают будущее в 2D-пикселях, теряя геометрию и точные 3D-позиции объектов. RynnWorld-4D решает это изящно: вместо чистого RGB генерирует синхронно три потока — RGB, карту глубины и оптический поток. Из этой тройки можно напрямую восстановить 3D scene flow (куда и как движется каждая точка сцены).
Архитектура — tri-branch трансформер поверх претренированной видеодиффузии, ветки связаны через Joint Cross-Modal Attention. Данных для обучения не было — собрали Rynn4DDataset 1.0: 254 млн кадров с псевдо-аннотациями глубины и потока.
Бонус: политика RynnWorld-4D-Policy читает внутренние 4D-фичи модели напрямую (без повторного денойзинга), что даёт высокочастотное управление в реальном времени.
https://arxiv.org/abs/2607.06559
Телеоперация роботов без реального робота — это теперь реальность
Сбор данных для обучения роботов — боль: нужен реальный робот, лаборатория, постоянный сброс окружения. А что если заменить физического робота генеративной моделью?
RynnWorld-Teleop делает именно это: оператор двигает руками, система захватывает позы суставов и генерирует видео от первого лица робота — как будто тот реально выполнял движение. Одна референсная фотография сцены — и можно "телеоперировать" в любом окружении без железа.
Три ключевых трюка:
1. Depth-aware скелетное представление — цвет и размер суставов кодируют глубину в 2D
2. Двухэтапное обучение: сначала на человеческих видео, потом файнтюн на парных human-robot данных
3. Дистилляция в каузальную модель для стриминга в реальном времени (40+ FPS)
Главный результат: политики, обученные ТОЛЬКО на синтетических данных от RynnWorld-Teleop, делают zero-shot transfer на реальных роботах. Добавление цифровых демонстраций к реальным ещё больше поднимает успешность.
Сбор данных для обучения роботов — боль: нужен реальный робот, лаборатория, постоянный сброс окружения. А что если заменить физического робота генеративной моделью?
RynnWorld-Teleop делает именно это: оператор двигает руками, система захватывает позы суставов и генерирует видео от первого лица робота — как будто тот реально выполнял движение. Одна референсная фотография сцены — и можно "телеоперировать" в любом окружении без железа.
Три ключевых трюка:
1. Depth-aware скелетное представление — цвет и размер суставов кодируют глубину в 2D
2. Двухэтапное обучение: сначала на человеческих видео, потом файнтюн на парных human-robot данных
3. Дистилляция в каузальную модель для стриминга в реальном времени (40+ FPS)
Главный результат: политики, обученные ТОЛЬКО на синтетических данных от RynnWorld-Teleop, делают zero-shot transfer на реальных роботах. Добавление цифровых демонстраций к реальным ещё больше поднимает успешность.
Бесконечный контекст без полного внимания (by Tencent Hunyuan)
Главная проблема sparse attention — неточный выбор нужных чанков. Существующие методы суммируют чанки средним пулингом ключей, но это математически не совпадает с тем, что нужно (LogSumExp), и важные чанки теряются.
HiLS-Attention решает это двумя шагами: добавляет к каждому чанку специальный landmark-токен как сжатый ключ, а выбор чанков строит через иерархический softmax — сначала распределяет массу внимания по чанкам, потом внутри чанка. Ключевое: суррогатные оценки чанков участвуют в прямом проходе, поэтому градиенты LM-лосса напрямую обучают chunk summaries.
Результаты впечатляют: модель 345M, обученная на 8K контексте, экстраполирует до 4M токенов с точностью >90% на needle-in-a-haystack. На 7B достаточно 50B токенов дообучения, чтобы конвертировать full-attention модель и обогнать её на LongBench.
https://arxiv.org/abs/2607.02980
Главная проблема sparse attention — неточный выбор нужных чанков. Существующие методы суммируют чанки средним пулингом ключей, но это математически не совпадает с тем, что нужно (LogSumExp), и важные чанки теряются.
HiLS-Attention решает это двумя шагами: добавляет к каждому чанку специальный landmark-токен как сжатый ключ, а выбор чанков строит через иерархический softmax — сначала распределяет массу внимания по чанкам, потом внутри чанка. Ключевое: суррогатные оценки чанков участвуют в прямом проходе, поэтому градиенты LM-лосса напрямую обучают chunk summaries.
Результаты впечатляют: модель 345M, обученная на 8K контексте, экстраполирует до 4M токенов с точностью >90% на needle-in-a-haystack. На 7B достаточно 50B токенов дообучения, чтобы конвертировать full-attention модель и обогнать её на LongBench.
https://arxiv.org/abs/2607.02980
👍1
Microsoft Research представила Flint — язык визуализации, созданный специально для работы с AI-агентами.
Проблема была простой: чтобы получить красивый график в Vega-Lite или ECharts, нужно писать длинные и хрупкие спецификации. LLM-агенты с этим справляются плохо — ошибаются в деталях, код сложно проверить и исправить.
Flint решает это через семантические типы данных. Агент указывает, что поле — это «дата» или «прибыль», а компилятор сам выбирает масштаб, цвета, отступы и форматирование. Одна компактная спецификация компилируется сразу в Vega-Lite, ECharts или Chart.js.
В тестах Flint обошёл прямую генерацию Vega-Lite по оценкам GPT-моделей. Уже используется в проекте Data Formulator.
Для интеграции с агентами выпущен MCP-сервер flint-chart-mcp. Проект открытый: github.com/microsoft/flint-chart
https://www.microsoft.com/en-us/research/blog/flint-a-visualization-language-for-the-ai-era/
Проблема была простой: чтобы получить красивый график в Vega-Lite или ECharts, нужно писать длинные и хрупкие спецификации. LLM-агенты с этим справляются плохо — ошибаются в деталях, код сложно проверить и исправить.
Flint решает это через семантические типы данных. Агент указывает, что поле — это «дата» или «прибыль», а компилятор сам выбирает масштаб, цвета, отступы и форматирование. Одна компактная спецификация компилируется сразу в Vega-Lite, ECharts или Chart.js.
В тестах Flint обошёл прямую генерацию Vega-Lite по оценкам GPT-моделей. Уже используется в проекте Data Formulator.
Для интеграции с агентами выпущен MCP-сервер flint-chart-mcp. Проект открытый: github.com/microsoft/flint-chart
https://www.microsoft.com/en-us/research/blog/flint-a-visualization-language-for-the-ai-era/
GitHub
GitHub - microsoft/flint-chart: 🪄 Flint is a visualization language that lets AI agents reliably create expressive, good-looking…
🪄 Flint is a visualization language that lets AI agents reliably create expressive, good-looking charts from simple, human-editable chart specs. - microsoft/flint-chart
Nvidia: GPU-ускоренный Presto на GB200 NVL72 бьёт CPU-кластеры в 8 раз
Nvidia опубликовала результаты тестов аналитической системы Presto, запущенной на GPU-серверах DGX B200 и GB200 NVL72. Итог впечатляет: один узел с 8 GPU обходит кластер из 8-10 CPU-серверов по скорости в 8 раз.
Что под капотом: библиотека cuDF для выполнения SQL-запросов на GPU, NVLink 5.0 с пропускной способностью 1800 ГБ/с для связи между GPU, и GPUDirect Storage — данные идут прямо из хранилища IBM Storage Scale в память GPU, минуя CPU.
На наборах данных от 1 до 30 ТБ оптимизация ввода-вывода и коммуникаций дала ещё +64% к скорости запросов.
Для пользователей это означает: меньше железа, меньше задержек, быстрее итерации — особенно актуально для AI-агентов, которым нужны оперативные аналитические ответы.
https://developer.nvidia.com/blog/running-low-latency-analytical-workloads-with-gpu-accelerated-presto-on-nvidia-gb200-nvl72/
Nvidia опубликовала результаты тестов аналитической системы Presto, запущенной на GPU-серверах DGX B200 и GB200 NVL72. Итог впечатляет: один узел с 8 GPU обходит кластер из 8-10 CPU-серверов по скорости в 8 раз.
Что под капотом: библиотека cuDF для выполнения SQL-запросов на GPU, NVLink 5.0 с пропускной способностью 1800 ГБ/с для связи между GPU, и GPUDirect Storage — данные идут прямо из хранилища IBM Storage Scale в память GPU, минуя CPU.
На наборах данных от 1 до 30 ТБ оптимизация ввода-вывода и коммуникаций дала ещё +64% к скорости запросов.
Для пользователей это означает: меньше железа, меньше задержек, быстрее итерации — особенно актуально для AI-агентов, которым нужны оперативные аналитические ответы.
https://developer.nvidia.com/blog/running-low-latency-analytical-workloads-with-gpu-accelerated-presto-on-nvidia-gb200-nvl72/
NVIDIA Technical Blog
Running Low-Latency Analytical Workloads with GPU-Accelerated Presto on NVIDIA GB200 NVL72
Presto is an open source, distributed SQL engine for running fast, interactive queries on very large datasets. On NVIDIA GPUs, Presto delivers peak performance for analytical query workloads and…
Nvidia Tech — как прокачать открытую модель без дообучения
Nvidia опубликовала туториал по «харнес-инжинирингу» для Nemotron 3 Ultra в связке с LangChain Deep Agents. Суть: вместо дорогостоящего файнтюнинга можно настроить поведение агента через профили харнеса — промпты, middleware и кастомные инструкции.
Пример из практики: модель проваливала тест на чтение большого файла — останавливалась на первой странице и давала неверный ответ. Разработчики добавили один middleware-класс, который подсказывает модели, что файл не закончился и нужно листать дальше. Результат: все 3 падавших теста прошли, общий бенчмарк вырос с 94 до 96 из 127.
Важно: такой подход позволяет open-source моделям приближаться по точности к проприетарным фронтирным моделям без затрат на обучение. Процесс итеративный и поддаётся автоматизации через LangSmith.
https://developer.nvidia.com/blog/create-a-langchain-deep-agents-harness-profile-for-nvidia-nemotron-3-ultra-to-improve-performance/
Nvidia опубликовала туториал по «харнес-инжинирингу» для Nemotron 3 Ultra в связке с LangChain Deep Agents. Суть: вместо дорогостоящего файнтюнинга можно настроить поведение агента через профили харнеса — промпты, middleware и кастомные инструкции.
Пример из практики: модель проваливала тест на чтение большого файла — останавливалась на первой странице и давала неверный ответ. Разработчики добавили один middleware-класс, который подсказывает модели, что файл не закончился и нужно листать дальше. Результат: все 3 падавших теста прошли, общий бенчмарк вырос с 94 до 96 из 127.
Важно: такой подход позволяет open-source моделям приближаться по точности к проприетарным фронтирным моделям без затрат на обучение. Процесс итеративный и поддаётся автоматизации через LangSmith.
https://developer.nvidia.com/blog/create-a-langchain-deep-agents-harness-profile-for-nvidia-nemotron-3-ultra-to-improve-performance/
NVIDIA Technical Blog
Create a LangChain Deep Agents Harness Profile for NVIDIA Nemotron 3 Ultra to Improve Performance
Agentic systems often face a trade-off between accuracy and cost. The highest-performing proprietary frontier models and harnesses provide top accuracy but are expensive. Fine-tuning offers one way to…
Vidu S1: видеогенерация в реальном времени с голосовым управлением (by Tsinghua University)
Sora, Wan и другие модели генерируют видео по принципу "жди минуты, получи результат". Нельзя вмешаться в процесс, нельзя говорить голосом — только ждать.
Vidu S1 меняет парадигму: это потоковая авторегрессионная модель, которая генерирует видео прямо во время взаимодействия с пользователем. Ключевые фишки:
1. Голос как управляющий сигнал — речь пользователя напрямую направляет, что генерировать дальше.
2. Бесконечный стрим без деградации — специальные механизмы борются с накоплением ошибок, которые обычно приводят к "распаду" видео.
3. Реальное время — 42 FPS при разрешении 540p на обычных GPU благодаря TurboDiffusion и TurboServe.
На бенчмарках Vidu-StreamBench и HDTF модель показывает лучшие результаты по синхронизации губ, качеству и консистентности.
https://arxiv.org/abs/2607.03118
Sora, Wan и другие модели генерируют видео по принципу "жди минуты, получи результат". Нельзя вмешаться в процесс, нельзя говорить голосом — только ждать.
Vidu S1 меняет парадигму: это потоковая авторегрессионная модель, которая генерирует видео прямо во время взаимодействия с пользователем. Ключевые фишки:
1. Голос как управляющий сигнал — речь пользователя напрямую направляет, что генерировать дальше.
2. Бесконечный стрим без деградации — специальные механизмы борются с накоплением ошибок, которые обычно приводят к "распаду" видео.
3. Реальное время — 42 FPS при разрешении 540p на обычных GPU благодаря TurboDiffusion и TurboServe.
На бенчмарках Vidu-StreamBench и HDTF модель показывает лучшие результаты по синхронизации губ, качеству и консистентности.
https://arxiv.org/abs/2607.03118
ИИ, который объясняет ПОЧЕМУ структура определяет свойства, а не просто предсказывает ответ (by Shanghai AI Lab)
SciReasoner — мультимодальная модель, которая работает с белками, молекулами и кристаллами как с "родными" объектами, а не переводит их в текст. Ключевая идея: структурные токены — это не описания, а единицы доказательств, на которые модель ссылается в цепочке рассуждений.
Как это работает: специальные токенизаторы (ConfSeq для молекул, Foldseek для белков, SLICES для кристаллов) кодируют геометрию, топологию и симметрию. LLM-бэкбон (Qwen3) генерирует рассуждения, которые явно ссылаются на конкретные фрагменты структуры.
Результаты на 86 бенчмарках: SOTA на 67 задачах. На ретросинтезе точность выросла с 0.63 до 0.72, на предсказании функций белков-сирот Fmax с 0.42 до 0.55.
https://arxiv.org/abs/2607.07708
SciReasoner — мультимодальная модель, которая работает с белками, молекулами и кристаллами как с "родными" объектами, а не переводит их в текст. Ключевая идея: структурные токены — это не описания, а единицы доказательств, на которые модель ссылается в цепочке рассуждений.
Как это работает: специальные токенизаторы (ConfSeq для молекул, Foldseek для белков, SLICES для кристаллов) кодируют геометрию, топологию и симметрию. LLM-бэкбон (Qwen3) генерирует рассуждения, которые явно ссылаются на конкретные фрагменты структуры.
Результаты на 86 бенчмарках: SOTA на 67 задачах. На ретросинтезе точность выросла с 0.63 до 0.72, на предсказании функций белков-сирот Fmax с 0.42 до 0.55.
https://arxiv.org/abs/2607.07708
👍1
LingBot-Video: первая open-source MoE-модель для видео с физическим здравым смыслом
Большинство видеомоделей умеют делать красивые ролики, но не понимают физику. LingBot-Video пытается это исправить сразу тремя ходами.
Архитектура: вместо dense-трансформера — Sparse Mixture-of-Experts поверх DiT. Каждый токен активирует только часть экспертов, что даёт масштабируемость без роста вычислительных затрат. Единый single-stream обрабатывает T2I, T2V и I2V в одном пайплайне без раздельных энкодеров.
Данные: интернет-видео смешивается с роботизированными датасетами (манипуляции, навигация, egocentric). Специальный data profiling engine фильтрует и балансирует источники.
Обучение: мультидимензиональная reward-система добавляет сигналы физической правдоподобности и успешности задачи поверх стандартных перцептивных метрик.
Идея простая: красивое видео и физически корректное видео — разные задачи, и архитектура должна это учитывать.
https://arxiv.org/abs/2607.07675
Большинство видеомоделей умеют делать красивые ролики, но не понимают физику. LingBot-Video пытается это исправить сразу тремя ходами.
Архитектура: вместо dense-трансформера — Sparse Mixture-of-Experts поверх DiT. Каждый токен активирует только часть экспертов, что даёт масштабируемость без роста вычислительных затрат. Единый single-stream обрабатывает T2I, T2V и I2V в одном пайплайне без раздельных энкодеров.
Данные: интернет-видео смешивается с роботизированными датасетами (манипуляции, навигация, egocentric). Специальный data profiling engine фильтрует и балансирует источники.
Обучение: мультидимензиональная reward-система добавляет сигналы физической правдоподобности и успешности задачи поверх стандартных перцептивных метрик.
Идея простая: красивое видео и физически корректное видео — разные задачи, и архитектура должна это учитывать.
https://arxiv.org/abs/2607.07675