Редактируем текст прямо в картинке — теперь по-арабски и хинди тоже
Современные диффузионные модели умеют переставлять объекты и менять стиль, но стоит попросить их поменять текст внутри изображения — особенно на нелатинских языках — и начинается каша из смазанных букв и галлюцинаций.
WeEdit решает это тремя ходами: сначала VLM предсказывает позицию и содержание нового текста и рендерит glyph-изображение как пространственный prior для диффузии (SFT-стадия). Затем RL-стадия с многокомпонентной наградой выравнивает результат под читаемость, точность и сохранность фона. Всё это обучено на автоматически синтезированном датасете через HTML-пайплайн с поддержкой 15 языков.
Итог: среди open-source моделей — лучший результат, обходят большинство проприетарных, уступая только Gemini-3-Pro-Image.
https://arxiv.org/abs/2603.11593
Современные диффузионные модели умеют переставлять объекты и менять стиль, но стоит попросить их поменять текст внутри изображения — особенно на нелатинских языках — и начинается каша из смазанных букв и галлюцинаций.
WeEdit решает это тремя ходами: сначала VLM предсказывает позицию и содержание нового текста и рендерит glyph-изображение как пространственный prior для диффузии (SFT-стадия). Затем RL-стадия с многокомпонентной наградой выравнивает результат под читаемость, точность и сохранность фона. Всё это обучено на автоматически синтезированном датасете через HTML-пайплайн с поддержкой 15 языков.
Итог: среди open-source моделей — лучший результат, обходят большинство проприетарных, уступая только Gemini-3-Pro-Image.
https://arxiv.org/abs/2603.11593
Могут ли AI-редакторы изображений решать задачи уровня PhD?
Большинство бенчмарков для image editing проверяют, насколько точно модель следует простым инструкциям типа "сделай небо розовым". Авторы решили поднять планку и создали GRADE — первый бенчмарк, где модели нужно редактировать научные изображения, требующие реальных дисциплинарных знаний.
520 задач из 10 областей: математика, химия, физика, CS, биология, музыка, экономика и др. Примеры: нарисовать кратчайший путь в графе, добавить энантиомер молекулы, отметить новое рыночное равновесие на графике спроса.
Результаты жёсткие: лучшая open-source модель набрала всего 2.7%, тогда как лучшая закрытая — 46.2%. Огромный разрыв показывает, что дисциплинарное рассуждение при редактировании изображений — нерешённая задача даже для топовых моделей.
https://arxiv.org/abs/2603.12264
Большинство бенчмарков для image editing проверяют, насколько точно модель следует простым инструкциям типа "сделай небо розовым". Авторы решили поднять планку и создали GRADE — первый бенчмарк, где модели нужно редактировать научные изображения, требующие реальных дисциплинарных знаний.
520 задач из 10 областей: математика, химия, физика, CS, биология, музыка, экономика и др. Примеры: нарисовать кратчайший путь в графе, добавить энантиомер молекулы, отметить новое рыночное равновесие на графике спроса.
Результаты жёсткие: лучшая open-source модель набрала всего 2.7%, тогда как лучшая закрытая — 46.2%. Огромный разрыв показывает, что дисциплинарное рассуждение при редактировании изображений — нерешённая задача даже для топовых моделей.
https://arxiv.org/abs/2603.12264
Nvidia выпустила AI Cluster Runtime — открытый инструмент для стандартизации Kubernetes-кластеров под GPU-нагрузки.
Проблема знакома каждому ML-инженеру: настроил один кластер — потратил дни, чтобы повторить на другом. Обновил компонент — сломалось что-то ещё. Переехал в другое облако — начинай заново.
AI Cluster Runtime решает это через «рецепты» — версионированные YAML-файлы с точными версиями компонентов, порядком деплоя и проверенными настройками для конкретного железа (H100, Blackwell) и окружения (EKS, Ubuntu).
Что умеет инструмент: снять снапшот текущего кластера, сгенерировать рецепт под нужное окружение, провалидировать деплой по стандартам CNCF и собрать готовые Helm-чарты.
Проект открытый, принимает контрибьюции от облачных провайдеров и команд. Доступен на GitHub как альфа-релиз.
https://developer.nvidia.com/blog/validate-kubernetes-for-gpu-infrastructure-with-layered-reproducible-recipes/
Проблема знакома каждому ML-инженеру: настроил один кластер — потратил дни, чтобы повторить на другом. Обновил компонент — сломалось что-то ещё. Переехал в другое облако — начинай заново.
AI Cluster Runtime решает это через «рецепты» — версионированные YAML-файлы с точными версиями компонентов, порядком деплоя и проверенными настройками для конкретного железа (H100, Blackwell) и окружения (EKS, Ubuntu).
Что умеет инструмент: снять снапшот текущего кластера, сгенерировать рецепт под нужное окружение, провалидировать деплой по стандартам CNCF и собрать готовые Helm-чарты.
Проект открытый, принимает контрибьюции от облачных провайдеров и команд. Доступен на GitHub как альфа-релиз.
https://developer.nvidia.com/blog/validate-kubernetes-for-gpu-infrastructure-with-layered-reproducible-recipes/
NVIDIA Technical Blog
Validate Kubernetes for GPU Infrastructure with Layered, Reproducible Recipes
Every AI cluster running on Kubernetes requires a full software stack that works together, from low-level driver and kernel settings to high-level operator and workload configurations.
Apple ML выпустила mAceReason-Math — датасет для многоязычного обучения математических моделей через RLVR.
Проблема была простой: почти все датасеты для обучения ИИ решению математических задач — на английском. Существующие многоязычные наборы данных либо устарели, либо слишком простые для современных моделей.
Apple ML перевела сложные задачи из корпуса AceReason-Math на 14 языков, тщательно почистила переводы и собрала более 10 000 примеров на каждый язык. Датасет открыт для исследователей.
Почему это важно: RLVR — один из ключевых методов прокачки LLM в математике и логике. Теперь его можно применять не только к англоязычным моделям. Это шаг к тому, чтобы сильные математические рассуждения работали на русском, китайском и других языках так же хорошо, как на английском.
https://machinelearning.apple.com/research/macereason-math
Проблема была простой: почти все датасеты для обучения ИИ решению математических задач — на английском. Существующие многоязычные наборы данных либо устарели, либо слишком простые для современных моделей.
Apple ML перевела сложные задачи из корпуса AceReason-Math на 14 языков, тщательно почистила переводы и собрала более 10 000 примеров на каждый язык. Датасет открыт для исследователей.
Почему это важно: RLVR — один из ключевых методов прокачки LLM в математике и логике. Теперь его можно применять не только к англоязычным моделям. Это шаг к тому, чтобы сильные математические рассуждения работали на русском, китайском и других языках так же хорошо, как на английском.
https://machinelearning.apple.com/research/macereason-math
Apple Machine Learning Research
mAceReason-Math: A Dataset of High-Quality Multilingual Math Problems Ready For RLVR
Reinforcement Learning with Verifiable Rewards (RLVR) has been successfully applied to significantly boost the capabilities of pretrained…
PyTorch: MXFP8 ускоряет обучение MoE-моделей на 30%
Команда PyTorch показала впечатляющий результат: обучение Llama4 Scout с использованием MXFP8 стало на 30,2% быстрее по сравнению с BF16 — при этом качество сходимости не пострадало.
Эксперименты проводились на кластере из 256 GPU NVIDIA GB200. Скорость выросла с 5317 до 6921 токенов/сек. Ключевой инструмент — новый примитив _to_mxfp8_then_scaled_grouped_mm в TorchAO, который работает в 1,8 раза быстрее BF16 для матричных умножений в MoE-слоях.
Почему это важно: MoE-архитектуры (как в Llama4) активируют только часть параметров, и оптимизация именно этих вычислений даёт максимальный эффект. MXFP8 позволяет вдвое увеличить пропускную способность тензорных ядер.
Для воспроизведения достаточно TorchTitan + TorchAO — конфиги и документация уже доступны.
https://pytorch.org/blog/mxfp8-training-for-moes-1-3x-training-speedup-vs-bf16-for-llama4-scout-on-gb200-cluster-using-torchao-and-torchtitan/
Команда PyTorch показала впечатляющий результат: обучение Llama4 Scout с использованием MXFP8 стало на 30,2% быстрее по сравнению с BF16 — при этом качество сходимости не пострадало.
Эксперименты проводились на кластере из 256 GPU NVIDIA GB200. Скорость выросла с 5317 до 6921 токенов/сек. Ключевой инструмент — новый примитив _to_mxfp8_then_scaled_grouped_mm в TorchAO, который работает в 1,8 раза быстрее BF16 для матричных умножений в MoE-слоях.
Почему это важно: MoE-архитектуры (как в Llama4) активируют только часть параметров, и оптимизация именно этих вычислений даёт максимальный эффект. MXFP8 позволяет вдвое увеличить пропускную способность тензорных ядер.
Для воспроизведения достаточно TorchTitan + TorchAO — конфиги и документация уже доступны.
https://pytorch.org/blog/mxfp8-training-for-moes-1-3x-training-speedup-vs-bf16-for-llama4-scout-on-gb200-cluster-using-torchao-and-torchtitan/
Демис Хассабис (DeepMind) поделился очередным крутым применением AlphaFold — их революционной системы предсказания структуры белков. По его словам, это лишь начало эпохи "цифровой биологии".
AlphaFold уже перевернул науку, предсказав структуры сотен миллионов белков — задачу, над которой биологи бились десятилетиями. Теперь исследователи по всему миру используют эти данные для разработки лекарств, изучения болезней и создания новых материалов. Хассабис явно намекает: самое интересное впереди.
https://x.com/demishassabis/status/2033010713413754987
AlphaFold уже перевернул науку, предсказав структуры сотен миллионов белков — задачу, над которой биологи бились десятилетиями. Теперь исследователи по всему миру используют эти данные для разработки лекарств, изучения болезней и создания новых материалов. Хассабис явно намекает: самое интересное впереди.
https://x.com/demishassabis/status/2033010713413754987
X (formerly Twitter)
Demis Hassabis (@demishassabis) on X
Cool use case of AlphaFold, this is just the beginning of digital biology!
Создать 45 тысяч сред для обучения SWE-агентов? Дорого, но окупается.
Главная боль при обучении агентов для автоматического решения GitHub-issue — нехватка качественных исполняемых сред. Их создание стоит огромных денег и вычислительных ресурсов.
Авторы выпустили OpenSWE: 45 320 Docker-окружений из 12.8k репозиториев, потратив $891K на сборку и ещё $576K на отбор траекторий. Всё полностью открыто: Dockerfile'ы, скрипты оценки, пайплайн на 64 нодах.
Ключевая идея — не просто масштаб, а difficulty-aware фильтрация. Среды бывают бесполезны по двум причинам: PR не решает issue (misalignment) или issue напрямую подсказывает решение (triviality). Авторы отсеивают и то, и другое, оставляя ~9k сред с нужным уровнем сложности.
Результат: модели на Qwen2.5 достигают 62.4% (32B) и 66.0% (72B) на SWE-Bench Verified — SOTA среди SFT-методов. Бонус: +12 пунктов на математических бенчмарках без деградации.
https://arxiv.org/abs/2603.13023
Главная боль при обучении агентов для автоматического решения GitHub-issue — нехватка качественных исполняемых сред. Их создание стоит огромных денег и вычислительных ресурсов.
Авторы выпустили OpenSWE: 45 320 Docker-окружений из 12.8k репозиториев, потратив $891K на сборку и ещё $576K на отбор траекторий. Всё полностью открыто: Dockerfile'ы, скрипты оценки, пайплайн на 64 нодах.
Ключевая идея — не просто масштаб, а difficulty-aware фильтрация. Среды бывают бесполезны по двум причинам: PR не решает issue (misalignment) или issue напрямую подсказывает решение (triviality). Авторы отсеивают и то, и другое, оставляя ~9k сред с нужным уровнем сложности.
Результат: модели на Qwen2.5 достигают 62.4% (32B) и 66.0% (72B) на SWE-Bench Verified — SOTA среди SFT-методов. Бонус: +12 пунктов на математических бенчмарках без деградации.
https://arxiv.org/abs/2603.13023
Как понять, умеет ли embedding-модель по-настоящему "помнить"?
Существующие бенчмарки для эмбеддингов (MTEB и подобные) тестируют поиск по хорошо структурированным текстам. Но в агентных системах и AI-ассистентах всё иначе: нужно вспоминать фрагментарные, контекстно-зависимые воспоминания из далёкого прошлого.
Авторы из KaLM-Embedding предложили LMEB — новый бенчмарк специально для long-horizon memory retrieval. Он охватывает 4 типа памяти: эпизодическую (события с временными метками), диалоговую (многоходовые разговоры), семантическую (факты и знания) и процедурную (навыки и последовательности действий). Итого: 22 датасета, 193 задачи.
Ключевые находки после тестирования 15 моделей: больший размер модели не гарантирует лучший результат, а LMEB и MTEB практически ортогональны (корреляция близка к нулю) — то есть хорошо искать по пассажам и хорошо "помнить" это разные навыки.
https://arxiv.org/abs/2603.12572
Существующие бенчмарки для эмбеддингов (MTEB и подобные) тестируют поиск по хорошо структурированным текстам. Но в агентных системах и AI-ассистентах всё иначе: нужно вспоминать фрагментарные, контекстно-зависимые воспоминания из далёкого прошлого.
Авторы из KaLM-Embedding предложили LMEB — новый бенчмарк специально для long-horizon memory retrieval. Он охватывает 4 типа памяти: эпизодическую (события с временными метками), диалоговую (многоходовые разговоры), семантическую (факты и знания) и процедурную (навыки и последовательности действий). Итого: 22 датасета, 193 задачи.
Ключевые находки после тестирования 15 моделей: больший размер модели не гарантирует лучший результат, а LMEB и MTEB практически ортогональны (корреляция близка к нулю) — то есть хорошо искать по пассажам и хорошо "помнить" это разные навыки.
https://arxiv.org/abs/2603.12572
Как рисовать картину: сначала набросок, потом детали — и это работает в мультимодальных LLM
Главная проблема объединённых моделей (понимание + генерация изображений) — конфликт между семантическими фичами для понимания и детализированными латентами для генерации. Одно мешает другому.
CHEERS решает это через явное разделение: сначала LLM работает только с семантическими токенами (SigLIP2 поверх VAE-латентов), а высокочастотные детали вводятся позже, на этапе генерации через cascaded flow matching head с двумя стадиями.
Стадия 1: генерируем низкочастотную семантику на малом разрешении. Стадия 2: адаптивно подмешиваем высокочастотные детали через gating-сеть. Причём интенсивность инъекции деталей сама регулируется в зависимости от шага диффузии — без явного supervision.
Бонус: 4x сжатие токенов через Pixel-Unshuffle. Модель обгоняет конкурентов при 20% от их вычислительных затрат.
https://arxiv.org/abs/2603.12793
Главная проблема объединённых моделей (понимание + генерация изображений) — конфликт между семантическими фичами для понимания и детализированными латентами для генерации. Одно мешает другому.
CHEERS решает это через явное разделение: сначала LLM работает только с семантическими токенами (SigLIP2 поверх VAE-латентов), а высокочастотные детали вводятся позже, на этапе генерации через cascaded flow matching head с двумя стадиями.
Стадия 1: генерируем низкочастотную семантику на малом разрешении. Стадия 2: адаптивно подмешиваем высокочастотные детали через gating-сеть. Причём интенсивность инъекции деталей сама регулируется в зависимости от шага диффузии — без явного supervision.
Бонус: 4x сжатие токенов через Pixel-Unshuffle. Модель обгоняет конкурентов при 20% от их вычислительных затрат.
https://arxiv.org/abs/2603.12793
CREATE: тест на ассоциативную креативность LLM (by NYU)
Насколько креативны языковые модели? Не в смысле "напиши стихотворение", а по-настоящему: могут ли они находить неочевидные, но меткие связи между реальными концептами?
Авторы из NYU предложили бенчмарк CREATE. Задача: найти нетривиальные пути между сущностями через граф знаний. Например, как Дакота Джонсон связана с актёрами фэнтези? Через Криса Эванса (снимались вместе) или через Антонио Бандераса (её отчим, снимался в Шреке). Оба пути верны, но второй — куда интереснее.
Метрика оценивает сразу качество и разнообразность найденных путей. Frontier-модели справляются неплохо, но проваливаются на distinctive решениях — тех, что реально выбиваются из общей массы ответов.
Главный сюрприз: больше токенов на рассуждение ≠ больше креативности. Модели просто топчутся в одном углу концептуального пространства.
https://arxiv.org/abs/2603.09970
Насколько креативны языковые модели? Не в смысле "напиши стихотворение", а по-настоящему: могут ли они находить неочевидные, но меткие связи между реальными концептами?
Авторы из NYU предложили бенчмарк CREATE. Задача: найти нетривиальные пути между сущностями через граф знаний. Например, как Дакота Джонсон связана с актёрами фэнтези? Через Криса Эванса (снимались вместе) или через Антонио Бандераса (её отчим, снимался в Шреке). Оба пути верны, но второй — куда интереснее.
Метрика оценивает сразу качество и разнообразность найденных путей. Frontier-модели справляются неплохо, но проваливаются на distinctive решениях — тех, что реально выбиваются из общей массы ответов.
Главный сюрприз: больше токенов на рассуждение ≠ больше креативности. Модели просто топчутся в одном углу концептуального пространства.
https://arxiv.org/abs/2603.09970
Зачем тратить одинаковое число токенов на скучные и динамичные кадры?
EVATok — адаптивный видеотокенизатор, который умно распределяет токены по временным блокам видео: статичным и повторяющимся сценам — меньше токенов, динамичным и сложным — больше.
Как это работает? Четыре стадии:
1. Обучается proxy-токенизатор, способный реконструировать видео при любом распределении токенов
2. С его помощью для каждого видео ищется оптимальное распределение (максимум proxy reward — метрики quality-cost)
3. Обучается лёгкий роутер, который быстро предсказывает оптимальное распределение
4. Финальный адаптивный токенизатор обучается уже с предсказаниями роутера
Результат: при сопоставимом или лучшем качестве — экономия токенов от 24% и выше по сравнению с фиксированными токенизаторами. Подход от HKU, работает поверх Q-Former архитектуры.
https://arxiv.org/abs/2603.12267
EVATok — адаптивный видеотокенизатор, который умно распределяет токены по временным блокам видео: статичным и повторяющимся сценам — меньше токенов, динамичным и сложным — больше.
Как это работает? Четыре стадии:
1. Обучается proxy-токенизатор, способный реконструировать видео при любом распределении токенов
2. С его помощью для каждого видео ищется оптимальное распределение (максимум proxy reward — метрики quality-cost)
3. Обучается лёгкий роутер, который быстро предсказывает оптимальное распределение
4. Финальный адаптивный токенизатор обучается уже с предсказаниями роутера
Результат: при сопоставимом или лучшем качестве — экономия токенов от 24% и выше по сравнению с фиксированными токенизаторами. Подход от HKU, работает поверх Q-Former архитектуры.
https://arxiv.org/abs/2603.12267
PyTorch выпустил ExecuTorch для голосовых агентов на устройствах
PyTorch представил расширение ExecuTorch — платформы для запуска голосовых AI-моделей прямо на устройстве, без облака и Python-рантайма.
Что внутри: поддержка пяти моделей — Voxtral Realtime (стриминг-транскрипция, 4B), Parakeet TDT (офлайн-распознавание), Sortformer (диаризация), Whisper и Silero VAD. Работает на CPU, GPU и NPU под Linux, macOS, Windows, Android и iOS.
Главная фишка — модели экспортируются напрямую из PyTorch-кода без переписывания на C++. Один экспорт — любой бэкенд: XNNPACK, Metal, CUDA или Qualcomm. Int4-квантизация сжимает модели в 3-4 раза.
LM Studio уже использует ExecuTorch в продакшне для голосовой транскрипции.
Для разработчиков доступны готовые C++ application layers и мобильные приложения как стартовая точка.
https://pytorch.org/blog/building-voice-agents-with-executorch-a-cross-platform-foundation-for-on-device-audio/
PyTorch представил расширение ExecuTorch — платформы для запуска голосовых AI-моделей прямо на устройстве, без облака и Python-рантайма.
Что внутри: поддержка пяти моделей — Voxtral Realtime (стриминг-транскрипция, 4B), Parakeet TDT (офлайн-распознавание), Sortformer (диаризация), Whisper и Silero VAD. Работает на CPU, GPU и NPU под Linux, macOS, Windows, Android и iOS.
Главная фишка — модели экспортируются напрямую из PyTorch-кода без переписывания на C++. Один экспорт — любой бэкенд: XNNPACK, Metal, CUDA или Qualcomm. Int4-квантизация сжимает модели в 3-4 раза.
LM Studio уже использует ExecuTorch в продакшне для голосовой транскрипции.
Для разработчиков доступны готовые C++ application layers и мобильные приложения как стартовая точка.
https://pytorch.org/blog/building-voice-agents-with-executorch-a-cross-platform-foundation-for-on-device-audio/
Первый полностью открытый поисковый агент от академиков, который бьёт корпоративные модели
Год назад топовые LLM набирали меньше 10 баллов на BrowseComp. Сегодня — уже десятки агентов переваливают за 50. Но весь прогресс закрыт: Google, OpenAI, Kimi молчат о своих данных. Академики из OpenSeeker решили сломать эту монополию.
Ключевые идеи:
1. QA-синтез через веб-граф: берут случайные страницы, строят граф связей, извлекают сущности и намеренно "замутняют" их — получают сложные многошаговые вопросы, которые нельзя решить поверхностным паттерн-матчингом.
2. Denoised trajectory synthesis: при генерации траекторий вспомогательный LLM "чистит" историю инструментов для учителя, но модель обучается на сырых, зашумлённых данных — учится сама фильтровать шум.
Результат: Qwen3-30B с SFT на 11.7k примерах набирает 29.5% на BrowseComp и 48.4% на BrowseComp-ZH — обходя Alibaba Tongyi DeepResearch (46.7%), обученный с RL. Всё открыто: данные, траектории, веса.
https://arxiv.org/abs/2603.15594
Год назад топовые LLM набирали меньше 10 баллов на BrowseComp. Сегодня — уже десятки агентов переваливают за 50. Но весь прогресс закрыт: Google, OpenAI, Kimi молчат о своих данных. Академики из OpenSeeker решили сломать эту монополию.
Ключевые идеи:
1. QA-синтез через веб-граф: берут случайные страницы, строят граф связей, извлекают сущности и намеренно "замутняют" их — получают сложные многошаговые вопросы, которые нельзя решить поверхностным паттерн-матчингом.
2. Denoised trajectory synthesis: при генерации траекторий вспомогательный LLM "чистит" историю инструментов для учителя, но модель обучается на сырых, зашумлённых данных — учится сама фильтровать шум.
Результат: Qwen3-30B с SFT на 11.7k примерах набирает 29.5% на BrowseComp и 48.4% на BrowseComp-ZH — обходя Alibaba Tongyi DeepResearch (46.7%), обученный с RL. Всё открыто: данные, траектории, веса.
https://arxiv.org/abs/2603.15594
World model для реального города — это уже не фантастика (by NAVER AI Lab)
Что если бы симулятор мира работал не в воображаемом пространстве, а в реальном городе? NAVER AI Lab сделали именно это: Seoul World Model (SWM) генерирует видео на километры вперёд, привязанное к реальной карте Сеула.
Ключевая идея — retrieval-augmented generation: по GPS-координатам и траектории камеры модель достаёт реальные стрит-вью фотографии и использует их как визуальные якоря при генерации.
Три главные проблемы и решения:
1. Временное рассогласование → cross-temporal pairing (референсы из другого времени, чтобы модель не копировала случайных пешеходов)
2. Редкие кадры стрит-вью → интерполяция через видеодиффузию между ключевыми кадрами
3. Дрейф при долгой генерации → virtual lookahead sink: вставка будущего референса как "виртуальной цели" впереди по маршруту
Модель обобщается на Пусан и Энн-Арбор без дообучения. Можно попросить: "поджечь машину" или "добавить Годзиллу между небоскрёбами".
https://arxiv.org/abs/2603.15583
Что если бы симулятор мира работал не в воображаемом пространстве, а в реальном городе? NAVER AI Lab сделали именно это: Seoul World Model (SWM) генерирует видео на километры вперёд, привязанное к реальной карте Сеула.
Ключевая идея — retrieval-augmented generation: по GPS-координатам и траектории камеры модель достаёт реальные стрит-вью фотографии и использует их как визуальные якоря при генерации.
Три главные проблемы и решения:
1. Временное рассогласование → cross-temporal pairing (референсы из другого времени, чтобы модель не копировала случайных пешеходов)
2. Редкие кадры стрит-вью → интерполяция через видеодиффузию между ключевыми кадрами
3. Дрейф при долгой генерации → virtual lookahead sink: вставка будущего референса как "виртуальной цели" впереди по маршруту
Модель обобщается на Пусан и Энн-Арбор без дообучения. Можно попросить: "поджечь машину" или "добавить Годзиллу между небоскрёбами".
https://arxiv.org/abs/2603.15583
Топовые VLM не могут отследить мячик под стаканчиком (by NUS)
Помните игру в напёрсток? Оказывается, это непосильная задача для современных видео-моделей. Авторы из NUS проверили: Gemini-3-Pro, GPT-4o и другие топовые VLM справляются с задачей отслеживания объекта не лучше случайного угадывания (33%).
Хитрость в том, что существующие бенчмарки содержат "читы" — различимые стаканчики или прозрачные чашки, по которым модель угадывает ответ по одному кадру без реального трекинга. Авторы создали VET-Bench с визуально идентичными объектами, где единственный способ решить задачу — отследить движение во времени.
Результат: все модели падают до случайного уровня. Теоретически доказано, что задача NC1-complete, то есть трансформеры фиксированной глубины принципиально ограничены без промежуточных вычислений.
Решение — SGCoT (Spatiotemporal Grounded Chain-of-Thought): модель явно генерирует траектории объектов как цепочку рассуждений. Итог: 91% точности против 34% у лучшей базовой модели.
Помните игру в напёрсток? Оказывается, это непосильная задача для современных видео-моделей. Авторы из NUS проверили: Gemini-3-Pro, GPT-4o и другие топовые VLM справляются с задачей отслеживания объекта не лучше случайного угадывания (33%).
Хитрость в том, что существующие бенчмарки содержат "читы" — различимые стаканчики или прозрачные чашки, по которым модель угадывает ответ по одному кадру без реального трекинга. Авторы создали VET-Bench с визуально идентичными объектами, где единственный способ решить задачу — отследить движение во времени.
Результат: все модели падают до случайного уровня. Теоретически доказано, что задача NC1-complete, то есть трансформеры фиксированной глубины принципиально ограничены без промежуточных вычислений.
Решение — SGCoT (Spatiotemporal Grounded Chain-of-Thought): модель явно генерирует траектории объектов как цепочку рассуждений. Итог: 91% точности против 34% у лучшей базовой модели.
AI учится чувствовать "научный вкус" — что стоит исследовать, а что нет
Умение выбирать перспективные направления в науке — это то, что отличает великих учёных. Можно ли этому научить AI?
Авторы из OpenMOSS предлагают RLCF (Reinforcement Learning from Community Feedback): вместо отзывов людей используют цитирования как сигнал "вкуса" научного сообщества. Собрали 700K пар абстрактов из одной области и эпохи, где один из них цитируется больше — это и есть предпочтение.
Обучили два агента:
Scientific Judge — оценивает пары статей и предсказывает, какая наберёт больше цитат (обгоняет GPT-4.5 и Gemini 3 Pro)
Scientific Thinker — по статье предлагает перспективную идею для продолжения, используя Judge как reward model
Ключевой результат: Judge обобщается на будущие годы и незнакомые области — значит, он уловил что-то реальное, а не просто запомнил паттерны.
Вывод авторов: научный вкус — не мистическая черта гениев, а обучаемый навык.
https://arxiv.org/abs/2603.14473
Умение выбирать перспективные направления в науке — это то, что отличает великих учёных. Можно ли этому научить AI?
Авторы из OpenMOSS предлагают RLCF (Reinforcement Learning from Community Feedback): вместо отзывов людей используют цитирования как сигнал "вкуса" научного сообщества. Собрали 700K пар абстрактов из одной области и эпохи, где один из них цитируется больше — это и есть предпочтение.
Обучили два агента:
Scientific Judge — оценивает пары статей и предсказывает, какая наберёт больше цитат (обгоняет GPT-4.5 и Gemini 3 Pro)
Scientific Thinker — по статье предлагает перспективную идею для продолжения, используя Judge как reward model
Ключевой результат: Judge обобщается на будущие годы и незнакомые области — значит, он уловил что-то реальное, а не просто запомнил паттерны.
Вывод авторов: научный вкус — не мистическая черта гениев, а обучаемый навык.
https://arxiv.org/abs/2603.14473
👍2
Видео и аудио в реальном времени за 0.7 секунды вместо 197?
Современные joint audio-visual модели типа LTX-2 и Veo 3 генерируют видео+аудио с потрясающим качеством, но с огромной задержкой — нужно обработать всю последовательность целиком, прежде чем выдать хоть что-то. 197 секунд до первого чанка — это не стриминг, это пытка.
OmniForcing решает это через дистилляцию: берут тяжёлую bidirectional модель и превращают её в causal autoregressive генератор, который стримит чанки синхронно по обоим модальностям.
Главная боль — асимметрия частот: видео идёт на 3 FPS, аудио на 25 FPS. Наивная каузальная маска вызывает Softmax collapse и взрывы градиентов в аудио-стриме. Авторы решают это через Audio Attention Sink с Identity RoPE (позиционно-агностичный буфер памяти) и Modality-Independent Rolling KV-Cache со сложностью O(L) вместо квадратичной.
Результат: ~25 FPS стриминг на одном GPU, TTFC ~0.7 секунды против 197 у учителя, при сопоставимом качестве.
https://arxiv.org/abs/2603.11647
Современные joint audio-visual модели типа LTX-2 и Veo 3 генерируют видео+аудио с потрясающим качеством, но с огромной задержкой — нужно обработать всю последовательность целиком, прежде чем выдать хоть что-то. 197 секунд до первого чанка — это не стриминг, это пытка.
OmniForcing решает это через дистилляцию: берут тяжёлую bidirectional модель и превращают её в causal autoregressive генератор, который стримит чанки синхронно по обоим модальностям.
Главная боль — асимметрия частот: видео идёт на 3 FPS, аудио на 25 FPS. Наивная каузальная маска вызывает Softmax collapse и взрывы градиентов в аудио-стриме. Авторы решают это через Audio Attention Sink с Identity RoPE (позиционно-агностичный буфер памяти) и Modality-Independent Rolling KV-Cache со сложностью O(L) вместо квадратичной.
Результат: ~25 FPS стриминг на одном GPU, TTFC ~0.7 секунды против 197 у учителя, при сопоставимом качестве.
https://arxiv.org/abs/2603.11647
👍2
Nvidia Tech запускает Project Rheo — симуляцию для обучения роботов в больницах
К 2030 году миру не хватит 10 миллионов врачей. Nvidia решает эту проблему нестандартно: вместо того чтобы обучать роботов в реальных больницах, компания предлагает обучать их в цифровых двойниках клиник.
Project Rheo — это blueprint для создания виртуальных операционных, где роботы тренируются перекладывать хирургические лотки, собирать медицинское оборудование и возить тележки с припасами. Всё это до того, как машина окажется рядом с живым пациентом.
В основе — Isaac Sim, Isaac Lab и модели GR00T. Разработчики буквально в нескольких строках кода собирают сцену: предоперационная комната, хирургический лоток, робот Unitree G1 — и запускают обучение.
Почему важно: реальные больницы слишком хаотичны и опасны для тестирования ИИ. Симуляция даёт тысячи сценариев без риска для пациентов и без огромных затрат на развёртывание роботов по всему миру.
https://developer.nvidia.com/blog/using-simulation-to-build-robotic-systems-for-hospital-automation/
К 2030 году миру не хватит 10 миллионов врачей. Nvidia решает эту проблему нестандартно: вместо того чтобы обучать роботов в реальных больницах, компания предлагает обучать их в цифровых двойниках клиник.
Project Rheo — это blueprint для создания виртуальных операционных, где роботы тренируются перекладывать хирургические лотки, собирать медицинское оборудование и возить тележки с припасами. Всё это до того, как машина окажется рядом с живым пациентом.
В основе — Isaac Sim, Isaac Lab и модели GR00T. Разработчики буквально в нескольких строках кода собирают сцену: предоперационная комната, хирургический лоток, робот Unitree G1 — и запускают обучение.
Почему важно: реальные больницы слишком хаотичны и опасны для тестирования ИИ. Симуляция даёт тысячи сценариев без риска для пациентов и без огромных затрат на развёртывание роботов по всему миру.
https://developer.nvidia.com/blog/using-simulation-to-build-robotic-systems-for-hospital-automation/
NVIDIA Technical Blog
Using Simulation to Build Robotic Systems for Hospital Automation
Healthcare faces a structural demand–capacity crisis: a projected global shortfall of ~10 million clinicians by 2030, billions of diagnostic exams annually with significant unmet demand…
Nvidia представила NVIDIA Groq 3 LPX — новый ускоритель вывода для платформы Vera Rubin.
Это стоечная система из 256 LPU-чипов, заточенная под низкую задержку и агентные AI-системы. Ключевые цифры: 315 PFLOPS вычислений, 128 ГБ SRAM и пропускная способность 40 ПБ/с на чип.
Главная идея — разделение труда. Vera Rubin NVL72 берёт на себя prefill и обработку длинного контекста, а LPX ускоряет самую чувствительную к задержкам часть — генерацию токенов. Вместе они дают до 35x больше throughput на мегаватт и до 10x больше потенциального дохода на триллионных моделях.
Зачем это нужно? Когда скорость генерации достигает 1000 токенов в секунду на пользователя, AI перестаёт быть чатом и становится инструментом реального времени. Это критично для мультиагентных систем, которые должны думать и координироваться непрерывно.
Инфраструктура будущего строится уже сейчас.
https://developer.nvidia.com/blog/inside-nvidia-groq-3-lpx-the-low-latency-inference-accelerator-for-the-nvidia-vera-rubin-platform/
Это стоечная система из 256 LPU-чипов, заточенная под низкую задержку и агентные AI-системы. Ключевые цифры: 315 PFLOPS вычислений, 128 ГБ SRAM и пропускная способность 40 ПБ/с на чип.
Главная идея — разделение труда. Vera Rubin NVL72 берёт на себя prefill и обработку длинного контекста, а LPX ускоряет самую чувствительную к задержкам часть — генерацию токенов. Вместе они дают до 35x больше throughput на мегаватт и до 10x больше потенциального дохода на триллионных моделях.
Зачем это нужно? Когда скорость генерации достигает 1000 токенов в секунду на пользователя, AI перестаёт быть чатом и становится инструментом реального времени. Это критично для мультиагентных систем, которые должны думать и координироваться непрерывно.
Инфраструктура будущего строится уже сейчас.
https://developer.nvidia.com/blog/inside-nvidia-groq-3-lpx-the-low-latency-inference-accelerator-for-the-nvidia-vera-rubin-platform/
NVIDIA Technical Blog
Inside NVIDIA Groq 3 LPX: The Low-Latency Inference Accelerator for the NVIDIA Vera Rubin Platform
NVIDIA Groq 3 LPX is a new rack-scale inference accelerator for the NVIDIA Vera Rubin platform, designed for the low-latency and large-context demands of agentic systems. Co-designed with the NVIDIA…
Nvidia представила CMX — новую платформу хранения контекстной памяти для ИИ-инференса.
Суть проблемы: агентные ИИ-системы с длинным контекстом (миллионы токенов) постоянно упираются в нехватку GPU-памяти. Хранить KV-кэш дорого, пересчитывать — ещё дороже.
Решение — CMX Context Memory Storage на базе чипа BlueField-4. Это новый уровень памяти между GPU HBM и обычным хранилищем: быстрый флеш с RDMA-доступом через Spectrum-X Ethernet. Система встраивается в платформу Vera Rubin и масштабируется на весь POD.
Результат: в 5 раз больше токенов в секунду и в 5 раз выше энергоэффективность по сравнению с традиционным хранилищем. GPU перестают простаивать в ожидании данных.
Для кого важно: провайдеры ИИ-инфраструктуры и компании, строящие агентные системы с длинным контекстом — теперь масштабироваться дешевле и быстрее.
https://developer.nvidia.com/blog/introducing-nvidia-bluefield-4-powered-inference-context-memory-storage-platform-for-the-next-frontier-of-ai/
Суть проблемы: агентные ИИ-системы с длинным контекстом (миллионы токенов) постоянно упираются в нехватку GPU-памяти. Хранить KV-кэш дорого, пересчитывать — ещё дороже.
Решение — CMX Context Memory Storage на базе чипа BlueField-4. Это новый уровень памяти между GPU HBM и обычным хранилищем: быстрый флеш с RDMA-доступом через Spectrum-X Ethernet. Система встраивается в платформу Vera Rubin и масштабируется на весь POD.
Результат: в 5 раз больше токенов в секунду и в 5 раз выше энергоэффективность по сравнению с традиционным хранилищем. GPU перестают простаивать в ожидании данных.
Для кого важно: провайдеры ИИ-инфраструктуры и компании, строящие агентные системы с длинным контекстом — теперь масштабироваться дешевле и быстрее.
https://developer.nvidia.com/blog/introducing-nvidia-bluefield-4-powered-inference-context-memory-storage-platform-for-the-next-frontier-of-ai/
NVIDIA Technical Blog
Introducing NVIDIA BlueField-4-Powered CMX Context Memory Storage Platform for the Next Frontier of AI
AI‑native organizations increasingly face scaling challenges as agentic AI workflows drive context windows to millions of tokens and models scale toward trillions of parameters. These systems rely on…
Как поймать галлюцинацию VLM за руку — прямо в процессе мышления? (by NUS)
Модель смотрит на фото велосипедиста, "видит" мотоцикл, описывает его в деталях — а потом отвечает "нет, мотоцикла нет". Правильный ответ, двойная ошибка. Авторы называют это "вычислительным когнитивным диссонансом".
Идея: галлюцинации — не точечная ошибка, а сбой в цепочке. Авторы разбивают рассуждение VLM на стадии (восприятие → доказательства → ответ) и вводят три метрики:
- HEvi: нестабильность на этапе восприятия
- SConf: конфликт между доказательствами и ответом (нарушение Марковского условия)
- HAns: неопределённость финального решения
Каждая генерация превращается в точку в 3D "когнитивном пространстве". Нормальные ответы кластеризуются в плотное подмногообразие, галлюцинации — геометрические аномалии на его краях.
Детекция работает за один проход, без разметки галлюцинаций, устойчива к 30% шума в калибровочных данных. SOTA на POPE, MME, MS-COCO.
https://arxiv.org/abs/2603.15557
Модель смотрит на фото велосипедиста, "видит" мотоцикл, описывает его в деталях — а потом отвечает "нет, мотоцикла нет". Правильный ответ, двойная ошибка. Авторы называют это "вычислительным когнитивным диссонансом".
Идея: галлюцинации — не точечная ошибка, а сбой в цепочке. Авторы разбивают рассуждение VLM на стадии (восприятие → доказательства → ответ) и вводят три метрики:
- HEvi: нестабильность на этапе восприятия
- SConf: конфликт между доказательствами и ответом (нарушение Марковского условия)
- HAns: неопределённость финального решения
Каждая генерация превращается в точку в 3D "когнитивном пространстве". Нормальные ответы кластеризуются в плотное подмногообразие, галлюцинации — геометрические аномалии на его краях.
Детекция работает за один проход, без разметки галлюцинаций, устойчива к 30% шума в калибровочных данных. SOTA на POPE, MME, MS-COCO.
https://arxiv.org/abs/2603.15557