Nvidia: сжатие чекпоинтов при обучении LLM экономит $56 000 в месяц

Nvidia опубликовала техническое руководство по снижению затрат на чекпоинты при обучении больших языковых моделей с помощью библиотеки nvCOMP — всего около 30 строк Python.

Проблема: при синхронном сохранении чекпоинтов все GPU простаивают. На 128 GPU Blackwell при обучении модели 405B это обходится более чем в $200 000 в месяц только за время простоя.

Решение: GPU-ускоренное сжатие прямо в памяти видеокарты без лишних пересылок данных. Библиотека nvCOMP поддерживает два алгоритма — ZSTD и gANS. Первый даёт чуть лучшее сжатие (21-29% для dense и MoE моделей), второй работает в 10 раз быстрее и подходит для высокоскоростного хранилища.

Итог: экономия свыше $56 000 в месяц при тех же условиях, плюс ускорение восстановления после сбоев. Для MoE-моделей выгода ещё выше из-за разреженности градиентов.

https://developer.nvidia.com/blog/cut-checkpoint-costs-with-about-30-lines-of-python-and-nvidia-nvcomp/

Nvidia Tech: ускорение предсказания структур белков в масштабе протеома

Nvidia опубликовала технический гайд по созданию высокопроизводительного пайплайна для предсказания структур белковых комплексов с помощью AlphaFold-Multimer на кластерах H100.

Что сделали: расширили базу данных AFDB предсказаниями гомерных и гетерных комплексов, ускорив вычисления через MMseqs2-GPU, TensorRT и cuEquivariance. Ключевое решение — разделить генерацию MSA и инференс структур на независимые SLURM-пайплайны, что позволило максимально загрузить GPU.

Почему важно: большинство белков работают не в одиночку, а в комплексах. До сих пор структурная информация для таких комплексов была практически недоступна в масштабе. Теперь это меняется.

Кому полезно: биоинформатикам, HPC-инженерам и AI-исследователям, работающим с генеративными белковыми моделями. Подход применим в разработке лекарств и системной биологии.

https://developer.nvidia.com/blog/how-to-accelerate-protein-structure-prediction-at-proteome-scale/

Google DeepMind объявил о запуске Gemma 4 — новой открытой модели от Google, которую уже можно использовать для разработки. Gemma — это серия лёгких открытых моделей, которые можно запускать локально или интегрировать в свои проекты. Четвёртое поколение обещает быть заметно мощнее предшественников. Ссылка на старт работы с моделью уже доступна — так что разработчики могут начинать экспериментировать прямо сейчас.

https://x.com/GoogleDeepMind/status/2042283483679039800

Google DeepMind хвастается новой моделью Gemma 4: она бьёт конкурентов, которые в 10 раз крупнее по размеру, и при этом не требует огромных вычислительных мощностей. За первую неделю модель скачали более 10 миллионов раз, а всё семейство Gemma перевалило за 500 миллионов загрузок. Открытое исследовательское сообщество явно оценило — такой интерес говорит о том, что маленькие, но эффективные модели становятся всё популярнее как альтернатива гигантам вроде GPT-4 или Claude.

https://x.com/GoogleDeepMind/status/2042283481640615944

MolmoWeb: открытый веб-агент, который видит браузер как человек

Большинство крутых веб-агентов (типа Computer Use от Anthropic) — закрытые и непрозрачные. MolmoWeb — попытка сделать полностью открытый аналог.

Ключевая идея: агент работает только со скриншотами, без доступа к HTML или дереву доступности (AxTree). Это делает его устойчивым к изменениям верстки и экономит токены — AxTree легко съедает десятки тысяч токенов на страницу.

Для обучения собрали датасет MolmoWebMix: синтетические траектории от LLM-агентов, человеческие демонстрации, данные по GUI-восприятию. Интересный трюк: синтетические траектории генерировал AxTree-агент, но сохранялись скриншоты — так модель учится на визуальном входе.

Результат: MolmoWeb 4B/8B обходит GPT-4o с SoM-разметкой и AxTree, несмотря на разницу в масштабе. Всё открыто: данные, веса, рецепт обучения.

https://arxiv.org/abs/2604.08516

"SFT запоминает, RL обобщает" — а что если это просто артефакт эксперимента?

Популярный тезис в мире LLM: SFT хорошо работает в обучающем домене, но плохо обобщается, тогда как RL умеет генерализовывать. Авторы решили разобраться: а правда ли это свойство SFT, или просто следствие конкретных условий экспериментов?

Оказывается, всё зависит от трёх факторов:

1. Оптимизация: на ранних чекпоинтах OOD-метрики падают, но потом восстанавливаются и превышают базовый уровень. Многие статьи просто останавливались слишком рано.

2. Данные: качественные long-CoT трейсы (с бэктрекингом и верификацией) дают кросс-доменные улучшения даже если обучать только на арифметике (Countdown).

3. Возможности модели: сильные модели усваивают процедурные паттерны, слабые — просто имитируют многословность без реального понимания.

Побочный эффект: long-CoT SFT заметно ухудшает safety — модели начинают самостоятельно рационализировать вредные запросы в процессе "думания".

https://arxiv.org/abs/2604.06628

Скиллы для AI-агентов, которые улучшаются сами — от взаимодействия тысяч пользователей

Представьте: один пользователь нашёл способ обойти баг в инструменте — и это знание автоматически помогло всем остальным. Именно это делает SkillClaw.

Проблема: у LLM-агентов есть "скиллы" — структурированные процедуры работы с инструментами. Но они статичны: агент может за сессию найти рабочее решение, однако оно умрёт вместе с сессией. Следующий пользователь наступит на те же грабли.

Решение: SkillClaw собирает траектории взаимодействий от всех пользователей, группирует их по используемым скиллам, а затем запускает "agentic evolver" — LLM-агента, который анализирует паттерны успехов и провалов и обновляет скиллы: рефайнит существующие или создаёт новые. Обновлённые скиллы синхронизируются обратно ко всем агентам.

Ключевое: эволюция коллективная и полностью автоматическая — пользователь ничего не делает вручную.

https://arxiv.org/abs/2604.08377

Мультимодальный агент научился НЕ использовать инструменты (by Alibaba/Accio)

Современные мультимодальные агенты страдают от "слепого вызова инструментов": они дёргают внешние API в 80-98% случаев, даже когда задача решается напрямую из картинки. Это медленно, шумно и снижает качество.

Ключевая проблема: если штрафовать за лишние вызовы инструментов через обычный скалярный reward (accuracy + efficiency), сигналы мешают друг другу. Агрессивный штраф убивает нужные вызовы, слабый — тонет в дисперсии accuracy-reward.

Решение — HDPO (Hierarchical Decoupled Policy Optimization): два отдельных канала обучения. Accuracy-канал оптимизируется на всех траекториях, efficiency-канал — только на правильных ответах. Градиенты смешиваются лишь в финальном лоссе.

Результат: агент Metis использует инструменты лишь в 2% случаев против 98% у базового GRPO — и при этом бьёт все конкуренты по точности. Меньше шума = лучше рассуждения.

https://arxiv.org/abs/2604.08545

WildDet3D: универсальный 3D-детектор "в дикой природе" (by Ai2)

Что если один детектор умел бы находить любой объект в 3D — по тексту, клику мышью или 2D-боксу, да ещё и с опциональным LiDAR?

Именно это делает WildDet3D. Авторы из Ai2 построили open-vocabulary детектор, который по одной RGB-картинке (и опциональной глубине) предсказывает 3D-боксы для произвольных категорий. Три ключевые идеи:

1. Dual-encoder: отдельный энкодер для семантики (ViT-H) и отдельный для геометрии (RGBD), объединяемые через depth fusion module.

2. Promptable detector: единый интерфейс для текста, 2D-точек и 2D-боксов.

3. WildDet3D-Data: 1M+ изображений, 13.5K категорий — разметка через автоматические кандидаты + верификация людьми.

Результат: 22.6 AP3D на 700+ категориях против 2.3 AP у конкурентов. Модель запускается на iPhone и интегрирована в Meta Quest.

https://arxiv.org/abs/2604.08626

Маленькая VLM как умный компрессор для часовых видео

Проблема длинных видео для мультимодальных LLM простая: тысячи фреймов → миллионы токенов → контекстное окно лопается. Обычные решения либо редко сэмплируют фреймы (и пропускают важные моменты), либо жмут всё равномерно (и теряют детали).

Авторы предлагают Tempo: маленькая VLM (SVLM) сначала "читает" каждый сегмент вместе с запросом пользователя и выдаёт компактные memory tokens. Ключевая фишка — Adaptive Token Allocation (ATA): релевантные сегменты получают 16 токенов/фрейм, скучные фоны сжимаются до 0.5 токена/фрейм. Причём ATA работает без дообучения — просто перехватывает hidden states SVLM для оценки релевантности.

Результат: 6B-модель Tempo набирает 52.3 на LVBench, обгоняя GPT-4o и Gemini 1.5 Pro при в разы меньшем бюджете токенов.

https://arxiv.org/abs/2604.08120

NVIDIA и MiniMax выпустили MiniMax M2.7 — новую версию популярной модели для агентных задач.

M2.7 — это MoE-модель с 230 млрд параметров, но при работе активирует лишь 10 млрд (4,3% от общего числа). Это значит: мощность большой модели при низких затратах на инференс. Контекст — 200К токенов, 256 экспертов.

Что важно для разработчиков: модель оптимизирована под vLLM и SGLang на GPU Blackwell Ultra — прирост производительности до 2,7x всего за месяц. Доступна через NVIDIA NIM и build.nvidia.com, поддерживает файнтюнинг через NeMo Framework.

Веса открыты. Идеально для сложных агентных сценариев, кодинга и исследовательских пайплайнов.

https://developer.nvidia.com/blog/minimax-m2-7-advances-scalable-agentic-workflows-on-nvidia-platforms-for-complex-ai-applications/

Могут ли топовые LLM отличить болт M10 от M20?

Оказывается — с трудом. Исследователи из Waterloo создали FORGE — первый fine-grained бенчмарк для производственных сценариев, где моделям нужно не просто распознать «это болт», а определить конкретный типоразмер, найти дефект поверхности или проверить корректность сборки.

Датасет: 12 972 примера, 2D-изображения + 3D point clouds, 14 категорий деталей, 90 моделей (например, гайки от M10 до M20).

Три задачи: верификация детали, инспекция поверхности (трещины, вмятины), верификация сборки.

Результат: даже GPT-5 и Gemini проваливаются на мелкозернистых задачах — главный bottleneck это понимание морфологии и отсутствие доменных знаний.

Но есть хорошая новость: SFT компактной 3B-модели на их данных даёт +25.6% на новых задачах. Доменная дообучка работает даже на маленьких моделях.

https://arxiv.org/abs/2604.07413

Почему трансформер "залипает" на одном токене — и что с этим делать?

Attention Sink — эффект, при котором модель концентрирует непропорционально много внимания на нескольких "мусорных" токенах (чаще всего первый токен или специальные символы). Это не баг, это фича softmax: когда нечего выделять, внимание "сбрасывается" в одно место как no-op операция.

Авторы собрали обзор 180+ работ по теме и выделили три направления:
1. Использование — многие методы сжатия KV-кэша просто сохраняют sink-токены, и это работает
2. Интерпретация — оказывается, sink связан с outlier-нейронами и геометрическими "якорями" в пространстве эмбеддингов
3. Митигация — gated attention, модифицированный softmax и learnable bias помогают избавиться от эффекта

Практический вывод: attention sink влияет на галлюцинации, квантизацию и длинный контекст. Понимать его механику — уже необходимость для тех, кто работает с LLM и ViT в продакшне.

https://arxiv.org/abs/2604.10098

OmniShow: один фреймворк для видео с людьми и объектами (by ByteDance)

Хотите сгенерировать видео, где человек держит конкретный продукт, двигается под музыку и ещё точно повторяет заданную позу? Раньше каждую из этих задач решали отдельные модели.

OmniShow объединяет сразу 4 типа условий: текст, референсные изображения персонажа и объекта, аудио и позы. Три ключевых решения:

1. Unified Channel-wise Conditioning — позы и референсы инжектятся через конкатенацию токенов, не ломая предобученные веса базовой модели.

2. Gated Local-Context Attention — аудио-токены привязываются к соответствующим видео-фрагментам через маскированное внимание + learnable gating для стабильной синхронизации.

3. Decoupled-Then-Joint Training — сначала обучают отдельные A2V и R2V модели, потом сливают и дообучают совместно. Так обходят дефицит датасетов с полным набором условий.

Ещё авторы предложили бенчмарк HOIVG-Bench. Применения: e-commerce демо, аватары, видеоремиксы.

https://arxiv.org/abs/2604.11804

Apple ML представила исследование о борьбе с галлюцинациями в языковых моделях.

Учёные из Apple показали: главная причина того, что LLM "выдумывают" факты — не плохая архитектура, а перегруженность обучающих данных. Если фактов больше, чем модель способна запомнить, точность падает. Особенно плохо, когда одни факты встречаются в данных намного чаще других.

Решение — умная обрезка данных. Исследователи предложили отбирать обучающие примеры на основе потерь при обучении, чтобы сократить число фактов и выровнять их частотное распределение.

Результат впечатляет: маленькая модель GPT-2 Small (110 млн параметров) после такого отбора данных запоминает в 1,3 раза больше фактов и дотягивается до уровня модели в 10 раз крупнее (1,3 млрд параметров).

Вывод: качество данных важнее их количества. Меньше — значит лучше, если выбирать с умом.

https://machinelearning.apple.com/research/cram-less

Клеман Делангe, CEO Hugging Face, поделился впечатляющим кейсом: его команда перевела 27 000 научных статей с arxiv в формат Markdown с помощью открытой модели на 5 миллиардов параметров.

Для этого запустили 16 параллельных задач на GPU L40S через инфраструктуру Hugging Face. Итог: потрачено всего 850 долларов, работа заняла около 29 часов, и — что особенно приятно — ни один из процессов не упал.

Теперь эти данные питают функцию "Chat with your paper" на сайте Hugging Face — можно загрузить статью и поговорить с ней как с собеседником. Хороший пример того, что open-source модели уже вполне способны справляться с масштабными промышленными задачами без огромных затрат.

https://x.com/ClementDelangue/status/2043779449322160270

GUI-агент, который умеет и учиться, и оцениваться, и работать на реальном смартфоне

Одна из главных проблем GUI-агентов: обучение, оценка и деплой существуют в разных мирах и не стыкуются. ClawGUI от Чжэцзянского университета — попытка собрать всё в единый open-source фреймворк.

Три модуля: ClawGUI-RL (онлайн RL с поддержкой эмуляторов и реальных устройств, dense reward через Process Reward Model и GiGPO вместо GRPO), ClawGUI-Eval (воспроизводимая оценка на 6 бенчмарках и 11+ моделях, 95.8% совпадение с опубликованными результатами), ClawGUI-Agent (деплой на Android/HarmonyOS/iOS через 12+ чат-платформ с персонализированной памятью).

Результат: ClawGUI-2B набирает 17.1% на MobileWorld GUI-Only, обходя MAI-UI-2B на 6 пунктов и даже Qwen3-VL-32B (11.9%). Замена эпизодного GRPO на пошаговый GiGPO даёт +2.6% — dense reward реально работает.

https://arxiv.org/abs/2604.11784

Lyra 2.0: генерируй целые 3D-миры из одной картинки (by NVIDIA)

Представь: загружаешь одно фото комнаты или улицы — и можешь буквально «ходить» по сгенерированному 3D-миру. Именно это делает Lyra 2.0.

Главные враги таких систем — «пространственное забывание» (модель забывает, как выглядел угол, когда ты туда возвращаешься) и «временной дрейф» (ошибки накапливаются, цвета уплывают).

Решение элегантное: 3D-геометрия используется только для маршрутизации — чтобы найти нужные исторические кадры и установить пространственные соответствия. Сам синтез пикселей остаётся за диффузионной моделью, которая не тащит артефакты рендеринга дальше по цепочке.

Против дрейфа — self-augmentation: во время обучения модель кормят её же собственными зашумлёнными предсказаниями вместо идеальных кадров. Так она учится исправлять свои ошибки.

На выходе — 3D Gaussian Splatting + меши, готовые для embodied AI и иммерсивного рендеринга.

https://arxiv.org/abs/2604.13036

Могут ли LLM писать квантовый код — или просто знают API наизусть?

Проверить это сложно: большинство бенчмарков для квантового кода заточены под один фреймворк (Qiskit, PennyLane или Cirq). Если модель ошибается — непонятно: она не понимает квантовую логику или просто не знает API?

Авторы из American University of Beirut предлагают QuanBench+ — бенчмарк из 42 задач, где одна и та же задача переведена на все три фреймворка. Метрики: Pass@k и KL-дивергенция для вероятностных выходов (вместо унитарной верности, которая даёт ложные негативы).

Ключевые выводы: современные LLM реально прогрессируют, но кросс-фреймворковая надёжность низкая. Подсказки с boilerplate убирают синтаксические ошибки, но не логические. Итеративный фидбэк исправляет часть провалов — но остаток это именно ошибки в квантовом мышлении, а не в API.

https://arxiv.org/abs/2604.08570

Google DeepMind представила Gemini Robotics-ER 1.6 — обновлённую модель для управления роботами с улучшенным пространственным мышлением.

Модель заточена под реальные задачи: она лучше понимает физический мир, может рассуждать о пространстве, объектах и их взаимодействии. Это позволяет роботам точнее выполнять сложные манипуляции — брать предметы, ориентироваться в пространстве, работать в непредсказуемых условиях.

Ключевое улучшение — embodied reasoning, то есть способность модели "думать телом": соотносить визуальную информацию с физическими действиями гораздо эффективнее, чем раньше.

Для обычных пользователей это пока далеко, но для разработчиков робототехники — серьёзный шаг. Google DeepMind явно целится в промышленную автоматизацию и бытовых роботов-помощников.

https://deepmind.google/blog/gemini-robotics-er-1-6/