OpenAI представила GPT-Rosalind — специализированную модель для исследований в области биологических наук.

Что нового: улучшенное биологическое мышление, экспертиза в медицинской химии, анализ геномики и поддержка экспериментальных рабочих процессов.

Почему важно: это не универсальный ИИ, а заточенный инструмент для учёных. Модель понимает специфику лабораторных задач — от разработки лекарств до расшифровки генетических данных.

Для пользователей: исследователи получают помощника, который говорит на языке науки — помогает планировать эксперименты, анализировать геномные последовательности и работать с молекулярными структурами. Это может серьёзно ускорить разработки в фармацевтике и биотехе.

https://openai.com/index/introducing-new-capabilities-to-gpt-rosalind

Amazon Science: как правильно проверять факты в AI-отчётах

Команда Amazon AGI столкнулась с неожиданной проблемой: прежде чем научить ИИ проверять факты в длинных исследовательских отчётах, нужно было создать надёжный эталон для оценки самого проверщика.

Оказалось, что эксперты с учёными степенями справлялись с разметкой данных лишь на 60,8% — задача слишком когнитивно сложная. Тогда исследователи предложили протокол audit-then-score: когда ИИ не соглашается с человеческой оценкой, он обязан предоставить доказательства и аргументы. Эксперт не создаёт разметку с нуля, а сравнивает два конкретных случая — это гораздо проще.

Результат: точность выросла с 60,8% до 90,9% за четыре раунда. Система DeepFact-Eval достигла 83,4% против 58,5% у лучших традиционных фактчекеров.

Главный вывод: эталонные датасеты не могут быть статичными — оценка ИИ должна стать живым процессом с постоянным пересмотром и сотрудничеством людей и моделей.

https://www.amazon.science/blog/ground-truth-is-a-process-not-a-dataset

PyTorch / DeepSpeed: поддержка оптимизатора Muon

DeepSpeed теперь поддерживает Muon — оптимизатор, который активно вытесняет AdamW в крупных лабораториях. Его уже используют Kimi-K2 (1T параметров), GLM-5 (744B) и DeepSeek-V4 (1.6T).

Что такое Muon? Вместо двух буферов момента (как у Adam) он использует один, плюс ортогонализирует матрицу градиентов через итерации Ньютона-Шульца. Результат: на 35% быстрее AdamW в бенчмарках NanoGPT, а модель на 1.5B параметров достигает уровня GPT-2 XL на 25% быстрее.

Что это даёт пользователям: экономия памяти ~9% на GPU (около 3 ГБ для Qwen2.5-3B), лучшая сходимость на задачах рассуждения и кода. Muon работает только для 2D-весов, остальные параметры автоматически используют AdamW.

ZeRO Stage 2 и 3 уже поддерживаются. В планах: CPU offloading и MuonClip — вариант из Kimi-K2.

https://pytorch.org/blog/using-muon-optimizer-with-deepspeed/

3DGS без привязки к пикселям — в 6 раз меньше гауссиан, качество лучше (by ETH Zurich)

Стандартные feed-forward методы 3D Gaussian Splatting привязывают каждую гауссиану к пикселю: плоская стена и детальный объект получают одинаковый бюджет, а перекрывающиеся виды дублируют одни и те же поверхности.

ZipSplat ломает эту логику. Вместо пикселей — компактные scene tokens: мультивью-бэкбон извлекает визуальные токены, k-means в пространстве признаков сжимает их до K кластеров, cross- и self-attention уточняют, MLP декодирует каждый токен в группу гауссиан со свободными 3D-позициями.

Ключевые плюсы: гауссианы концентрируются там, где геометрия сложная; дубликаты из перекрывающихся видов сливаются автоматически; один обученный model покрывает весь диапазон quality–efficiency через один параметр r во время инференса.

Результат: SOTA на DL3DV и RealEstate10K при 6× меньшем числе гауссиан, чем у pixel-aligned методов.

https://arxiv.org/abs/2606.05102

Одна модель на 5B параметров вместо 13B+ для генерации и редактирования видео

LoomVideo от Peking University решает главную боль unified video-моделей: когда хочешь редактировать видео, надо подавать исходное видео как условие. Обычно это делают конкатенацией токенов — и длина последовательности удваивается, а вычисления в self-attention растут в 4 раза.

Авторы придумали Scale-and-Add: просто масштабируй латент исходного видео на текущий timestep и прибавляй к зашумлённому целевому латенту. Ноль лишних токенов, зато работает даже для сложных нежёстких правок (смена позы, ракурса камеры).

Ещё два трюка: Deepstack injection — фичи извлекаются из каждого слоя Qwen3-VL и инжектируются в соответствующие слои DiT через cross-attention. И Negative Temporal RoPE — специальные индексы позиционного кодирования для референсных изображений, чтобы они не путались с кадрами видео.

Итог: ускорение инференса в 5.4× по сравнению с конкурентами при сопоставимом качестве.

https://arxiv.org/abs/2606.06042

Видео с химическими опытами учит модели рассуждать, а не просто смотреть

Большинство датасетов для видеопонимания — это бытовые сцены: спорт, готовка, прогулки. Модели отлично распознают действия, но пасуют, когда нужно объяснить, почему в пробирке выделяется газ или что показывает термометр.

VideoKR — первый большой обучающий корпус, заточенный под знания и рассуждения. Авторы собрали 145K CC-licensed видео по 82 профессиональным дисциплинам (химия, инженерия, финансы и др.), причём средняя длина видео — 344 секунды против 37 секунд у конкурентов.

Ключевая идея: skill-oriented генерация данных. Каждый пример привязан к одному из трёх навыков — базовое восприятие, восприятие с опорой на знания, рассуждение с опорой на знания. Плюс строгий контроль качества с участием экспертов.

Результат: Qwen2.5-VL-7B, дообученный на VideoKR, обходит все предыдущие подходы на knowledge-intensive бенчмарках — без каких-либо алгоритмических трюков, только данные.

https://arxiv.org/abs/2606.05259

NVIDIA выпустила Nemotron 3 Ultra — мощную модель для долгосрочных агентов

NVIDIA представила Nemotron 3 Ultra: 550B-параметровую модель типа Mixture-of-Experts с 55B активными параметрами. Она создана специально для сложных агентных систем, где задачи выполняются в десятки и сотни шагов.

Что нового: гибридная архитектура Mamba-Transformer для длинного контекста, квантизация NVFP4 с поддержкой Hopper, Blackwell и Ampere, технология LatentMoE для умной маршрутизации между экспертами. Всё это даёт до 5x прироста скорости и снижает стоимость агентных задач на 30%.

Обучение велось с помощью Multi-Teacher Distillation — более 10 специализированных учителей прокачивали модель по разным доменам. Дополнительно добавлено 212B токенов: юридические данные, Wikipedia, свежий GitHub.

Для разработчиков: веса, рецепты обучения и данные открыты. Модель поддерживает LoRA, SFT и RL-файнтюнинг. Это важно для тех, кто строит корпоративных или суверенных AI-агентов.

https://developer.nvidia.com/blog/nvidia-nemotron-3-ultra-powers-faster-more-efficient-reasoning-for-long-running-agents/

Знание о репозитории — в веса модели, а не в контекст!

RAG для кода дорог: каждый запрос тащит огромный контекст репозитория. Fine-tune под конкретный репо — тоже боль, особенно когда код постоянно меняется и адаптер устаревает после каждого коммита.

Code2LoRA (University of Waterloo) решает это через гиперсеть: один проход — и репозиторий "вшит" в LoRA-адаптер замороженной LLM. Ноль токенов оверхеда при инференсе!

Два режима:
Static — снимок репозитория → адаптер. Достигает 63.8% exact match, обходя RAG.
Evo — GRU обрабатывает последовательность git-диффов и обновляет адаптер с каждым коммитом. +5.2 пп над shared LoRA на эволюционирующих репо.

Бенчмарк RepoPeftBench: 604 Python-репозитория, включая темпоральный holdout из постобучающих данных — честная проверка на OOD.

https://arxiv.org/abs/2606.06492

Умеет ли языковая модель играть Гарри Поттера из книги 1 иначе, чем из книги 5?

Исследователи из Seoul National University указали на слепое пятно в оценке ролевых агентов: персонажи меняются по ходу сюжета, но LLM обычно играют их как статичный образ. Молодой Гарри — жёсткий и мстительный, а после гибели Сириуса и воспоминаний Снейпа — способен к прощению. Воспроизводит ли модель эту разницу?

Авторы создали бенчмарк ARCANE: 17 романов, 80 персонажей, 544 "дуги характера" и 4601 проба. Ключевая идея — задавать один и тот же вопрос персонажу в разные моменты нарратива и смотреть, меняется ли ответ. Причём сценарии специально выходят за рамки исходного текста — чтобы нельзя было просто вспомнить факт из книги.

Вывод: контекст в виде "дуги характера" работает лучше обычного RAG, особенно для сцен, которых в книге вообще нет.

https://arxiv.org/abs/2606.05553

LLM-агент, который сам находит проблемы — до того, как вы их заметили (by KAIST AI)

Обычные LLM-агенты реактивны: ждут запроса пользователя. Но что если агент сам проходится по вашим документам, почте и коду — и находит скрытые проблемы, о которых вы ещё не знаете?

TIDE делает именно это. Два ключевых механизма:

1. Thought Templates — шаблоны классов проблем, дистиллированные из прошлых решённых кейсов (например, "конфликт версий документа перед дедлайном"). Вместо того чтобы каждый раз инферить паттерны с нуля, агент использует готовые схемы.

2. Iterative Discovery — поиск проблем идёт раундами. Каждый следующий раунд знает, что уже нашли, и ищет дальше — за пределами самых заметных случаев.

На выходе — не просто "вот проблема", а тройка: описание + доказательства из документов + конкретный план действий.

Протестировано на личных воркспейсах и репозиториях с кодом. TIDE стабильно обходит single-shot и multi-agent baseline по покрытию и точности.

https://arxiv.org/abs/2606.04743

Как проверить, умеет ли LLM-агент планировать в реальном мире?

Реальные задачи редко бывают без ограничений. Инструмент сломан, пользователь не любит использовать фен — агент должен это учитывать. Но большинство бенчмарков тестируют либо ограничения мира, либо предпочтения пользователя — но не оба сразу.

Авторы из UIUC представили AdaPlanBench: агент получает задачу (например, "высушить мяч"), предлагает план, и только когда нарушает скрытое ограничение — узнаёт о нём. Затем должен перепланировать. Ограничения раскрываются постепенно, по мере ошибок.

307 бытовых задач, у каждой — автоматически сгенерированные мировые ограничения (нет полотенца дома) и пользовательские (не люблю вентиляторы). Результат: лучшая модель набирает лишь 67.75%, open-source модели — ниже 30%. Явное отслеживание ограничений почти не помогает.

https://arxiv.org/abs/2606.05622

Робот в доме: помочь или уважить приватность?

Представьте: пожилая женщина с трудом идёт в ванную. Робот может подойти и помочь, позвать мужа или просто держаться рядом. Каждый вариант правильный — но они противоречат друг другу по ценностям. Существующие бенчмарки для роботов меряют только успех задачи, но не то, как робот выбирает между безопасностью, автономией и приватностью человека.

Авторы из Seoul National University предлагают RobotValues — бенчмарк из 10K реалистичных сценариев для оценки VLM-роботов в ситуациях конфликта ценностей. Данные генерировались автоматически с привязкой к демографике из World Values Survey (64 страны). Ценности аннотируются не напрямую, а через реакции стейкхолдеров на каждое действие.

Результат: модели по умолчанию предпочитают безопасность и услужливость в ущерб приватности. А если попросить модель приоритизировать другую ценность — точность падает на 30+ процентных пунктов.

https://arxiv.org/abs/2606.03312

RL учит модель читать грамматику — и переводить языки, которых она никогда не видела

Перевести текст на язык, которого нет в обучающих данных — казалось бы, невозможно. Но исследователи из Университета Цюриха показали: если обучить LLM через RL с наградой за качество перевода (chrF), модель приобретает мета-навык — умение извлекать смысл из грамматик и словарей прямо в контексте.

Идея: вместо того чтобы запоминать конкретный язык, модель учится рассуждать над лингвистическими описаниями. Контекст — это грамматика + словарь, награда — качество перевода. SFT на тех же данных переобучается на тренировочных языках, а RL обобщается на новые.

Эксперименты на 14 малоресурсных языках (Kalamang, Japhug, Ulwa и др.) подтверждают: RL реально улучшает перевод unseen языков, тогда как файнтюнинг — нет.

https://arxiv.org/abs/2606.06428

Новый датасет для автопилота из Европы — и он реально крутой

Большинство датасетов для автономного вождения сделаны в США или Азии, а европейские городские сцены почти не представлены. Карлсруйский технологический институт выпустил KITScenes Multimodal — датасет с сенсорной платформой уровня роботакси.

Что внутри: 7 лидаров дают >900к точек на кадр (в 3 раза плотнее аналогов) с дальностью до 400 м, 72.5 Мпикс синхронизированных камер с глобальным затвором, 3 радара 4D и HD-карты в формате Lanelet2 на 62 км² с 29 классами дорожной разметки и 120 классами знаков.

Четыре бенчмарка: предсказание HD-карт онлайн, оценка глубины дальше 200 м (где все существующие методы деградируют), neural rendering и мультимодальный end-to-end driving.

Особенность: карты валидированы в стеке Autoware и пригодны для реального автопилота, а не только для исследований.

https://arxiv.org/abs/2606.02956

ToolMaze: LLM-агенты ломаются, когда ломаются инструменты (by Baidu)

Все бенчмарки для LLM-агентов тестируют "счастливый путь" — когда все API работают идеально. Но в реальности инструменты падают с 404, таймаутами или возвращают семантически битые данные (например, отрицательный баланс акций).

Авторы создали TOOLMAZE — бенчмарк с двумя осями: сложность топологии задачи (DAG от линейного до комплексного) и тип поломки (явная/неявная × временная/постоянная). Агент должен не просто выполнить задачу, а детектировать аномалию, откатиться и перепланировать маршрут через альтернативные инструменты.

Вместо бинарного "решил/не решил" вводят PRR (насколько точно агент восстановился) и RC (стоимость восстановления — штраф за бесконечные ретраи).

Вывод: топовые модели часто не замечают семантические сбои и застревают в петлях ретраев. Динамическое перепланирование — это отдельный навык, не отражаемый обычными метриками успеха.

https://arxiv.org/abs/2606.05806

AffordanceVLA: робот смотрит на кружку и сразу понимает, за ручку её брать

Главная проблема VLA-моделей — огромная пропасть между "понять картинку" и "двинуть рукой". Авторы из Peking University предлагают заполнить этот gap через affordance — структурированное промежуточное представление, отвечающее на три вопроса: Which2Act (что трогать?), Where2Act (где именно?), How2Act (как взаимодействовать в 3D?).

Архитектура — Mixture-of-Transformers с тремя экспертами: понимание сцены, генерация affordance и управление действием. Обучение в три стадии: сначала grounding, потом синтетические роботизированные данные, потом файнтюн под конкретную задачу.

Ключевая фишка: affordance используется только при обучении как supervision-сигнал, не замедляя инференс. На LIBERO и CALVIN результаты конкурентны с сильными baseline вроде π0.

https://arxiv.org/abs/2606.06155

Можно ли доверить ИИ целую научную статью — от сырых данных до выводов?

ResearchClawBench — новый бенчмарк для оценки автономных научных агентов. Идея простая и жёсткая: дать модели реальные экспериментальные данные и несколько связанных статей, а затем проверить, сможет ли она самостоятельно переоткрыть результаты скрытой целевой публикации.

40 задач из 10 областей: астрономия, химия, физика, нейронауки и др. Оценка — экспертные рубрики по 5 измерениям (глубина, полнота, следование инструкциям и т.д.). Порог в 50 баллов = уровень целевой статьи.

Результат: лучший агент Claude Code набирает лишь 21.5 из 50. Даже если брать лучший результат каждого агента по каждой задаче — фронтир всего 24.6. Нативные LLM без агентного обвеса не лучше: Claude-Opus-4.7 даёт 20.7.

Вывод: современные ИИ-системы ещё очень далеки от надёжного автономного научного открытия.

https://arxiv.org/abs/2606.07591

Latent Spatial Memory для видео-генерации: в 10 раз быстрее и в 55 раз экономнее по памяти (by Microsoft Research)

Современные видео-модели хранят 3D-память как облако точек с RGB-цветами. Проблема: при каждом шаге нужно рендерить пиксели и снова прогонять через VAE-энкодер. Это медленно и накапливает ошибки.

Авторы предложили хранить память прямо в латентном пространстве VAE — без конвертации в пиксели. Каждая точка 3D-сцены хранит не цвет, а латентный токен. При чтении — прямая проекция в латентное пространство, без рендеринга.

На этом построена модель Mirage: инициализация из первого кадра → readout → диффузионная генерация → обновление кэша. По кругу, чанк за чанком.

Результат: до 10.57× ускорение, до 55× меньше GPU-памяти, SOTA на WorldScore.

https://arxiv.org/abs/2606.09828

Как сэкономить 86% GPU-памяти при длинных контекстах, не потеряв точность? (by Tencent)

Ключевое наблюдение: при инференсе с контекстом >64K токенов более 90% запросов можно корректно обработать, используя лишь последние 8K токенов. Значит, огромная часть KV-кэша просто зря занимает GPU-память.

Авторы предлагают Lookahead Sparse Attention (LSA) поверх DeepSeek-V4. Идея: каждые τ шагов (например, 64) лёгкий Neural Memory Indexer предсказывает, какие исторические KV-чанки понадобятся в ближайшем окне, и подгружает только их из CPU в GPU. Остальное спокойно лежит в "холодном" хранилище.

Изюминка — indexer обучается полностью независимо от основной модели (backbone-free), на заранее посчитанных представлениях, за 1 час на одном GPU H20.

Результат: память сокращается до 13.5% от базового уровня (при 500K контексте — до 90%), а точность на LongBench-v2, LongMemEval и RULER даже чуть выше (+0.6%) по сравнению с DeepSeek-V4-Flash.

https://arxiv.org/abs/2606.09079

Nvidia Tech: обучение LLM стало быстрее с NVFP4 на Blackwell

Nvidia представила поддержку формата NVFP4 для предобучения больших языковых моделей через JAX и фреймворк MaxText. Это 4-битная смешанная точность, которая работает на чипах серии Blackwell и Rubin.

Главное: скорость обучения выросла до 1.73x по сравнению с FP8 при практически нулевой потере точности. На моделях Llama 3 8B и Llama 3.1 405B деградация финального лосса не зафиксирована.

Как это работает: NVFP4 применяется к MLP-слоям трансформера, а блоки внимания остаются в более высокой точности — это защищает от шума квантования в softmax. Пять ключевых техник обеспечивают сходимость: микроблочное масштабирование, E4M3 коэффициенты, преобразование Адамара, 2D-масштабирование весов и стохастическое округление.

Для разработчиков: рецепт уже доступен в репозитории JAX-Toolbox, включается одним флагом quantization=te_nvfp4. Это позволяет обучать больше моделей за тот же бюджет вычислений или сокращать время обучения.

https://developer.nvidia.com/blog/train-models-faster-with-jax-and-maxtext-using-nvfp4-on-nvidia-blackwell/

Amazon Science предложила 4 подхода к «заземлению» AI-агентов в реальном мире.

Проблема: агенты нового поколения уже не просто отвечают на вопросы — они действуют в физической среде: на складах, в больницах, на производстве. Галлюцинации здесь опасны буквально — неверный расчёт траектории робота может навредить людям.

Решение — четыре метода:
1. Физически обоснованное обучение — модель знает законы физики ещё на этапе претрейнинга и не нарушает их.
2. Калиброванная неопределённость — агент понимает, когда не уверен, и сам запрашивает помощь человека. Ошибка калибровки снижается на 25%.
3. Фреймворк AWL — мост между языком и математикой: агент обращается к симуляторам при сложных задачах. Точность выросла на 29% по сравнению с GPT-4o и Claude 3.5.
4. Формальная верификация — внешний софт проверяет логику выводов в реальном времени.

Всё это уже применяется в Project Eluna — агенте для управления складами Amazon.

https://www.amazon.science/blog/real-world-grounding-in-agentic-ai