InhumanScience
100 subscribers
527 photos
811 links
AI about AI
by Andrew Kaznacheev
Download Telegram
Nvidia Tech (KRAFTON + NVIDIA ACE): в PUBG появился AI-напарник

KRAFTON выпустила PUBG Ally — первого «co-playable character» (CPC) для PUBG: BATTLEGROUNDS на базе NVIDIA ACE. Это не обычный бот: Ally слышит голос игрока, понимает контекст матча и отвечает вслух в реальном времени.

Под капотом: распознавание речи, языковая модель Mistral-NeMo-Minitron-2B (всего 2 млрд параметров) и синтез речи — всё работает прямо на устройстве, без облака. Это убрало сетевые задержки и уложило систему в 8 ГБ VRAM.

Ally помнит игрока между сессиями, поддерживает английский, корейский и китайский, а быстрые боевые действия отделены от «медленного» языкового мышления — чтобы напарник реагировал мгновенно.

Публичная бета шла с 17 по 30 июня в Arcade Mode. Это первый серьёзный шаг к AI-тиммейту, который ведёт себя как живой игрок.

https://developer.nvidia.com/blog/how-krafton-built-pubg-ally-a-co-playable-character-powered-by-nvidia-ace/
GauntletBench: современные AI-агенты провалились там, где обычный человек справляется легко (by University of Oxford)

Большинство бенчмарков для агентов уже насыщены — топовые модели их решают почти идеально. Оксфордские исследователи предложили GauntletBench: 5 нестандартных веб-приложений (видеоредактор, 3D-моделлер, конструктор схем, анализатор полётов, конструктор воркфлоу), 100 задач на три слабо изученных способности: временное восприятие, понимание графики и 3D-рассуждение.

Результаты шокируют: Claude Opus Computer Use — лучший среди агентов — набрал лишь 19.1% успеха. GPT Computer Use — 4.3%, Gemini Enterprise — 13.7%. Большинство open-source моделей (Qwen, Llama) — около нуля.

При этом обычные люди без специальных знаний решают те же задачи с точностью >80% и тратят на 30% меньше шагов.

Вывод: агенты отлично выучили знакомые интерфейсы, но совершенно не умеют обобщать на новые сценарии.

https://arxiv.org/abs/2606.14397
Как научить 9B-модель работать в терминале лучше Claude Haiku?

Терминальные агенты — горячая тема: Claude Code, Cursor и другие инструменты делают сложные long-horizon задачи в терминале. Но академические датасеты для обучения либо слишком простые, либо заточены под bug-fixing (SWE-Bench).

Авторы предлагают простой рецепт: генерируют датасет TMAX-15K из 14600 RL-окружений через Gemini-3-Pro. Ключевая фишка — задачи строятся по 9 осям (домен, навыки, сложность и т.д.), что даёт контролируемое разнообразие и сложность без дорогой валидации через teacher-модель.

Для RL-обучения используют DPPO вместо нестабильного GRPO, с FP32 LM-головой и большим group size. Результат: 9B-модель набирает 27% на Terminal-Bench 2.0, обгоняя другие open-модели и конкурируя с Claude Haiku 4.5. Бонус — RL-обучение обобщается: +5 очков на SWE-Bench и даже улучшение на AIME.

Код, данные и чекпоинты открыты.

https://arxiv.org/abs/2606.23321
OCR целой книги за один проход — это реально?

Все современные OCR-модели работают по схеме "страница за страницей в цикле": обработал, сбросил память, следующая. Это инженерный костыль, а не интеллект. Авторы предложили другой подход, вдохновлённый тем, как человек переписывает книгу от руки: смотришь в оригинал, видишь пару последних написанных символов — и пишешь следующий. Не нужно помнить всё написанное целиком.

Ключевая идея — Reference Sliding Window Attention (R-SWA): каждый токен видит все визуальные токены (картинку) целиком, но из уже сгенерированного текста — только последние n токенов. KV-кеш реализован как очередь фиксированного размера: новый токен добавляется, старый вытесняется. Память не растёт бесконечно.

На базе DeepSeek OCR + R-SWA получилась модель Unlimited OCR (3B MoE), которая парсит десятки страниц за один forward pass и при этом бьёт базовый DeepSeek OCR на 6% на бенчмарке OmniDocBench v1.5.

https://arxiv.org/abs/2606.23050
IBM Research представила чип с техпроцессом менее 1 нанометра — это буквально новая эра в полупроводниках.

До сих пор индустрия топталась у отметки 2 нм. IBM пробила этот барьер с архитектурой nanostack: транзисторы здесь настолько плотно упакованы, что говорить о "нанометрах" в привычном смысле уже не приходится.

Что это значит на практике? Больше вычислительной мощности при меньшем энергопотреблении. Для AI-задач — это критично: обучение моделей и инференс жрут колоссальное количество энергии, и sub-1nm чипы могут радикально изменить эту картину.

Пока это исследовательский прорыв, а не массовый продукт. Но IBM традиционно прокладывает путь, по которому потом идут TSMC и Intel. Следите за руками — через несколько лет эта технология может оказаться в ваших устройствах.

https://research.ibm.com/blog/what-is-a-nanostack?utm_medium=rss&utm_source=rss
PyTorch представил TokenSpeed-Kernel — открытую систему ядер для эффективного LLM-инференса на разном железе.

Суть проблемы: когда движок поддерживает AMD, NVIDIA и другие платформы, код превращается в лабиринт — проверки железа расползаются по всему рантайму. TokenSpeed-Kernel решает это через чёткое разделение слоёв.

Как работает: рантайм вызывает единый API (mha_prefill, moe_apply и т.д.), не зная деталей железа. Система сама выбирает нужное ядро через реестр — каждое ядро регистрируется с метаданными о поддерживаемых платформах, форматах тензоров и приоритете.

Что внутри: Gluon-ядра для AMD, CuteDSL для NVIDIA, плюс Triton как переносимый запасной вариант. На AMD GPT-OSS 120B система показала топовую производительность.

Для разработчиков это значит: добавить новую модель или новое железо теперь можно без переписывания несвязанного кода. Пакет публикуется как самостоятельный — его можно использовать отдельно от остального стека.

https://pytorch.org/blog/lightseek-tokenspeed-kernel/
SingGuard: гибкий мультимодальный guardrail с динамической политикой (by inclusionAI)

Проблема современных guardrail-систем: они заточены под фиксированную таксономию рисков. Поменялась политика компании или домен (медицина, финансы) — переобучай модель заново.

SingGuard решает это иначе: политика безопасности подаётся прямо в инференсе как текст с правилами. Модель проверяет контент rule-by-rule, а не просто классифицирует по заранее выученным лейблам.

Ещё одна фишка — три режима вывода: fast (просто лейбл), hybrid (лейбл + рассуждение при неуверенности), slow (полный разбор по каждому правилу). Обучение с RL при этом намеренно отвязывает первый быстрый токен от последующего рассуждения, чтобы начальный вердикт не якорил цепочку мыслей.

Результат: +7.5% accuracy на dynamic-policy бенчмарке против Qwen3-VL-8B, SOTA на 35 датасетах.

https://arxiv.org/abs/2606.22873
Токены с высокой энтропией важнее для длинных рассуждений, чем те, на которые обращает внимание модель!

Классические методы сжатия KV-кеша смотрят назад: сохраняют токены, которые недавние токены активно "замечали". Но в длинных рассуждениях (тысячи токенов) это работает плохо — важные для будущего токены могут быть неактивны прямо сейчас.

Авторы вводят метрику Forward Influence: насколько сильно изменится распределение будущих предсказаний, если убрать токен из кеша? Оказалось, что токены с высокой энтропией (= модель была неуверена при их предсказании) имеют гораздо большее долгосрочное влияние, чем токены с высоким attention.

InfoKV комбинирует три сигнала: энтропию токена, эволюцию его представления между промежуточным и финальным слоями, и классический attention score. На DeepSeek-R1 метод даёт прирост на AIME 2024, LiveCodeBench и IFEval.

https://arxiv.org/abs/2606.26875
Агент-датасаентист сам создаёт сложные датасеты для своего обучения

Идея простая, но мощная: зачем вручную размечать данные, если LLM-агент может сам сыграть роль датасаентиста? Autodata — это агентный цикл, где модель создаёт данные, анализирует их качество и итеративно улучшает рецепт генерации.

Ключевой трюк — схема "слабый vs сильный солвер": Challenger генерирует задачу, слабая модель пытается решить и проваливается, сильная — справляется. Агент принимает только примеры с большим разрывом между ними. Это гарантирует нужный уровень сложности автоматически.

На CS-исследовательских вопросах gap между солверами вырос с 0.02 до 0.31 по сравнению с обычным CoT Self-Instruct. Сам агент тоже поддаётся мета-оптимизации — и это даёт дополнительный буст качества данных.

https://arxiv.org/abs/2606.25996
35B модель побила триллионники — как?

Agents-A1 от Intern Science — 35B MoE агент, который обходит модели на 1 триллион параметров (Kimi-K2, DeepSeek-V4) на задачах долгосрочного планирования, научного рассуждения и работы с инструментами.

Ключевая идея: вместо масштабирования параметров — масштабировать горизонт. Авторы строят Knowledge-Action Graph (KAG), который хранит не просто факты, а полные траектории агента: действие → наблюдение → верификация, включая неудачные попытки. Средняя длина траектории — 45K токенов!

Обучение в три этапа: сначала общий SFT на всех доменах, затем специализированные teacher-модели для каждого домена (поиск, ML-инжиниринг, наука, инструменты), и наконец — дистилляция всех учителей в одного студента через domain-routed on-policy distillation с выравниванием словарей.

Результат: 35B модель бьёт 1T на SEAL, IFBench, FrontierScience и других бенчмарках.

https://arxiv.org/abs/2606.30616
Как научить агента пользоваться инструментами только тогда, когда это реально помогает?

Когда мультимодальная LLM "думает с картинками" — пишет код, кропает изображение, зумирует — инструмент может как исправить ответ, так и сломать правильный. Проблема: стандартный RLVR даёт награду за финальный ответ всей траектории, не разбираясь, помог ли конкретный вызов инструмента или навредил.

TACO решает это двумя идеями:

DAPR (Differential Answer-Probe Reward) — вставляет два "зонда": один фиксирует ответ ДО вызова инструмента, второй — ПОСЛЕ. Разность их наград и есть ценность вызова. Полезный вызов получает положительный сигнал, вредный — отрицательный. Без внешнего судьи!

OGAR (Outcome-Gated Advantage Routing) — маршрутизирует финальное преимущество только к токенам, реально ответственным за ответ. Бесполезный вызов не получает незаслуженной награды, а провальная но оправданная попытка не штрафуется.
Путеводитель по агентному AI: всё что нужно знать в одной книге

Вышел монументальный учебник по агентным системам на основе LLM — почти энциклопедия для практикующего ML-инженера. Автор H. Roitman собрал в одном месте буквально всё: от токенизации и трансформеров до мультиагентных систем и безопасности.

Что внутри: архитектура трансформеров и Flash Attention, оптимизаторы (Adam/AdamW), SFT и LoRA, MoE, методы декодинга, квантизация и speculative decoding, GPU-архитектура и vLLM с PagedAttention, RAG, инструменты и агентные фреймворки.

Это не исследовательская статья, а скорее "недостающий учебник" — написан живо, с примерами на HuggingFace и практическими советами на каждом шагу. Если хочешь разобраться в агентном AI от фундамента до продакшна — лучшего старта сложно придумать.

https://arxiv.org/abs/2606.24937
Microsoft Research представила Memora — новую систему памяти для ИИ-агентов, опубликованную на ICML 2026.

Проблема: современные ИИ-агенты «забывают» всё между сессиями. Каждый раз им нужно заново скармливать контекст или тянуть данные из внешних источников — это медленно и неэффективно при длинных задачах.

Что сделали: Memora разделяет то, ЧТО хранится (детальный контент), и КАК это извлекается (короткие абстракции и «якоря»). Система сама объединяет связанные воспоминания, не дублируя их, и умеет находить нелинейные связи — как человек, вспоминающий цепочку событий.

Результаты впечатляют: на бенчмарках LoCoMo и LongMemEval Memora обошла RAG, Mem0 и даже полный контекст, при этом используя на 98% меньше токенов.

Код открыт на GitHub. Для тех, кто строит долгосрочных ИИ-ассистентов — must-see.

https://www.microsoft.com/en-us/research/blog/memora-a-harmonic-memory-representation-balancing-abstraction-and-specificity/
PyTorch запустил Cross-Repository CI Relay (CRCR) — систему, которая автоматически запускает тесты в сторонних репозиториях при каждом PR в pytorch/pytorch.

Раньше такие проекты как vLLM, Intel XPU или AMD ROCm запускали свои CI отдельно — результаты нигде не собирались, а разработчики PyTorch не видели, что их изменения что-то сломали в экосистеме.

Теперь всё работает автоматически: PR в PyTorch → сигнал уходит во все подключённые репозитории → они прогоняют тесты → результаты появляются на едином дашборде hud.pytorch.org/crcr за считанные секунды.

Система поддерживает 4 уровня интеграции: от простых уведомлений до блокирующих проверок перед мёржем. Подключиться просто — одна строка в YAML-конфиге и минимальный workflow-файл.

https://pytorch.org/blog/introducing-cross-repository-ci-relay-scalable-ci-for-pytorchs-out-of-tree-backends/
OSWorld 2.0: лучшие агенты справляются лишь с 20% задач

Все хвалились, что Claude Opus 4.8 берёт 83.5% на OSWorld — значит, компьютерные агенты почти решены? Не совсем. Те задачи занимали минуты и редко выходили за пределы одного приложения.

OSWorld 2.0 — новый бенчмарк из 108 задач, где медианная задача требует 1.6 часа активной работы человека (в 48 раз длиннее, чем в OSWorld 1.0). Агент делает 300+ шагов, переключается между приложениями, получает новые сообщения прямо во время выполнения задачи, и должен не потерять нить.

Результат: Claude Opus 4.8 с максимальным thinking — лишь 20.6% полного выполнения. GPT-5.5 — около 13%, но хотя бы экономит токены.

Главная проблема не в том, что агенты плохо кликают по кнопкам. Они не удерживают модель задачи в голове: забывают ограничения, пропускают сообщения, которые пришли в середине работы, угадывают вместо того чтобы спросить пользователя, и тратят менее 7% бюджета на исправление собственных ошибок.

https://arxiv.org/abs/2606.29537
Evolution Fine-Tuning: маленькая модель учится "изобретать" на 371 задаче (by Minnesota NLP)

Большие LLM умеют делать эволюционный поиск — предлагать решения, оценивать, улучшать. Но есть проблема: маленькие open-source модели (меньше 9B) в таких сценариях просто ломаются и дают мусор. Авторы придумали Evolution Fine-Tuning (EFT): берём траектории успешных поисков большой модели (Qwen3.5-397B) по 371 задаче из 10 областей — и дистиллируем это "умение эволюционировать" в маленькие модели 2B–9B.

Ключевой результат: Finch-8B не только догоняет проприетарные модели на held-out задачах, но и переносит стратегии между доменами — например, применяет Levenberg-Marquardt из численной оптимизации к задаче соревновательного программирования. Базовая модель так не умеет.

Датасет: 156K траекторий, открытый. Чем больше задач в обучении (15 → 355), тем лучше на новых (+14.1%).

https://arxiv.org/abs/2606.29082
👍1
Как научить одну модель рисовать, редактировать локально и глобально — без деградации?

Современные диффузионные модели хотят уметь всё сразу: text-to-image, локальное и глобальное редактирование. Проблема — эти задачи конфликтуют при совместном обучении, и модель деградирует.

DanceOPD смотрит на каждую "способность" как на поле скоростей (velocity field) в пространстве flow-matching генерации. Идея: вместо того чтобы смешивать поля разных учителей, каждый пример жёстко маршрутизируется к одному полю (hard routing). Дальше — поле запрашивается на состояниях, которые генерирует сам студент (on-policy), а не на фиксированных офлайн-траекториях. И только один запрос на семантической стороне (низкий шум), чтобы избежать коррелированных сигналов.

Результат: +8.1% на GEditBench при сохранении качества T2I, +16.1% при композиции локального и глобального редактирования.

https://arxiv.org/abs/2606.27377
OpenAI представила GeneBench-Pro — новый бенчмарк для оценки возможностей ИИ в геномике, биологии и научных исследованиях.

В отличие от стандартных тестов, GeneBench-Pro использует сложные данные из реальных исследований. Это значит, что модели теперь проверяются не на абстрактных задачах, а на том, с чем реально сталкиваются учёные.

Почему это важно? Биомедицина — одна из ключевых областей применения ИИ. Новый бенчмарк поможет честнее сравнивать модели и подтолкнёт разработчиков к улучшению именно научных возможностей. Для исследователей это сигнал: ИИ-инструменты для геномики становятся серьёзнее.

https://openai.com/index/introducing-genebench-pro
Microsoft Research представила SkillOpt — систему, которая превращает написание инструкций для AI-агентов в полноценный процесс обучения.

Проблема: агенты часто работают нестабильно, потому что их "скиллы" (инструкции) правятся вручную без гарантии улучшения. SkillOpt решает это, обращаясь с файлом инструкций как с обучаемым параметром — но без изменения весов самой модели.

Система работает по циклу: агент выполняет задачи, отдельная модель-оптимизатор анализирует результаты, предлагает точечные правки, и только те, что реально улучшают результат на валидации, попадают в финальный файл.

Результаты впечатляют: на 52 комбинациях бенчмарков, моделей и режимов SkillOpt занял первое место везде. GPT-5.5 вырос с 58.8 до 82.3 балла в среднем по 6 бенчмаркам. Малые модели с оптимизированным скиллом обгоняют более крупные без него.

Главный бонус — скилл переносится между моделями и окружениями. Файл, обученный в Codex, поднял результат в Claude Code с 22.1 до 81.8 без дополнительной настройки.

https://www.microsoft.com/en-us/research/blog/skillopt-agent-skills-as-trainable-parameters/
Nvidia представила GQE — референсную архитектуру GPU-ускоренного движка SQL-запросов.

GQE использует возможности железа GB200 NVL4: высокоскоростную память HBM, NVLink-C2C и встроенный движок декомпрессии Blackwell. Система разбита на три слоя — запросов, данных и исполнения — и работает поверх библиотек cuDF, nvCOMP и CCCL.

Ключевые фишки: гибридное сжатие (алгоритмы Cascaded и LZ4 выбираются автоматически под каждую колонку), конвейерная передача данных с GPU, агрессивная обрезка партиций через zone maps.

Результат: на бенчмарке TPC-H SF1000 GQE показал ускорение в 7,5x по сравнению с лучшими CPU-базами данных, а по отдельным запросам — до 25,5x.

Для разработчиков баз данных это готовый шаблон, как перенести исполнение запросов на GPU и закрыть узкие места по пропускной способности памяти и I/O.

https://developer.nvidia.com/blog/designing-gpu-accelerated-query-engines-with-nvidia-gqe/
VideoSearch-R1: агент, который ищет видео итеративно, уточняя запросы в латентном пространстве

Обычные видеопоисковики работают в одну сторону: запрос → топ-K видео → готово. Но что если нужное видео не попало в топ? VideoSearch-R1 решает это через многошаговый цикл: нашли видео → проверили совпадение с запросом → не то? → уточнили запрос → ищем снова.

Главная фишка — Soft Query Refinement (SQR). Вместо того чтобы переписывать запрос текстом (дорого, много токенов), модель генерирует уточнение прямо в непрерывном латентном пространстве. Эти "мягкие токены" дообучаются через InfoNCE loss, подтягивая эмбеддинг запроса ближе к нужному видео.

Всё это обучается через GRPO (RL), совместно оптимизируя и поиск видео, и временну́ю локализацию момента внутри него. SOTA на трёх бенчмарках VCMR при меньшем числе сгенерированных токенов, чем у текстового рефайнмента.

https://arxiv.org/abs/2607.00446