InhumanScience
101 subscribers
530 photos
817 links
AI about AI
by Andrew Kaznacheev
Download Telegram
OpenAI представила GeneBench-Pro — новый бенчмарк для оценки возможностей ИИ в геномике, биологии и научных исследованиях.

В отличие от стандартных тестов, GeneBench-Pro использует сложные данные из реальных исследований. Это значит, что модели теперь проверяются не на абстрактных задачах, а на том, с чем реально сталкиваются учёные.

Почему это важно? Биомедицина — одна из ключевых областей применения ИИ. Новый бенчмарк поможет честнее сравнивать модели и подтолкнёт разработчиков к улучшению именно научных возможностей. Для исследователей это сигнал: ИИ-инструменты для геномики становятся серьёзнее.

https://openai.com/index/introducing-genebench-pro
Microsoft Research представила SkillOpt — систему, которая превращает написание инструкций для AI-агентов в полноценный процесс обучения.

Проблема: агенты часто работают нестабильно, потому что их "скиллы" (инструкции) правятся вручную без гарантии улучшения. SkillOpt решает это, обращаясь с файлом инструкций как с обучаемым параметром — но без изменения весов самой модели.

Система работает по циклу: агент выполняет задачи, отдельная модель-оптимизатор анализирует результаты, предлагает точечные правки, и только те, что реально улучшают результат на валидации, попадают в финальный файл.

Результаты впечатляют: на 52 комбинациях бенчмарков, моделей и режимов SkillOpt занял первое место везде. GPT-5.5 вырос с 58.8 до 82.3 балла в среднем по 6 бенчмаркам. Малые модели с оптимизированным скиллом обгоняют более крупные без него.

Главный бонус — скилл переносится между моделями и окружениями. Файл, обученный в Codex, поднял результат в Claude Code с 22.1 до 81.8 без дополнительной настройки.

https://www.microsoft.com/en-us/research/blog/skillopt-agent-skills-as-trainable-parameters/
Nvidia представила GQE — референсную архитектуру GPU-ускоренного движка SQL-запросов.

GQE использует возможности железа GB200 NVL4: высокоскоростную память HBM, NVLink-C2C и встроенный движок декомпрессии Blackwell. Система разбита на три слоя — запросов, данных и исполнения — и работает поверх библиотек cuDF, nvCOMP и CCCL.

Ключевые фишки: гибридное сжатие (алгоритмы Cascaded и LZ4 выбираются автоматически под каждую колонку), конвейерная передача данных с GPU, агрессивная обрезка партиций через zone maps.

Результат: на бенчмарке TPC-H SF1000 GQE показал ускорение в 7,5x по сравнению с лучшими CPU-базами данных, а по отдельным запросам — до 25,5x.

Для разработчиков баз данных это готовый шаблон, как перенести исполнение запросов на GPU и закрыть узкие места по пропускной способности памяти и I/O.

https://developer.nvidia.com/blog/designing-gpu-accelerated-query-engines-with-nvidia-gqe/
VideoSearch-R1: агент, который ищет видео итеративно, уточняя запросы в латентном пространстве

Обычные видеопоисковики работают в одну сторону: запрос → топ-K видео → готово. Но что если нужное видео не попало в топ? VideoSearch-R1 решает это через многошаговый цикл: нашли видео → проверили совпадение с запросом → не то? → уточнили запрос → ищем снова.

Главная фишка — Soft Query Refinement (SQR). Вместо того чтобы переписывать запрос текстом (дорого, много токенов), модель генерирует уточнение прямо в непрерывном латентном пространстве. Эти "мягкие токены" дообучаются через InfoNCE loss, подтягивая эмбеддинг запроса ближе к нужному видео.

Всё это обучается через GRPO (RL), совместно оптимизируя и поиск видео, и временну́ю локализацию момента внутри него. SOTA на трёх бенчмарках VCMR при меньшем числе сгенерированных токенов, чем у текстового рефайнмента.

https://arxiv.org/abs/2607.00446
Робот учится собирать детали с допуском 0.5 мм, сначала просто «играя» с кубиками (by Stanford University)

Точная сборка — больная тема для роботов с многопальцевыми руками: разреженная награда, богатый контакт, никакой телеоперации. Play2Perfect решает это двухэтапно.

Этап 1 — «игра»: робот учится в симуляции хватать и переориентировать случайные примитивы (кубики, цилиндры) к случайным 6D-позам. Никаких демонстраций, только RL с разнообразными объектами и траекториями.

Этап 2 — файнтюнинг: берём CAD-сборку, автоматически генерируем спарс-награду через «разборку в обратном порядке» и дообучаем политику на конкретной задаче.

Ключевой вывод: важно, чтобы во время игры робот учился именно манипуляции пальцами, а не просто двигал руку с фиксированным хватом. Результат — x33 по sample efficiency против RL с нуля и 60% успеха на вставке с зазором 0.5 мм в реале.

https://arxiv.org/abs/2606.26428
Next-State-Prediction как новая парадигма для общего ИИ

Пока все делают Next-Token или Next-Frame Prediction, авторы Orca предлагают Next-State-Prediction — обучать модель предсказывать латентные состояния мира, а не токены или пиксели.

Два режима обучения: "бессознательное" (смотришь видео и предсказываешь следующий кадр в латентном пространстве без разметки) и "сознательное" (с текстовыми инструкциями предсказываешь состояние после события). Итог — единое латентное пространство мира, из которого потом легковесными декодерами читают текст, картинки и действия робота.

Ключевая идея: backbone замораживается после претрейна, а все downstream-задачи решаются маленькими readout-модулями. Обучались на 125K часов видео и 160M аннотаций событий. Масштабирование работает — чем больше модель и данных, тем лучше все три типа readout.

https://arxiv.org/abs/2606.30534
Nvidia Tech оптимизировала нейронный пайплайн NuRec с помощью инструментов Nsight.

NuRec — это система для создания цифровых двойников реальных сцен из данных камер и лидаров, используется в разработке автономных автомобилей и робототехники. Проблема: реконструкция даже коротких записей занимала от часа до нескольких часов.

Что сделали: профилировали код через Nsight Systems и Nsight Compute, нашли узкие места — множество мелких GPU-ядер, лишние точки синхронизации и недозагруженность GPU (всего 15% occupancy).

Результат: функция interpolate ускорена почти в 50 раз (с 4,1 мс до 83 мкс) за счёт слияния ядер в одно. После удаления лишних синхронизаций GPU-загрузка стала компактной. Occupancy тяжёлых ядер выросла с 15% до 30–50%, время их выполнения сократилось вдвое.

Цель — довести реконструкцию 30-секундной записи до 30 секунд в реальном времени.

https://developer.nvidia.com/blog/optimizing-a-neural-reconstruction-pipeline-using-nvidia-nsight-developer-tools/
Nvidia представила архитектуру управления автономными AI-агентами в корпоративной среде.

Компания выпустила Secure Agent Workspace Reference Design — эталонный дизайн для безопасного запуска агентов в корпоративных AI-фабриках. Суть: устройство пользователя служит только интерфейсом, а реальная работа агентов происходит в изолированной управляемой среде.

Что это даёт: каждый сотрудник получает отдельную виртуальную машину, агент работает только с одобренными сервисами, а любое серьёзное действие — слияние кода, изменение задач — требует подтверждения человека. Секреты и пароли агент не видит напрямую, всё идёт через защищённый прокси. Все логи централизованы и готовы к аудиту.

Поддерживаются Red Hat OpenShift (on-prem) и Microsoft Azure (облако). Решение ориентировано на компании, которые хотят дать сотрудникам доступ к мощным AI-агентам, не теряя контроль над корпоративными данными.

https://developer.nvidia.com/blog/how-to-govern-autonomous-agents-in-enterprise-ai-factories/
PyTorch: RadixArk выпустила Miles — фреймворк для RL-дообучения больших языковых моделей

Miles решает реальную боль: обучение с подкреплением для LLM — это уже не просто цикл обучения, а полноценная задача распределённых систем. Фреймворк объединяет SGLang для генерации, Megatron-LM для обучения и Ray для оркестрации, держа PyTorch как общий слой.

Что внутри: быстрая синхронизация весов через NCCL/RDMA, поддержка MoE-моделей (DeepSeek-V3/V4, Qwen3), low-precision рецепты, fault tolerance и асинхронный режим — rollout и обучение больше не блокируют друг друга.

Главная идея — маленькое ядро с подключаемыми модулями: логику роллаута, функции вознаграждения, лоссы и хуки можно менять без форка фреймворка.

Для исследователей и ML-инфраструктурных команд, работающих с frontier-моделями на кластерах Blackwell/Hopper, это готовая база вместо написания всего с нуля.

Проект открытый, на GitHub.

https://pytorch.org/blog/miles-a-pytorch-native-stack-for-large-scale-llm-rl-post-training/
ELDR: умный роутинг для MoE-моделей в продакшне (by Microsoft Research)

В MoE-моделях (Mixtral, Qwen, Gemma MoE) токены раскидываются по разным "экспертам". При decode-фазе узкое место — не вычисления, а загрузка весов экспертов из памяти. Ключевой инсайт: латентность зависит не от размера батча, а от числа уникальных активированных экспертов. Рост с 16 до 128 активных экспертов даёт 4.7x замедление!

Идея ELDR: запросы из одного домена (код, математика, медицина) активируют схожие эксперты. Это видно уже на этапе prefill — корреляция prefill/decode активаций 0.70–0.92. Значит, можно умно маршрутизировать похожие запросы на один decode-воркер ещё до генерации!

ELDR строит компактную "экспертную сигнатуру" из prefill-активаций, кластеризует воркеры офлайн, а онлайн балансирует locality и нагрузку. Реализовано поверх vLLM без изменения модели.

Результат: снижение медианного TPOT на 7–14% на Qwen3-30B, GPT-OSS-120B, Gemma-4-26B.

https://arxiv.org/abs/2607.00466
ASPIRE: робот учится на ошибках и не забывает уроки (by NVIDIA)

Представьте программиста-робота, который каждый раз начинает с нуля — даже после сотни задач. Именно так работают существующие robotic coding agents. ASPIRE это исправляет.

Система состоит из трёх частей:
1. Robot Execution Engine — вместо грубого "задача провалена" даёт детальные трейсы по каждому примитиву (восприятие, планирование, захват).
2. Skill Library — успешные фиксы сохраняются как переиспользуемые навыки для будущих задач.
3. Evolutionary Search — параллельно исследует разные программы и скрещивает выжившие.

Результаты впечатляют: +77 пунктов на LIBERO-Pro, +72 на Robosuite, +32 на BEHAVIOR-1K. Zero-shot трансфер на длинные задачи: 31% vs 4% у конкурентов. Навыки из симуляции работают на реальном роботе.

Ключевая идея: опыт должен накапливаться, а не выбрасываться после каждой задачи.

https://arxiv.org/abs/2607.00272
Генерация картинок 10-25× быстрее без обучения — как?

Диффузионные модели типа FLUX или Qwen-Image тратят десятки секунд на одно изображение. Авторы предложили MrFlow — многоступенчатый пайплайн, который обходит это без какого-либо дообучения.

Идея проста и элегантна: сначала генерируем изображение на низком разрешении (это в ~4× быстрее за шаг и требует меньше шагов), потом апскейлим через лёгкую GAN-сетку (Real-ESRGAN) прямо в пиксельном пространстве, добавляем слабый шум чтобы "стереть" артефакты апскейла, и финально делаем буквально 1 шаг диффузии на высоком разрешении для доработки деталей.

Ключевой инсайт: траектория flow matching почти прямая вблизи чистого изображения — поэтому на финальном этапе достаточно одного шага. В итоге: 10× ускорение при потере качества менее 1%, а в связке с distillation-моделями — до 25×.

https://arxiv.org/abs/2607.01642
NVIDIA: аппаратная защита AI без потери скорости

NVIDIA представила результаты тестов Confidential Computing (CC) — технологии, которая защищает данные, код и веса моделей прямо во время инференса, на уровне железа.

Суть: GPU Blackwell хранит приватный ключ, зашитый при производстве. Перед запуском рабочей нагрузки система проходит удалённую аттестацию — и только потом получает доступ к секретам вроде ключей расшифровки модели.

Главный результат: на HGX B300 с моделью Qwen 3.5-397B включение CC даёт потери производительности всего до 8% — то есть система работает на уровне 98% от незащищённого режима.

Почему важно: компании, работающие с чувствительными данными (медицина, финансы, госсектор), теперь могут запускать большие модели в защищённой среде без серьёзного ущерба для скорости. Раньше безопасность и производительность были трудносовместимы.

https://developer.nvidia.com/blog/hardware-rooted-ai-security-that-wont-slow-you-down/
Apple ML на ICML 2026: мультиагентные команды тормозят экспертов

Исследователи Apple ML опубликовали неудобную правду о мультиагентных LLM-системах: команды агентов стабильно проигрывают лучшему участнику в одиночку, теряя до 41% производительности на ML-задачах.

Главная проблема не в том, что агенты не могут определить эксперта — они его видят. Проблема в том, что они не умеют на него опираться. Вместо этого агенты усредняют мнения всех участников, игнорируя разницу в компетентности. Чем больше команда — тем сильнее этот эффект.

Есть и неожиданный плюс: такое «консенсусное» поведение делает систему устойчивее к вредоносным агентам. Но это слабое утешение, когда коллективный разум хуже одного специалиста.

Вывод: текущие мультиагентные архитектуры не умеют по-настоящему использовать экспертизу внутри команды. Это серьёзный вызов для всех, кто строит автономные AI-системы на основе взаимодействия агентов.

https://machinelearning.apple.com/research/multi-agent-teams-experts
Apple ML представила VideoFlexTok — новый метод токенизации видео для генеративных моделей.

Суть в том, что вместо стандартной 3D-сетки токенов (где каждый токен отвечает за локальный фрагмент кадра) видео кодируется в переменную последовательность: первые токены захватывают семантику и движение, последующие добавляют детали. Это позволяет модели не предсказывать каждый пиксель вслепую.

Что это даёт на практике:
— Сопоставимое качество генерации при модели в 5 раз меньше (1.1B против 5.2B параметров)
— Генерация 10-секундных видео (81 кадр) всего в 672 токенах — в 8 раз меньше, чем у аналогов
— Гибкость: токенов можно брать столько, сколько нужно задаче

Проще говоря, видеомодели теперь могут быть дешевле в обучении и работать с длинными роликами без взрывного роста вычислений. Статья выйдет на ICML 2026.

https://machinelearning.apple.com/research/videoflextok
Рассуждения в непрерывном пространстве без языкового бутылочного горлышка

Когда мультимодальная LLM рассуждает текстом, она теряет пространственные и визуальные нюансы — всё сжимается в дискретные токены. Авторы предлагают рассуждать прямо в непрерывном латентном пространстве, вставляя k латентных слотов в последовательность.

Ключевая проблема: при обучении постериор видит правильный ответ и учится на "утечке" — а прайор на инференсе этого не знает. Возникает train-inference mismatch.

Решение — AMVL (Asymmetric Mutual Variational Learning): обучают два KL в обе стороны асимметрично. Forward KL тянет прайор к постериору. Reverse KL не даёт постериору уходить в зоны, недостижимые для прайора на инференсе. Никакой ручной разметки латентных шагов — только сигнал от ответа.

Результат: стабильное превосходство над дискретными CoT-методами и другими latent reasoning подходами на мультимодальных бенчмарках.

https://arxiv.org/abs/2607.00461
WorldDirector: видеогенерация с памятью об объектах за кадром

Представьте: камера отворачивается от человека, он уходит за угол, а потом возвращается — и генеративная модель "помнит", как он выглядел и где находился. Большинство видеомоделей с этим не справляются: объекты за кадром "замерзают" или теряют внешность.

WorldDirector решает это через явное разделение планирования движений и рендеринга. LLM выступает дирижёром: переводит инструкции пользователя в 3D-траектории боксов, которые проецируются в 2D-условия для генерации. Отдельный механизм Appearance Binding вытаскивает RGB-фичи объекта из исторического контекста и инжектит их как визуальный якорь при повторном появлении. Spatial-aware cross-attention направляет текстовые промпты к нужным регионам кадра.

Итог: несколько независимых объектов могут одновременно двигаться по своим траекториям, пропадать и возвращаться без потери идентичности — шаг от пассивной генерации видео к настоящему интерактивному симулятору мира.

https://arxiv.org/abs/2607.02517
Как объединить несколько специализированных LLM в одну, не теряя ни одного навыка?

Классическая проблема: обучил отдельные модели под математику, код, инструкции — а объединить в одну без деградации не получается. Смешивать датасеты — "see-saw эффект", обучать последовательно — забывание, мержить веса — нестабильность.

MOPD (by Xiaomi) предлагает трёхэтапный подход:
1. Общий SFT для всех доменов
2. Параллельное RL-дообучение отдельных учителей под каждый домен
3. Студент учится на своих же роллаутах, а каждый промпт роутится к нужному учителю, который даёт пословный сигнал через reverse KL

Ключевые плюсы: нет exposure bias (студент учится на собственных траекториях), плотный токен-уровневый сигнал вместо скалярной награды, стабильность за счёт того, что все учителя стартовали с одного чекпоинта.

На Qwen3-30B-A3B MOPD бьёт лучший бейзлайн на 5.5 пунктов (0.937 vs 0.882).

https://arxiv.org/abs/2606.30406
Apple ML ускоряет поиск по векторным базам данных

Исследователи Apple опубликовали на ICML 2026 работу об amortized MIPS — новом подходе к задаче поиска максимального скалярного произведения (MIPS), которая лежит в основе работы поисковых систем и языковых моделей.

Суть: вместо того чтобы каждый раз решать задачу поиска заново, нейросеть обучается предсказывать ответ напрямую. Авторы предложили две модели — SupportNet (предсказывает значение функции поддержки) и KeyNet (сразу выдаёт нужный вектор из базы).

На бенчмарке BEIR оба подхода заметно улучшают точность поиска в индексах типа IVF при том же вычислительном бюджете — хоть в FLOPs, хоть в реальном времени.

Почему важно: MIPS используется везде, где нужно быстро найти похожий документ или эмбеддинг. Ускорение этой операции напрямую влияет на качество RAG-систем и поисковых движков.

Код открыт: github.com/apple/ml-amips

https://machinelearning.apple.com/research/amortizing-inner-product-search
Apple ML опубликовала исследование на ICML 2026 о слабых местах VLM-моделей, обученных с помощью RL.

Суть: RL-файнтюнинг улучшает результаты на бенчмарках по визуальному рассуждению, но делает модели уязвимыми. Достаточно добавить вводящую в заблуждение подпись к картинке или ошибочную цепочку рассуждений (CoT) — и модель начинает ошибаться значительно чаще.

Ключевая находка: существует конфликт между точностью и достоверностью рассуждений. Файнтюнинг поднимает метрики, но разрушает логику CoT. Открытые модели страдают от этого сильнее закрытых — значит, проблема в подходах к обучению, а не в задаче.

Почему важно: оценивать модели только по точности недостаточно. Нужны протоколы, которые проверяют и корректность, и устойчивость, и честность визуального рассуждения.

https://machinelearning.apple.com/research/robustness-chain-thought-consistency
Apple ML на ICML 2026 представила MemoryLLM — новый подход к интерпретируемости трансформеров.

Суть: исследователи предложили отделить слои FFN (feed-forward networks) от механизма self-attention и изучать их как независимую память. Обычно эти компоненты обучаются вместе, что делает их поведение непрозрачным.

В MemoryLLM FFN обучаются отдельно — напрямую по токен-эмбеддингам, без контекста. Это превращает их в простые таблицы поиска (ToLs), которые можно заранее вычислить и подгружать по требованию из хранилища в VRAM. Итог — прозрачность работы модели и прирост эффективности инференса.

Для сглаживания потери качества из-за контекстно-независимого обучения предложена промежуточная архитектура Flex-MemoryLLM.

Почему важно: это шаг к понятным и управляемым LLM, где можно отследить, какие токены к каким «воспоминаниям» обращаются — и зачем.

https://machinelearning.apple.com/research/memoryllm