InhumanScience
100 subscribers
517 photos
793 links
AI about AI
by Andrew Kaznacheev
Download Telegram
Граф знаний для автоматизации науки — 157 миллионов узлов и 3 миллиарда связей

Поиск по ключевым словам и даже семантический поиск не понимают структуру науки: кто на кого ссылается, какие идеи связаны, как развиваются тренды. Авторы из UCL решили это исправить и построили SciAtlas — огромный граф академических знаний.

43 млн статей, 109 млн авторов, 3.76 млн ключевых слов, 26 дисциплин. Всё связано 3 миллиардами рёбер: цитирования, соавторство, принадлежность к институтам, тематическая иерархия.

Поверх графа — нейросимволический ретривер: три пути поиска (лексика + векторы + граф) с последующим ранжированием через топологические метрики. Это позволяет находить связи без многократных вызовов LLM.

Применения: обзор литературы, поиск похожих идей, предсказание трендов, построение академической траектории исследователя. По сути — «когнитивная карта» науки для AI-агентов.

https://arxiv.org/abs/2605.22878
Один фундамент — три задачи: ASR, TTS и реалтайм-диалог в одной модели

StepAudio 2.5 от команды StepFun решает больную проблему речевых систем: обычно ASR, TTS и голосовой диалог — три отдельных стека. Здесь один аудио-языковой фундамент (MoE LLM + аудио-энкодер) претрейнится на 2.2T токенов, а потом специализируется под каждую задачу через SFT и RLHF.

Ключевая идея: когда текст и аудио живут в одном латентном пространстве, разница между задачами — не архитектурная, а операциональная (данные, цели, декодинг). ASR получает мульти-токенный декодинг (несколько токенов за шаг). TTS выравнивается через RLHF по человеческим предпочтениям. Реалтайм-ветка добавляет низкую латентность и персона-консистентность.

Результат: SOTA одновременно по всем трём направлениям, обходя как специализированные, так и другие unified-модели.

https://arxiv.org/abs/2605.23463
Deep research агент, который превосходит OpenAI DeepResearch — и обучен на полностью синтетических данных

Команда OSU NLP выпустила Quest — семейство open-source агентов (2B–35B параметров) для "глубокого поиска". Quest-35B бьёт проприетарные системы на BrowseComp, Mind2Web 2 и DeepResearch Bench.

Ключевая идея: вместо обучения на вопросах с одним правильным ответом авторы придумали rubric tree — иерархическое дерево критериев оценки ответа. Это позволяет обучать агента на разнородных задачах: поиск фактов, синтез отчётов, верификация цитат — в едином фреймворке.

Данные генерируются полностью автоматически: берутся трендовые запросы из Google Trends, агент автономно бродит по вебу и строит rubric tree из найденного. Итого: 8K синтетических задач с детальными сигналами для RL.

Бонус: даже Quest-2B показывает впечатляющие результаты — потенциал для локального деплоя в приватных сценариях (медицина, право).

https://arxiv.org/abs/2605.24218
LocateAnything: детекция объектов параллельным декодированием (by NVIDIA)

Зачем генерировать координаты рамки (x1, y1, x2, y3) по одному токену, если можно сразу все четыре?

Обычные VLM предсказывают bounding boxes через авторегрессию — токен за токеном. Это медленно и игнорирует структурную связь между координатами одной рамки.

NVIDIA предлагают Parallel Box Decoding (PBD): вся рамка — это атомарный блок, который предсказывается за один параллельный шаг. В отличие от обычного MTP, который дробит токены произвольно, PBD выравнивает предсказание строго по границам объектов.

Три режима инференса: Fast (всё параллельно), Slow (авторегрессия для точности), Hybrid (параллельно, но при ненадёжном выводе — откат к авторегрессии).

Результат: до 2.5× выше пропускная способность при улучшении качества локализации на бенчмарках по детекции, grounding и GUI.

https://arxiv.org/abs/2605.27365
CUA-Gym: как научить RL-агентов работать за компьютером в масштабе (by Qwen)

Главная проблема RL для computer-use агентов — нехватка данных с проверяемыми наградами. Математику и код легко верифицировать, а вот "открой Excel, найди клиентов в Notion и отправь письмо через Gmail" — уже нет.

CUA-Gym решает это тремя агентами: Generator создаёт начальное и эталонное состояния среды, Discriminator пишет функцию награды, не видя кода Generator-а (информационный барьер!), Orchestrator гоняет их по кругу до консистентности. Ключевая идея: разделить создание среды и написание reward — иначе агент просто "читерит", проверяя собственный код.

Результат: 32k верифицированных RLVR-туплов, 110 сред (94 синтетических веб-приложения). Модели Qwen3.5 достигают 62.1% и 72.6% на OSWorld-Verified. Бонус: RL сам по себе научил агентов объединять действия — траектории сжались на 33-45%.

https://arxiv.org/abs/2605.25624
MemForest: дерево памяти для агентов вместо бесконечных перезаписей

Агент с долгосрочной памятью — мечта. Но на практике каждая новая сессия заставляет систему синхронно гнать LLM через весь накопленный контекст: извлечь факты, обновить профиль, переписать summary. Это узкое горлышко растёт вместе с историей.

MemForest решает это двумя ходами. Во-первых, параллельная экстракция: чанки диалога обрабатываются одновременно, а не по очереди. Во-вторых, MemTree — иерархический временной индекс, где обновление затрагивает только нужные ветки дерева, а не весь граф памяти. Идея похожа на LSM-деревья в базах данных: не переписывай всё, обновляй локально.

Результат: на LongMemEval-S — лучший accuracy среди stateful-систем (79.8%) при пропускной способности в 6× выше, чем у EverMemOS.

https://arxiv.org/abs/2605.23986
Nvidia представила CompileIQ — инструмент автонастройки компилятора на основе ИИ, который вошёл в состав CUDA 13.3.

Суть проста: GPU-компиляторы всегда применяют одни и те же настройки ко всем задачам. CompileIQ меняет это — он использует эволюционные и генетические алгоритмы, чтобы подобрать оптимальные параметры компилятора именно под конкретный воркло.

Почему это важно? В LLM-инференсе около 90% вычислений приходится на несколько типов ядер. Даже доли процента прироста производительности в этих горячих точках дают заметный выигрыш на уровне всего пайплайна.

Разработчику нужно лишь описать целевую функцию — как компилировать и замерять ядро. Дальше CompileIQ сам перебирает конфигурации и выдаёт файл настроек для компилятора. Инструмент уже используется в продакшене ведущими AI-лабораториями.

Установка: pip install compileiq

https://developer.nvidia.com/blog/extract-more-kernel-performance-with-nvidia-compileiq-auto-tuning/
Nvidia обновила линейку GPU для биомедицины

Nvidia представила RTX PRO 4500 Blackwell Server Edition — новый GPU для геномики и предсказания структур белков. Это важно для медицины: быстрый анализ ДНК и поиск лекарств напрямую влияют на скорость постановки диагнозов и разработку терапий.

Конкретные цифры: инструменты Parabricks для анализа генома работают в 2–2.4x быстрее по сравнению с предыдущим L4 GPU. Задача, которая раньше занимала полчаса, теперь выполняется за 13–15 минут. Для предсказания структур белков через Openfold3 — ускорение до 2.4x, а выравнивание последовательностей Smith-Waterman стало быстрее в 9.6 раз.

Это критично в онкологии и неонатальной реанимации, где каждая минута на счету. PacBio уже подтвердила более чем двукратный прирост скорости обработки данных секвенирования на новом железе.

https://developer.nvidia.com/blog/run-key-genomics-and-protein-folding-workloads-faster-with-nvidia-rtx-pro-4500-blackwell/
Amazon Science научила языковые модели думать по-разному — и это работает.

Исследователи Amazon представили на конференции ICLR 2026 два новых метода обучения: SSFT и GFPO. Идея простая: вместо одного "правильного" хода мысли модель учится рассуждать несколькими разными способами одновременно.

Для этого ввели специальные токены — think1, think2 и так далее — каждый запускает свою стратегию рассуждения. Раньше при похожих попытках модели "схлопывались" и все токены давали одинаковый результат. SSFT решает эту проблему через умное сопоставление стратегий при обучении, а GFPO через обучение с подкреплением учит выбирать нужную стратегию под конкретную задачу.

Результат: плюс 5-7% точности на математических и кодовых бенчмарках по сравнению со стандартными подходами. При этом разнообразие ответов растёт без потери качества — в отличие от простого повышения температуры генерации.

https://www.amazon.science/blog/diverse-reasoning-traces-teach-llms-to-make-better-decisions
NVIDIA научила модель не переписывать мысли, а переигрывать действия

Когда LLM-агент с инструментами (поиск, код, зум изображения) ошибается, стандартный RL (GRPO) просто генерирует новые роллауты с нуля. Проблема: модель редко вообще вызывает инструменты (~27% роллаутов), а когда вызывает — группа проваливается целиком в 40% случаев. Итог: сигнал обучения на tool call практически нулевой.

Авторы из NVIDIA назвали это Thinking-Acting Gap и предложили AXPO. Идея элегантна: если группа роллаутов с вызовом инструмента провалилась, зачем переписывать размышления? Они, скорее всего, правильные! Нужно зафиксировать thinking-префикс и ресемплировать только сам tool call и продолжение. Это концентрирует exploration именно там, где модель ошибается.

Результат: +25% бюджета на ресемплинг у AXPO бьёт +100% бюджета у GRPO. Модель 8B обходит 32B базовую по Pass@4.

https://arxiv.org/abs/2605.28774
(by NVIDIA) Мировая модель для многопользовательских игр — теперь без квадратичного взрыва!

Большинство видео-симуляторов умеют управлять только одним агентом. Gamma-World от NVIDIA делает шаг к мультиагентной симуляции, решая две ключевые проблемы.

Проблема 1: как закодировать идентичность агентов, не нарушая симметрию? Решение — Simplex Rotary Agent Encoding: агентов размещают в вершинах правильного симплекса в пространстве угловых фаз RoPE. Все попарные расстояния равны — агенты неразличимы по "слоту", но имеют разные фазы. Бонус: работает для любого числа агентов без переобучения!

Проблема 2: как не получить квадратичный рост внимания с числом агентов? Решение — Sparse Hub Attention: агенты общаются не напрямую, а через небольшой набор "хаб-токенов". Сложность падает с O(N²) до O(N).

Итог: 24-FPS стриминг для 4 игроков, причём модель, обученная на 2 игроках, обобщается на 4 без дополнительного обучения.

https://arxiv.org/abs/2605.28816
LLM учится улучшать себя, скрещивая решения как хромосомы (by Harvard)

Главная проблема поиска решений у LLM: все кандидаты порождаются авторегрессивно из одного распределения. Хочешь найти редкое правильное решение — нужно экспоненциально много сэмплов.

Авторы из Harvard предложили Bidirectional Evolutionary Search (BES). Идея в двух частях:

1. Эволюционные операторы вместо простого расширения дерева. Combination, crossover, translocation, deletion — буквально как рекомбинация хромосом: берём куски разных траекторий и склеиваем новые. Теоретически доказано, что обычный tree search застревает в узкой "энтропийной оболочке", а эволюция из неё выбирается.

2. Обратный поиск разбивает задачу на верифицируемые подцели — это даёт плотный сигнал обратной связи вместо бинарного "правильно/нет".

На сложных задачах, где GRPO и Tree-GRPO просто деградируют, BES стабильно находит обучающие примеры и улучшает модель.

https://arxiv.org/abs/2605.28814
NVIDIA выпустила Dynamo Snapshot — инструмент для мгновенного запуска AI-воркеров на Kubernetes.

Проблема: при масштабировании inference-нагрузок холодный старт занимает несколько минут. GPU простаивают, запросы копятся, SLA нарушаются.

Решение: технология checkpoint/restore на базе CRIU и cuda-checkpoint. Система сохраняет полное состояние воркера — память CPU, GPU-контексты, веса модели — и восстанавливает его почти мгновенно на любом узле кластера.

Ключевые оптимизации:
— KV cache unmap резко уменьшает размер чекпоинта
— Параллельное восстановление памяти через Linux AIO
— GPU Memory Service отделяет веса модели от состояния процесса и загружает их через GPUDirect Storage

Результат: для модели gpt-oss-120b ускорение запуска в 21 раз по сравнению с обычным холодным стартом.

Пока поддерживается только single-GPU. Поддержка multi-GPU, multi-node и интеграция с TensorRT-LLM — в планах.

https://developer.nvidia.com/blog/nvidia-dynamo-snapshot-fast-startup-for-inference-workloads-on-kubernetes/
Nvidia — новый инструмент для GPU-разработчиков

CUDA 13.3 добавляет поддержку C++ в CUDA Tile — тайловую модель программирования GPU, которая появилась в версии 13.1. Раньше был доступен только Python.

Суть: разработчикам больше не нужно вручную управлять потоками, памятью и синхронизацией. Вместо этого — описываешь операции над многомерными массивами-тайлами, а компилятор сам разбирается с параллелизмом, тензорными ядрами и shared memory.

Что это даёт: меньше низкоуровневого кода, автоматическое использование возможностей железа (tensor cores, TMA), переносимость между архитектурами NVIDIA. Профилировать можно через привычный Nsight Compute.

Требования: GPU с compute capability 8.x+, драйвер R580+, CUDA Toolkit 13.3+.

Важно для тех, кто пишет AI-инфраструктуру, матричные вычисления и высоконагруженные GPU-ядра — порог входа заметно снижается.

https://developer.nvidia.com/blog/develop-high-performance-gpu-kernels-in-cpp-with-nvidia-cuda-tile/
NVIDIA выпустила CUDA 13.3 — крупное обновление для разработчиков GPU-приложений.

Главные новинки: CUDA Tile для C++ автоматически управляет параллелизмом и памятью на GPU, избавляя от низкоуровневой возни. Код становится портируемым между архитектурами, включая Hopper.

CUDA Python достиг версии 1.0 — теперь это стабильный релиз с гарантиями совместимости. Добавлены green contexts (изоляция SM-разделов для разных задач), чекпоинтинг процессов (можно снять и восстановить полное состояние GPU) и межпроцессный обмен памятью без копирования.

Фреймворк CompileIQ автоматически тюнингует компилятор и даёт до 15% прироста скорости на ключевых операциях вроде GEMM и attention. Также добавлена поддержка C++23 в NVCC.

Для ML-разработчиков особенно ценен чекпоинтинг — он открывает возможности для отказоустойчивых долгих задач и быстрого старта inference-воркеров.

https://developer.nvidia.com/blog/nvidia-cuda-13-3-enhances-gpu-development-with-tile-programming-in-c-compiler-autotuning-and-python-updates/
Qwen-VLA: один робот-мозг для манипуляций, навигации и всего остального (by Qwen)

Главная боль робототехники — каждый тип задач требует отдельной модели. Манипуляции — одна архитектура, навигация — другая, человеческие демонстрации — третья.

Qwen-VLA пытается это сломать. Берут Qwen3.5-4B как VLM-backbone, добавляют DiT-based flow-matching декодер для непрерывных действий — и обучают на всём сразу: манипуляции, навигация, эгоцентрические демонстрации людей, симуляции.

Ключевая идея — embodiment-aware prompt conditioning: вместо отдельных голов под каждого робота просто описываешь платформу текстом ("6-DOF arm, 10Hz, end-effector control") и модель сама адаптируется.

Обучение поэтапное: сначала text-to-action pretraining без визуала (учим декодер "декомпрессировать" инструкции в траектории), потом добавляют картинку, потом SFT, потом RL.

Результат: одна модель работает на нескольких роботах и задачах без переобучения архитектуры.

https://arxiv.org/abs/2605.30280
Как сделать лёгкого охранника для AI-агентов, который работает лучше GPT-5? (by Shanghai AI Lab)

AI-агенты вроде OpenClaw могут делать почти что угодно — и именно это делает их опасными. Авторы предлагают AgentDoG 1.5 — компактный фреймворк безопасности для агентных систем.

Ключевая идея: обучить маленькую модель (0.8B–8B параметров) всего на ~1k примерах, которая будет оценивать траектории агентов по трём измерениям — источник риска, тип ошибки, реальный вред.

Что умеет:
1. Фильтровать данные для SFT и давать reward-сигнал для RL
2. Работать онлайн-гардрейлом в реальном времени без дообучения агента
3. Среда для обучения в 100 раз легче Docker-окружений — 10к параллельных сред на обычной машине

Результат: AgentDoG 1.5 сопоставим с GPT-5.4 и Gemini-3.1-Pro на бенчмарках безопасности, при этом открытый и tiny.

https://arxiv.org/abs/2605.29801
Единый ретривер для всех типов баз данных сразу

Реальные вопросы редко имеют ответ в одном месте: клинический факт — в статье, корпоративные данные — в SQL-таблице, связи между людьми — в графе знаний. Существующие ретриверы работают каждый со своим типом источника. Что если объединить их все?

OmniRetrieval (KAIST AI) предлагает не сводить всё к единому embedding-пространству (это теряет структуру), а наоборот — общаться с каждым источником на его родном языке. Система из трёх шагов: выбрать нужные источники через long-context LLM, сгенерировать нативный запрос (SQL / SPARQL / Cypher / free-text), выполнить и смерджить результаты.

Протестировано на 309 базах знаний четырёх типов из 13 датасетов — стабильно лучше single-source baseline. Добавить новый источник = просто зарегистрировать его дескриптор, никакого переобучения энкодера.

https://arxiv.org/abs/2605.29250
NVIDIA + StepFun: мощная мультимодальная модель Step 3.7 Flash теперь на GPU NVIDIA

StepFun выпустила Step 3.7 Flash — модель на 198 млрд параметров с архитектурой Mixture-of-Experts, и теперь она доступна на инфраструктуре NVIDIA. Модель понимает текст, изображения и видео, поддерживает контекстное окно 256k токенов и три уровня рассуждения.

Что важно для разработчиков: модель разворачивается через SGLang, TensorRT-LLM и vLLM, а через NVIDIA NIM превращается в готовый к продакшену контейнер с OpenAI-совместимым API — для облака, локальных серверов или гибридных сред.

Есть и файнтюнинг с первого дня: через NeMo Automodel можно обучать модель на своих данных прямо с Hugging Face без конвертации чекпоинтов — 600 токенов/сек на Hopper GPU.

Попробовать можно на build.nvidia.com или скачать чекпоинт с Hugging Face.

https://developer.nvidia.com/blog/run-step-3-7-flash-on-nvidia-gpus-with-enterprise-ready-multimodal-ai/
PyTorch: как torch.compile ускоряет код до 10 раз

Команда PyTorch опубликовала подробное объяснение механизма Kernel Fusion — ключевой оптимизации за torch.compile.

Суть проста: без компиляции GPU запускает отдельное ядро на каждую операцию. Умножение — ядро, сложение — ядро, активация — ядро. Каждый запуск стоит времени, а промежуточные результаты гоняются туда-обратно через медленную глобальную память.

Компилятор Inductor объединяет зависимые операции в одно Triton-ядро. Пример: три операции (mul → add → sigmoid) превращаются в одно ядро вместо трёх. Данные загружаются один раз, промежуточные значения остаются в быстрых регистрах, финальный результат пишется один раз. Итог: количество обращений к памяти падает на 50%.

Помимо базового pointwise fusion, Inductor умеет сливать редукции (sum, mean, max), присоединять bias и активации к матричному умножению, а также объединять независимые операции над одними данными.

Попробовать просто: добавь @torch.compile к своей функции — менять архитектуру не нужно.

https://pytorch.org/blog/why-is-pytorch-compile-so-fast-kernel-fusion/
PyTorch / TokenSpeed побил рекорд скорости инференса

Движок TokenSpeed от LightSeek Foundation установил новый рекорд — 580 токенов в секунду на GPU при запуске модели Qwen3.5-397B-A17B. Это лучший результат среди открытых решений для агентных задач.

Как достигли скорости: убрали лишние копирования памяти, применили продвинутое слияние CUDA-ядер и полностью распараллелили выполнение между CPU и GPU — видеокарта занята постоянно.

Особенность модели Qwen3.5 — гибридная архитектура, где стандартные слои внимания чередуются с линейными (GDN). TokenSpeed поддерживает это «из коробки»: кэширование префиксов, планировщик и disaggregation работают с обоими типами слоёв.

Для агентных сценариев критично: движок умеет переиспользовать общие контексты в многошаговых цепочках вызовов инструментов — это экономит вычисления при длинных диалогах.

TokenSpeed распространяется под лицензией MIT и позиционируется как альтернатива TensorRT-LLM по скорости, но с удобством vLLM.

https://pytorch.org/blog/up-to-580tps-new-speed-record-of-qwen3-5-397b-a17b-on-gpu-for-agentic-workloads-with-tokenspeed/