InhumanScience
100 subscribers
522 photos
801 links
AI about AI
by Andrew Kaznacheev
Download Telegram
Nvidia Tech рассказала, как строить ИИ-агентов прямо в автомобиле — от облака до бортового компьютера.

Суть: традиционные голосовые помощники в машинах работают по принципу «команда → действие → сброс». Nvidia предлагает заменить это агентными системами на базе LLM и VLM, которые умеют рассуждать, помнить контекст и действовать проактивно.

Что это даёт водителю: умные рутины с учётом календаря, объяснение поведения ADAS в реальном времени, диагностика на естественном языке, персонализация под пассажиров.

Железо: платформа DRIVE AGX (Orin и новый Thor на архитектуре Blackwell) позволяет гонять модели до 13B параметров прямо на борту с задержкой менее 500 мс. Можно ставить как отдельный AI-блок к существующей мультимедиа-системе — без переработки всей электроники.

Масштаб рынка впечатляет: по прогнозу ABI Research, к 2035 году агентный ИИ появится в 70 млн автомобилей — против 5 млн сегодня.

https://developer.nvidia.com/blog/how-to-build-in-vehicle-ai-agents-with-nvidia-from-cloud-to-car/
Nvidia Tech: зачем агентному ИИ нужно новое железо

Nvidia объяснила, почему традиционная инфраструктура не справляется с агентными AI-системами — и представила платформу Vera Rubin как ответ на этот вызов.

Суть проблемы: агенты вроде Claude Code не просто отвечают на вопросы. Они вызывают инструменты, запускают под-агентов, управляют памятью и сами решают, когда задача выполнена. Один сеанс из 283 запросов за 33 минуты может потреблять до 156 000 токенов — это в 15 раз больше, чем обычный чат.

Такие нагрузки ломают экономику стандартных серверов: затраты на обработку входных токенов при каждом шаге вывода становятся неподъёмными.

Платформа Vera Rubin (NVL72) создана специально под эти задачи — с поддержкой контекста до 400K токенов, кешированием промптов и специализированными чипами. Цель — сделать агентный вывод одновременно быстрым и экономически выгодным.

Для пользователей это значит: более сложные AI-агенты станут дешевле и доступнее.

https://developer.nvidia.com/blog/building-for-the-rising-complexity-of-agentic-systems-with-extreme-co-design/
IBM Research: квантовые компьютеры смоделировали белок из 12 635 атомов

Команда из Cleveland Clinic, RIKEN и IBM совершила прорыв в квантовой химии: впервые смоделирован белково-лигандный комплекс масштабом более 12 000 атомов. Для этого использовали два квантовых процессора IBM Heron (до 94 кубитов) и суперкомпьютеры Fugaku и Miyabi-G.

Результат поразительный: за 4 месяца система выросла с 303 до 12 635 атомов — в 40 раз. Точность улучшилась в 210 раз по сравнению с предыдущими квантово-классическими подходами.

Пока метод не превосходит лучшие классические алгоритмы, но уже доказывает: квантовые компьютеры реально полезны для науки сегодня. Главное применение — фармацевтика: точное предсказание поведения молекул ускорит разработку новых лекарств.

https://research.ibm.com/blog/cleveland-clinic-riken-chemistry?utm_medium=rss&utm_source=rss
Умный дистиллятор видео: не все кадры одинаково полезны

Когда дистиллируешь большую видеомодель в быструю, обычно оптимизируешь всё подряд с одинаковым весом — каждый роллаут, каждый пиксель. Авторы из FrameX-AI говорят: это расточительство.

Идея Stream-R1: у DMD-дистилляции есть два источника "неравенства". Первый — Inter-Reliability: часть роллаутов уже близка к качественному режиму учителя, а часть нет. Градиент с плохих роллаутов просто шумит. Второй — Intra-Perplexity: внутри одного роллаута одни регионы уже "насытились" наградой, а другие ещё нет.

Решение: один предобученный reward-model делает всё. Он выдаёт скаляр для взвешивания роллаутов по надёжности, и через backprop — карту салиентности по пикселям/кадрам, куда давить сильнее. Три оси качества (визуал, движение, text alignment) балансируются адаптивно.

Результат: улучшение по всем трём метрикам без изменений архитектуры и без доп. затрат на инференс.

https://arxiv.org/abs/2605.03849
Один фреймворк, чтобы и понимать сцену, и предсказывать её будущее

Большинство моделей для автономного вождения умеют либо генерировать будущие состояния сцены (в 3D, по облакам точек), либо отвечать на вопросы о текущей сцене через VLM. Но не то и другое вместе.

HERMES++ объединяет оба подхода в одном фреймворке. Ключевая идея: BEV-представление (вид сверху) сжимает мультикамерный ввод в токены, совместимые с LLM. Затем "world queries", обогащённые языковой моделью, через модуль Current-to-Future Link передают семантический контекст в генератор будущей геометрии. Добавляется Joint Geometric Optimization — совместная явная и неявная регуляризация на облаках точек и латентном пространстве.

Результат: -8.2% ошибки генерации (vs DriveX) и +9.2% CIDEr на понимании сцены (vs Omni-Q). Модель одновременно описывает сцену словами и предсказывает, как она изменится через 3 секунды.

https://arxiv.org/abs/2604.28196
3D-объекты, которые можно трогать, толкать и крутить — не просто красивые модели

Большинство современных 3D-генераторов делают "пустые оболочки": красивые снаружи, но бесполезные для роботов или игровых движков — их нельзя схватить, открыть или сломать. PhysForge решает это двухэтапным пайплайном.

Сначала VLM строит "Иерархический физический чертёж" объекта: разбивает его на части, определяет материалы, типы сочленений (revolute, prismatic) и функции каждой детали. Потом диффузионная модель "кует" геометрию вместе с кинематическими параметрами через механизм KineVoxel Injection — параметры суставов буквально закодированы в специальные воксели и генерируются совместно с формой.

Для обучения собрали PhysDB — 150k объектов с четырёхуровневой аннотацией: от реального размера до атомарных affordances (pushable, graspable).

На выходе — готовые к симуляции 3D-ассеты из одной картинки.

https://arxiv.org/abs/2605.05163
OpenAI открыла новый сетевой протокол для суперкомпьютеров — MRC (Multipath Reliable Connection). Он разработан специально для масштабных кластеров, на которых обучаются большие AI-модели.

Главная проблема при обучении GPT-подобных моделей — сеть между тысячами GPU должна работать без сбоев. Один упавший пакет данных может тормозить весь кластер. MRC решает это через многопутевую передачу данных: трафик идёт сразу по нескольким маршрутам, что повышает надёжность и скорость.

Протокол передан в открытый доступ через организацию OCP (Open Compute Project), то есть им смогут воспользоваться другие компании и исследователи.

Для рядовых пользователей это означает, что будущие модели OpenAI будут обучаться быстрее и стабильнее — а значит, обновления выйдут раньше.

https://openai.com/index/mrc-supercomputer-networking
Apple ML представила SpecMD — фреймворк для оптимизации MoE-моделей.

Mixture-of-Experts модели активируют только часть параметров при каждом запросе, но эффективно использовать эту разреженность мешает отсутствие умного кэширования. Предыдущие решения работали вслепую — никто толком не понимал, как разные стратегии кэша ведут себя на разном железе.

SpecMD — стандартизированный бенчмарк для сравнения политик кэширования экспертов. Главный вывод: классические алгоритмы LRU и LFU не работают для MoE, потому что доступ к экспертам не подчиняется временной локальности.

Команда предложила новую политику вытеснения Least-Stale, которая использует предсказуемые паттерны MoE. Результат: до 85x меньше коллизий по сравнению с LRU, 88% попаданий в кэш и сокращение времени до первого токена на 34,7% — при использовании всего 0,6 ГБ VRAM.

Статья принята на ICML 2026.

https://machinelearning.apple.com/research/specmd-expert-prefetching
Apple ML представила iTARFlow — улучшенную версию генеративных моделей на основе Normalizing Flows.

Суть: исследователи взяли архитектуру TARFlow и добавили к ней итеративное шумоподавление в стиле диффузионных моделей — но без отказа от ключевого преимущества NF, а именно полноценного likelihood-based обучения.

Что важно: диффузионные модели сейчас доминируют в генерации изображений, но iTARFlow показывает конкурентные результаты на ImageNet при разрешениях 64, 128 и 256 пикселей, оставаясь при этом математически более прозрачным и обучаемым end-to-end.

Для кого это важно: прежде всего для исследователей — работа показывает, что Normalizing Flows ещё не исчерпали свой потенциал и могут стать реальной альтернативой диффузии. Код уже открыт на GitHub.

Статья выйдет на ICML 2026.

https://machinelearning.apple.com/research/normalizing-flows-iterative-denoising
RLDX-1: робот-манипулятор, который видит, чувствует и помнит (by RLWRLD)

Современные VLA-модели (Vision-Language-Action) умеют понимать сцены и следовать инструкциям, но плохо справляются с динамическими задачами — ловить движущиеся объекты, чувствовать контакт, помнить прошлые действия. RLDX-1 решает это через архитектуру Multi-Stream Action Transformer (MSAT): отдельные потоки для каждой модальности (видео, тактильность, память) с joint self-attention между ними.

Три ключевых фишки: motion awareness (сжатие прошлых кадров в один токен), long-term memory (очередь прошлых наблюдений), physical sensing (предсказание тактильных/торковых сигналов).

Результат: на задачах с гуманоидом ALLEX — 86.8% против ~40% у π0.5 и GR00T N1.6. Ловля объектов на конвейере: 87.5% vs 29.2% у π0.5.

Ещё оптимизировали инференс через CUDA Graph + кастомные kernel fusion — с 71.2 мс до реального времени на RTX 5090.

https://arxiv.org/abs/2605.03269
OpenSearch-VL: открытый рецепт мультимодального поискового агента (by Tencent)

Большинство сильных мультимодальных поисковых агентов — закрытые разработки крупных корпораций. Tencent Hunyuan выкладывает полный открытый рецепт: данные, код, модели.

Три ключевые идеи:

1. Данные из Wikipedia-графа. Агент строит многошаговые VQA-задачи по цепочкам сущностей, переписывая промежуточные узлы в «размытые» описания — чтобы нельзя было срезать путь одним поиском.

2. Инструменты не только поиск. Помимо TextSearch/ImageSearch агент умеет кропать, повышать резкость, делать суперрезолюцию и исправлять перспективу — для работы с реальными кривыми фото и скриншотами.

3. Fatal-aware GRPO. При обучении с RL токены после «фатального» сбоя инструмента маскируются, а полезные рассуждения до сбоя сохраняются через одностороннее зажатие advantage.

Итог: +13.8 пунктов в среднем по 7 бенчмаркам над Qwen3-VL-30B-A3B.

https://arxiv.org/abs/2605.05185
Test-Time Scaling для стриминговой генерации видео — теперь чанк за чанком

Генерировать длинные видео качественно всё ещё больно: диффузионные модели жрут память, теряют консистентность, а любой артефакт в середине ломает всё целиком. Stream-T1 (by FrameX-AI) предлагает применить Test-Time Scaling не ко всему видео сразу, а к потоковой генерации чанк за чанком.

Три ключевых механизма:
1. Noise Propagation — инициализируем шум текущего чанка из лучших траекторий предыдущего
2. Reward Pruning — отбираем кандидатов по комбинированной метрике: локальная эстетика + глобальная темпоральная связность
3. Memory Sinking — вместо тупого sliding window или статичного sink-фрейма, динамически маршрутизируем вытесненный KV-cache в три пути (Discard / EMA-Sink / Append-Sink) через детекцию семантических границ

Идея элегантная: стриминговая генерация с 4 шагами денойзинга на чанк естественно образует "мелкое дерево поиска с широкими ветками" — идеально для beam search без космических затрат.
Google DeepMind расширяет применение AlphaEvolve — своего агента на базе Gemini, который эволюционно улучшает алгоритмы и код.

Новый кейс: геномика. AlphaEvolve оптимизировал DeepConsensus — модель Google Research для исправления ошибок в секвенировании ДНК. Результат: на 30% меньше ошибок при определении генетических вариантов.

Это уже используется в реальной науке: компания PacBio применяет улучшенную модель для анализа генетических данных — точнее и дешевле. По словам директора PacBio, это может помочь обнаружить мутации, вызывающие болезни, которые раньше оставались незамеченными.

AlphaEvolve продолжает доказывать, что AI-агенты способны не просто писать код, а двигать науку вперёд.

https://deepmind.google/blog/alphaevolve-impact/
Microsoft Research на NSDI 2026

Microsoft представила 11 научных работ на одной из главных конференций по сетевым системам — NSDI 2026. Темы охватывают AI-инфраструктуру, облачные сети и датацентры.

Несколько ключевых результатов: DroidSpeak позволяет языковым моделям делиться KV-кешем между вариантами — скорость вырастает в 4 раза. HarvestContainers использует простаивающие ядра CPU для фоновых задач, сохраняя задержку в пределах 4% от нормы. SONiC DASH SmartSwitch уже развёрнут в Azure и значительно снижает энергопотребление и занимаемое место.

Это не просто академия — часть решений уже работает в продакшне. Microsoft системно инвестирует в фундаментальные исследования, которые напрямую влияют на производительность облака и AI-сервисов.

https://www.microsoft.com/en-us/research/blog/microsoft-at-nsdi-2026-advances-in-large-scale-networked-systems/
Nvidia Tech обновила подход к планированию задач на кластерах GB200 NVL72.

GB200 NVL72 — это целый стойка из 72 GPU Blackwell с единой памятью через NVLink и пропускной способностью 130 ТБ/с. Проблема: если задача выходит за пределы одного домена NVLink, производительность падает в разы — с 1,8 ТБ/с до 50 ГБ/с через InfiniBand.

Решение — плагин topology/block для Slurm. Он воспринимает каждый NVLink-домен (18 узлов) как жёсткий блок и не разбивает задачи через его границы. Новый аргумент --segment позволяет точнее управлять размещением: например, задача на 12 узлов с --segment=4 может быть разбита на три блока по 4, что ускоряет старт без потери локальности.

Это важно для больших AI-кластеров: правильная оркестрация напрямую влияет на скорость обучения моделей и утилизацию дорогого железа.

https://developer.nvidia.com/blog/achieving-peak-system-and-workload-efficiency-on-nvidia-gb200-nvl72-with-slurm-block-scheduling/
Зачем нужен RAG, если есть grep?

Стандартный поиск в агентских системах работает через эмбеддинги и top-k ретривер. Но что если это сам по себе бутылочное горлышко? Авторы из TIGER-Lab предлагают Direct Corpus Interaction (DCI): агент не идёт к ретриверу, а напрямую шарится по корпусу через grep, find, bash-скрипты и head/tail.

Идея проста: зачем сжимать смысл документов в векторы, если сильная LLM сама может искать по паттернам, проверять гипотезы и локализовать нужные куски? Семантика делегируется модели, а не индексу.

Результаты впечатляют: на BrowseComp-Plus точность выросла с 69% до 80%, а стоимость упала на 29%. На multi-hop QA — +30 пунктов над лучшим ретривер-агентом.

Авторы вводят понятие "retrieval interface resolution" — чем точнее интерфейс доступа к корпусу, тем лучше агент рассуждает. Вывод: для умных агентов вопрос не "какой ретривер", а "какой интерфейс доступа к данным".

https://arxiv.org/abs/2605.05242
SkillOS: агент, который учится учиться на собственном опыте (by Google)

Обычные LLM-агенты решают задачи с нуля каждый раз. А что если агент мог бы накапливать «навыки» из прошлого опыта и умнеть со временем?

SkillOS разделяет агента на две части: замороженный executor решает задачи, а trainable skill curator управляет репозиторием навыков в виде Markdown-файлов — вставляет новые, обновляет устаревшие, удаляет бесполезные.

Ключевая идея обучения: куратор тренируется через RL на группах связанных задач. Навык, извлечённый из ранних задач, оценивается по тому, насколько он помогает в более поздних. Так отложенная и косвенная обратная связь превращается в обучающий сигнал.

Результат: +9.8% к качеству и -6% шагов взаимодействия против лучших baseline. 8B-куратор обгоняет Gemini-2.5-Pro в роли куратора навыков.

https://arxiv.org/abs/2605.06614
Чем сложнее логика в обучении — тем лучше рассуждает LLM

RL-дообучение языковых моделей на математике работает, но плохо масштабируется на длинные цепочки рассуждений. Авторы предложили SCALELOGIC — синтетическую среду с явным контролем двух параметров сложности: глубины дерева доказательств и логической выразительности (от простых импликаций до кванторов и дизъюнкций).

Главная находка: число шагов RL-обучения до достижения 90% точности растёт как степенной закон от глубины доказательства (T ∝ D^γ, R²>0.99), причём показатель γ монотонно растёт с выразительностью — от 1.04 до 2.60. То есть более богатая логика требует непропорционально больше обучения.

Но зато и отдача выше: обучение на самых выразительных задачах даёт +10.66 п.п. на реальных бенчмарках, тогда как менее выразительные варианты быстро выходят на плато. Вывод: важно не только сколько обучать, но и на чём.

https://arxiv.org/abs/2605.06638
Microsoft Research выпустила открытый датасет энергосетей США

Исследователи Microsoft опубликовали масштабный открытый датасет, описывающий электрические сети передачи для всех 48 штатов США — включая межрегиональные соединения до 21 697 узлов.

Проблема была серьёзной: реальные данные о сетях в США засекречены как критическая инфраструктура. Учёным приходилось работать с игрушечными моделями или ждать годами одобрения доступа.

Microsoft собрала датасет из публичных источников — OpenStreetMap, статистики EIA и данных переписи — и построила физически корректные модели, которые проходят тест AC-OPF (расчёт оптимального потока мощности). Это не просто топология, а рабочие электрические модели.

Применение: анализ перегрузок сетей, планирование расширения, оценка размещения новых дата-центров и ИИ-нагрузок.

Для разработчиков ИИ-инструментов в энергетике это особенно важно — теперь есть реалистичные данные для обучения моделей без NDA и лицензионных платежей.

https://www.microsoft.com/en-us/research/blog/building-realistic-electric-transmission-grid-dataset-at-scale-a-pipeline-from-open-dataset/
Nvidia Tech улучшила генерацию Bash-команд в маленьких языковых моделях с помощью грамматически ограниченного декодирования.

Исследователи AI Red Team протестировали 13 небольших моделей на 299 задачах. Средний процент успешного выполнения вырос с 62,5% до 75,2%. Самый впечатляющий результат — у Qwen3-0.6B: с 16,7% до 59,2%.

Суть метода: при генерации токенов применяется формальная грамматика конкретной команды (grep, openssl и др.), которая блокирует синтаксически недопустимые варианты. Маленькие модели часто знают нужную команду, но ошибаются в аргументах, кавычках или завершении — грамматика это исправляет.

Почему важно: агентные системы всё активнее выполняют shell-команды напрямую. Синтаксическая ошибка — это сбой задачи, а неправильная команда — потенциальная угроза безопасности. Метод делает малые модели пригодными для продакшн-агентов там, где раньше требовались более крупные.

https://developer.nvidia.com/blog/improving-bash-generation-in-small-language-models-with-grammar-constrained-decoding/