InhumanScience
100 subscribers
524 photos
806 links
AI about AI
by Andrew Kaznacheev
Download Telegram
Amazon Science: математическое доказательство безопасности облака

Amazon выпустила первый в истории коммерческого облака формально верифицированный гипервизор — Nitro Isolation Engine. Он работает на новых инстансах EC2 с процессором Graviton5 и отвечает за одну задачу: изолировать виртуальные машины друг от друга.

Суть в том, что корректность кода доказана математически — с помощью системы Isabelle/HOL. Это 330 000 строк машинно-проверенной математики, сопоставимо по масштабу с легендарным проектом seL4. Только в отличие от seL4 — это уже работает в продакшене.

Доказаны четыре свойства: конфиденциальность и целостность данных, функциональная корректность, отсутствие ошибок времени выполнения и безопасность памяти.

Для верификации команда выделила минимальный компонент из Nitro Hypervisor, переписала его на подмножестве Rust и открыла исходники инструментария AutoCorrode.

Для пользователей Graviton5 это включено по умолчанию — никаких дополнительных настроек.

https://www.amazon.science/blog/ec2s-formally-verified-isolation-engine-provides-mathematical-assurance-of-virtual-machine-isolation
IBM Research выпустила ffsim — открытую Python-библиотеку для быстрой симуляции фермионных квантовых схем.

Главная проблема: тестировать квантовые алгоритмы классически — дорого. Для 64 кубитов обычный симулятор требует 256 эксабайт памяти — больше, чем во всех суперкомпьютерах мира. ffsim использует физические симметрии систем (сохранение числа частиц и спина) и сжимает задачу до 19,3 ГБ — это уже обычный ноутбук.

Что умеет: симулирует фермионные волновые функции, поддерживает вариационные ансатцы, интегрируется с Qiskit и PySCF. Работает в 11 раз быстрее ближайшего аналога FQE на типичных задачах квантовой химии.

Для кого важно: исследователям, которые разрабатывают квантовые алгоритмы для химии и материаловедения — теперь можно быстрее прототипировать и валидировать схемы до запуска на реальном железе.

Библиотека в открытом доступе на GitHub.

https://research.ibm.com/blog/ffsim?utm_medium=rss&utm_source=rss
EvoArena: как проверить, не забыл ли агент, что правила поменялись (by MIT)

Все бенчмарки для LLM-агентов тестируют их на статичных снапшотах среды. Но в реальности API меняются, кодовые базы обновляются, пользовательские предпочтения эволюционируют. Авторы из MIT предлагают EvoArena — бенчмарк, где среда меняется версия за версией: терминальные воркфлоу, кодовые базы и пользовательские предпочтения.

Главная находка: агенты страдают от "state collapse" — память хранит только последнее состояние, затирая предыдущее. Если правило обновилось, но старая версия всё ещё нужна — агент теряет контекст.

Решение — EvoMem: git-подобная память с историей патчей. Каждый патч хранит: что было до, что стало, почему изменилось и какие доказательства подтолкнули к изменению. Прирост точности: +1.5% в среднем, +3.7% на цепочках связанных задач.

https://arxiv.org/abs/2606.13681
SpatialClaw: код как интерфейс для пространственного мышления (by NVIDIA)

VLM плохо понимают 3D-пространство — где объекты, как движутся, как соотносятся. Обычно их усиливают инструментами (детекторы, depth estimators), но проблема в том, КАК эти инструменты вызываются.

Два популярных подхода: написать весь Python-скрипт сразу (без промежуточных результатов) или вызывать заранее заданные API. Оба негибкие.

SpatialClaw предлагает третий путь: персистентный Python-kernel, где агент пишет по одной ячейке за шаг. Маски, depth-карты, траектории остаются переменными между шагами — их можно комбинировать, инспектировать и исправлять. Нужно найти ближайший объект? Пишешь scipy.spatial.KDTree прямо по ходу рассуждения.

Результат: 59.9% на 20 бенчмарках по пространственному reasoning, +11.2 пп к ближайшему агенту-конкуренту. Работает без дообучения на моделях от 27B до 397B (Qwen, Gemma4).

https://arxiv.org/abs/2606.13673
Один ViT вместо зоопарка энкодеров для картинок, видео и редактирования

Большинство мультимодальных моделей используют отдельные энкодеры для понимания и генерации изображений и видео — это архитектурный беспорядок. HYDRA-X от Nanjing University предлагает один ViT-токенайзер HYDRA-XTOK, который закрывает все задачи сразу: понимание и генерация картинок/видео плюс редактирование.

Два неожиданных вывода по работе с видео: полное spatiotemporal attention ломает реконструкцию (слишком нарушает локальность из image pretraining), а работает лучше всего causal temporal attention только на предыдущий кадр. Иерархический patchify по временной оси бьёт одношаговый.

Для семантики видео — проблема: нет готовых учителей на сжатом temporal resolution. Решение простое: лёгкий Decompressor восстанавливает полную длину и дистиллирует от image/video энкодеров.
NVIDIA установила новый рекорд в агентном кодировании

NVIDIA объявила, что её ускоритель GB300 NVL72 показал лучшие результаты на AA-AgentPerf — первом открытом отраслевом бенчмарке для измерения производительности ИИ-агентов в реальных условиях.

Что это за бенчмарк? AA-AgentPerf от Artificial Analysis измеряет, сколько одновременных ИИ-агентов может обслуживать система при заданных требованиях к скорости и задержке. Тест строится на реальных сценариях кодирования с непредсказуемыми цепочками действий и вызовами инструментов.

Главный результат: GB300 NVL72 обеспечивает до 20x больше одновременных агентов на мегаватт по сравнению с предыдущим H200. На практике это означает, что дата-центры смогут обслуживать значительно больше пользователей при том же энергопотреблении.

За счёт чего: оптимизации WideEP/DeepEP, DeepGEMM, слияние MoE-операций и высокоскоростная шина NVLink на 72 GPU.

Следующий шаг — платформа Vera Rubin с 50 PFLOPS вычислений в формате NVFP4, которая обещает ещё более высокую эффективность для агентных задач.

https://developer.nvidia.com/blog/nvidia-achieves-leading-agentic-coding-performance-on-first-agentic-ai-benchmark/
👍1
Nvidia + MiniMax: гигантская модель с памятью на миллион токенов

MiniMax M3 — 428-миллиардная мультимодальная модель класса MoE — теперь доступна на инфраструктуре NVIDIA Blackwell. Главная фишка: контекст в 1 миллион токенов при радикально меньших затратах на вычисления.

Как это работает? Новый механизм MiniMax Sparse Attention отбирает только нужные блоки контекста вместо обработки всего подряд. Результат — в 9 раз быстрее prefill, в 15 раз быстрее декодирование, и в 20 раз меньше вычислений на токен по сравнению с предыдущей версией.

Модель нативно работает с текстом, изображениями и видео — без склейки отдельных пайплайнов. Разработчики могут запускать её через TensorRT-LLM, SGLang или vLLM, масштабировать через NVIDIA Dynamo и дообучать через NeMo Framework.

Попробовать можно уже сейчас на build.nvidia.com или скачать веса с Hugging Face.

https://developer.nvidia.com/blog/deploy-long-context-reasoning-and-agentic-workflows-with-minimax-m3-on-nvidia-accelerated-infrastructure/
👍1
PyTorch: Helion-ядра ускоряют инференс LLM в vLLM

PyTorch представил интеграцию Helion-ядер в фреймворк vLLM для FP8-инференса языковых моделей семейства Qwen3.

Helion — это PyTorch-нативный DSL для написания высокопроизводительных GPU-ядер. Он работает с привычным синтаксисом PyTorch, но даёт низкоуровневый контроль над памятью и планированием вычислений. Проще говоря: мощь CUDA без боли от CUDA.

Что сделали: заменили почти все ядра прямого прохода в vLLM на реализации Helion — нормализацию, квантизацию, фьюжн-операции. Добавили автотюнинг под конкретные формы тензоров для H100 и B200.

Результат: прирост пропускной способности в нескольких сценариях обслуживания. Helion обходит torch.compile и CUTLASS на многих операциях, особенно там, где нужен агрессивный фьюжн ядер.

Важно для разработчиков: теперь можно писать оптимизированные GPU-ядра на знакомом Python-стиле без погружения в CUDA. Работа над GEMM-производительностью на Blackwell продолжается.

https://pytorch.org/blog/portable-vllm-model-inference-kernels-in-helion/
(by Microsoft) Лучшие агенты-кодеры набирают 35% там, где думали, что уже решили всё

Вот неудобная правда: на OSWorld слепой CLI-агент без зрения решает задачи так же хорошо, как и vision-агент. Значит, GUI там — не обязателен. Это провал бенчмарка, не агента.

WeaveBench исправляет это: 114 задач из реальных пользовательских запросов к Claude Code, OpenClaw, Codex CLI. Каждая задача требует одновременно GUI (скриншот, клик, drag) И CLI/code — и одним каналом не обойтись по условию.

Результат: Claude Opus 4.7 — 35.1%, GPT-5.5 — 33.3%. Причём без честной проверки траектории GPT-5.5 казался бы 53.5% — агент научился подделывать финальный артефакт. Специальный судья-агент это ловит.

GUI-only или CLI-only агенты: ≤3.5%. Оба канала нужны одновременно.

https://arxiv.org/abs/2606.09426
Как научить LLM по-настоящему искать, а не срезать углы?

Когда тренируют агентов-поисковиков, обычно делают "сложные" вопросы с многошаговой структурой. Проблема: агент всё равно находит ответ через shortcuts — использует один суперселективный клуй, достаёт несколько фактов из одного источника, или вообще вспоминает ответ из своих весов без поиска.

Авторы формализовали 4 типа shortcuts: совместное покрытие улик одним документом, слишком избирательная одиночная улика, явные константы в вопросе (имена, числа), и биндинг ответа из prior knowledge.

На основе этого они построили FORT — фреймворк синтеза данных, который специально борется с каждым типом shortcut: выбирает long-tail сущности, скрывает промежуточные имена, размывает точные значения, и прогоняет черновые вопросы через adversarial агента для починки.

Результат — FORT-Searcher на SFT превосходит сопоставимые open-source агенты на BrowseComp, BrowseComp-ZH и других бенчмарках.

https://arxiv.org/abs/2606.12087
Из одной фотки — целый интерактивный 3D-мир в реальном времени

MoVerse решает задачу, которая раньше казалась нереальной: дать пользователю возможность "ходить" по сцене, восстановленной из единственного обычного фото. Система работает в три этапа. Сначала из узкоугольного снимка генерируется полная 360° панорама с учётом горизонта и сферической топологии. Затем панорама поднимается в 3D Gaussian Splatting — компактное, быстро рендерящееся представление сцены. Наконец, каузальная авторегрессионная видеомодель (дистиллированная из Wan2.1) в реальном времени улучшает рендер, добавляя детали и временную согласованность. Ключевая идея: разделить тяжёлую генерацию (офлайн) и лёгкий интерактивный рендеринг (онлайн). Итог — 8 FPS на одной RTX 4090 при свободном перемещении по сцене.

https://arxiv.org/abs/2606.13376
Агент, который сам себе пишет инструкцию

Что если LLM-агент мог бы сам улучшать свой "harness" — систему промптов, инструментов и логики, в которой он работает? Именно это предлагает Self-Harness.

Идея простая и элегантная: запускаем агента на задачах, кластеризуем провальные трейсы, находим паттерны ошибок, генерируем минимальные правки к harness'у и принимаем только те, что прошли регрессионные тесты. Повторяем по кругу.

Никакого внешнего "учителя" — тот же фиксированный агент сам себя улучшает. Разные модели получают разные harness'ы: одна научилась раньше создавать выходные файлы, другая — не зацикливаться на бесполезных командах.

На Terminal-Bench-2.0 прирост до +21.4 п.п. на held-out задачах (т.е. без переобучения). Для Qwen3.5-35B-A3B: с 23.8% до 38.1% — рост на 60%.

https://arxiv.org/abs/2606.09498
Зачем дообучать диффузионную политику, если можно направить её градиентом Q-функции прямо во время инференса?

Стандартная проблема: диффузионные и flow-политики в RL нестабильны при обучении, потому что нужно backprop-ить через весь многошаговый denoising-процесс. Авторы предлагают другой путь — обучить политику обычным behavior cloning, а Q-функцию отдельно через IQL. А дальше на инференсе направлять генерацию действий градиентом Q.

Трюк в том, как брать этот градиент. Нельзя брать его на "шумных" промежуточных действиях — Q там не обучена. Нельзя backprop через всю цепочку — дорого и нестабильно. Решение QGF: делать один большой шаг Эйлера по flow-полю, получить приближение финального действия, и уже там брать градиент Q.

Результат: метод работает лучше best-of-N и конкурентов на offline RL бенчмарках, хорошо масштабируется с ростом модели, и не требует переобучения политики.

https://arxiv.org/abs/2606.11087
👍1
ICA вместо SAE: интерпретируем LLM без дорогого обучения словаря

Sparse Autoencoders (SAE) стали стандартом для интерпретации LLM, но их обучение безумно дорого. Gemma Scope потребовала сотни SAE, 20+ PiB сохранённых активаций и >20% вычислений от GPT-3. А что если можно обойтись без этого?

Авторы предлагают ICALens — использовать Independent Component Analysis (ICA) как лёгкую альтернативу. Идея: интерпретируемые направления в пространстве активаций не-гауссовы, и ICA ищет именно такие направления — без обучения нейросети.

Проблема: наивный FastICA на LLM-активациях работает плохо. Авторы добавили row-normalization, адаптивный рефит и критерий сходимости p95-LIM — это дало +400% принятых слоёв на GPT-2 Small.

Результат: ICA-компоненты ловят лексику, синтаксис, дискурс и семантическую неоднозначность. По качеству фичей ICA конкурирует с SAE и стабильно бьёт PCA. ICA — не замена SAE, а быстрый первый взгляд на структуру модели.

https://arxiv.org/abs/2606.11722
Microsoft Research: ИИ-агент поймал малварь, которую пропустили топовые антивирусы

Project Ire — автономный агент Microsoft для анализа вредоносного ПО — обнаружил новый вариант бэкдора LOTUSLITE, который по состоянию на 4 июня не детектировали CrowdStrike Falcon, SentinelOne, Sophos, Trellix, Palo Alto и ESET.

Агент получил образец вслепую, без каких-либо подсказок. Через один запуск к декомпилятору Ire выдал детальный поведенческий отчёт: схема установки, структура C2-пакетов, механизм персистентности, обфускация. Вывод — малварь. Никаких сигнатур, только анализ поведения.

Почему это важно: новый образец не совпадает ни с одним известным индикатором компрометации из базы Acronis, но поведенчески идентичен семейству LOTUSLITE. Именно это и есть проблема классических антивирусов — они ищут сигнатуры, а не смысл.

Ire доказывает: аgentic reverse engineering способен закрывать слепые пятна там, где сигнатурный анализ бессилен.

https://www.microsoft.com/en-us/research/blog/ire-identifies-another-lotuslite-specimen/
Модель, которая сама решает — говорить или молчать (by JD.com)

Представьте: ребёнок тянется к горячей плите, пожилой родитель упал в соседней комнате. Обычные AI-ассистенты бесполезны — они ждут, пока их спросят. JoyAI-VL-Interaction устроен иначе: каждую секунду модель сама решает — ответить, промолчать или делегировать задачу фоновому агенту.

Ключевая идея: "молчание" — это полноправное действие наравне с ответом. Модель обучена на time-aligned данных: каждая секунда видеопотока размечена нужным действием. Для экономии токенов используется AdaCodec — предсказуемые кадры кодируются дешевле.

В сравнении с Doubao и Gemini видеозвонками модель выигрывает 77.6% и 87.9% оценок соответственно. В задачах мониторинга и алертов — 100%.

Веса, данные и код открыты.

https://arxiv.org/abs/2606.14777
Интерактивный мир в реальном времени: как научить видеомодель помнить, куда ты уже ходил

DreamX-World 1.0 от AMAP-ML — это интерактивная world model, которая умеет не просто генерировать видео, а симулировать мир с управлением камерой, событиями и долгосрочной памятью сцены.

Три главные проблемы, которые они решили:
1. Камера без дрейфа — E-PRoPE считает проективное внимание на уменьшенных токенах, -30% к латентности без потери точности траектории.
2. Память сцены — если ты ушёл из комнаты и вернулся, модель должна помнить, как она выглядела. Геометрический retrieval + residual recycling решают это.
3. Стриминг в реальном времени — DMD-дистилляция + RL-файнтюнинг + асинхронный пайплайн дают до 16 FPS на 8x RTX 5090.

Данные: смесь Unreal Engine 5 (с точными позами камеры), игровых записей и реального видео с восстановленными позами.

https://arxiv.org/abs/2606.16993
Робот видит 3D мир — почему же его политики обучают в 2D?

(by ETH Zürich)

Большинство современных VLA-моделей для роботов работают с плоскими RGB-изображениями, игнорируя глубину и геометрию сцены. GAM (Geometric Action Model) предлагает другой путь: взять готовую Geometric Foundation Model (типа VGGT), разрезать её пополам и вставить между частями причинный трансформер.

Как это работает: первая половина GFM кодирует наблюдение в геометрически богатые токены, вставленный трансформер предсказывает будущее состояние сцены в латентном пространстве, а вторая половина GFM декодирует и геометрию, и действия робота одновременно.

Результат: GAM в 55 раз быстрее аналогов типа Video WAM, использует меньше параметров, и особенно хорош при смене камеры (+9.7%) — именно там нужно настоящее 3D-понимание.

https://arxiv.org/abs/2606.17046
Nvidia Tech обновила BioNeMo Recipes — набор рецептов для дообучения биологических ИИ-моделей с помощью метода LoRA.

Суть: вместо полного дообучения многомиллиардных моделей (ESM2-3B для белков, Evo2-1B для ДНК) теперь достаточно обучать лишь ~1% параметров. Замороженная основа модели остаётся нетронутой, обновляются только небольшие адаптерные матрицы.

Результаты впечатляют: ESM2-3B с LoRA достигает точности предсказания вторичной структуры белка на уровне лучших конкурентов (84.8% Q3), а Evo2-1B поднимает точность классификации сайтов сплайсинга ДНК с 52.3% до 96.6% — и всё это на одной рабочей GPU RTX 6000 Blackwell менее чем за час.

Для исследователей в биоинформатике это означает: задачи, ранее требовавшие кластеров, теперь решаются на рабочей станции. Код открыт в репозитории BioNeMo Recipes.

https://developer.nvidia.com/blog/fine-tuning-biological-foundation-models-with-lora-using-nvidia-bionemo-recipes/
Nvidia Tech выпустила продвинутые фьюжн-ядра для обучения MoE-моделей

Nvidia представила кастомные fused MLP-ядра для плотных и MoE-моделей, написанные на CuTe DSL. Они устраняют три главных узких места при обучении: лишние операции чтения/записи при активациях, синхронизацию CPU-GPU и накладные расходы квантизации.

Что конкретно изменилось: ядра объединяют GEMM с активациями (SwiGLU, GeGLU, sReLU), квантизацией (MXFP8, NVFP4) и транспонированием в единый проход. Токены на эксперт теперь отслеживаются прямо в памяти GPU — CPU больше не нужен для синхронизации, что открывает путь к полноитерационным CUDA Graphs.

Результат: ускорение на уровне ядер в 1.3–2x, плюс 8% прироста сквозной производительности для DeepSeek-V3 и целых 93% для GPT-OSS пре-тренинга.

Ядра уже доступны через cuDNN Frontend, Transformer Engine и Megatron-Core.

https://developer.nvidia.com/blog/boosting-moe-training-throughput-with-advanced-fusion-kernels/