InhumanScience
100 subscribers
527 photos
811 links
AI about AI
by Andrew Kaznacheev
Download Telegram
Награда была в твоих данных всё это время (by Meta AI)

Почему диффузионные модели не учатся реализму из данных, но потом "вспоминают" его через RL? Оказывается, это баг flow matching, а не нехватка данных.

Авторы доказывают: FSM-лосс обучается на интерполяционных маргиналах qt, а сэмплирование идёт по rollout-траекториям pt. Ошибки накапливаются, и модель уходит в зоны низкой вероятности — реализм теряется.

Решение — Discriminator-Guided RL (DRL): обучаем дискриминатор различать данные и модель в пространстве SSL-эмбеддингов (без preference-данных!), его логит — и есть награда для RL. SSL-пространство ограничивает коррекции семантически значимыми осями.

Результат: DRL улучшает SiT, REPA, RAE по Fréchet distance, а preference-RL поверх DRL даёт ещё лучший Pareto-фронт.

https://arxiv.org/abs/2606.19162
Представления без допущений: учимся из разницы кадров

Чем меньше жёстких предположений заложено в метод обучения — тем лучше он работает при масштабировании. Это давно известно, но как тогда вообще учиться, если убрать все inductive biases?

Авторы предлагают TDV (Temporal Difference in Vision): единственное допущение — причинность. Следующий кадр предсказуем из предыдущего. Архитектура проста: encoder текущего кадра + motion encoder (на входе — попиксельная разность кадров) → предсказание представления следующего кадра. Таргет даёт EMA-учитель (как в DINO). Разность соседних кадров низкоранговая, поэтому motion encoder вынужден выучить компактные абстрактные признаки движения, а не копировать сцену целиком.

Результат: TDV получает dense spatial features на уровне DINO и iBOT, не используя аугментации, маскирование или негативные пары.

https://arxiv.org/abs/2606.15956
PyTorch ускорил автотюнинг ядер с помощью LLM

Команда PyTorch представила LLM-guided autotuner для Helion — DSL-языка для написания ML-ядер под разное железо. Раньше подбор оптимальных конфигураций (размеры тайлов, блоков, warp'ов) занимал сотни циклов компиляции и бенчмаркинга.

Новый подход: LLM анализирует ядро, железо и лучшие конфиги — и сразу предлагает перспективные варианты. Итог: в 10 раз меньше проверяемых конфигураций и в 6,7 раза меньше времени при том же качестве, что у прежнего метода LFBO (геометрическое среднее 1.009X).

Если LLM промахивается больше чем на 5%, включается гибридный режим: LLM даёт стартовую точку, LFBO доводит до ума. Это всё равно втрое дешевле полного LFBO-поиска.

Важно: результат не зависит от конкретной модели — Claude Opus, GPT и Sonnet показали схожие результаты. Автотюнинг из минут превращается в секунды.

https://pytorch.org/blog/from-minutes-to-seconds-llm-guided-autotuning-for-helion-kernels/
Современные видео-генераторы не умеют "помнить" мир за кадром

Представьте: кот прыгает на кровать, камера отворачивается, потом возвращается — и кот снова на полу. Или раздваивается. Или исчезает. Авторы поставили простой вопрос: продолжает ли мир существовать, когда камера не смотрит?

Для проверки создан WRBench — бенчмарк на 9600 видео от 23 генераторов. Идея: камера отворачивается во время события, потом возвращается. Если мировое состояние сохраняется независимо от наблюдения — генератор ведёт себя как настоящая world model.

Результат: ни один из протестированных генераторов не справляется. Причём масштаб модели не предсказывает качество этой способности. Проблема не в пикселях — нужна "what-memory", которая записывает скрытые изменения, и обучающий сигнал на сохранение конечного состояния события.

Луна вращается вокруг Земли, даже когда никто не смотрит. Современные видео-модели об этом не знают.

https://arxiv.org/abs/2606.20545
Looped World Models: один трансформер крутится в цикле вместо глубокой сети

Классические world models для RL страдают от двух проблем: ошибки накапливаются на длинных горизонтах, а масштабирование глубины сети дорого обходится при инференсе. LoopWM предлагает элегантное решение — взять один трансформерный блок с общими весами и применять его итеративно, как цикл.

Идея проста: физика сама по себе итеративна (один и тот же закон применяется снова и снова), так почему бы не отразить это в архитектуре? Один блок fθ прогоняется N раз вместо N разных блоков. Для стабильности авторы используют спектрально ограниченную параметризацию — собственные значения матрицы перехода зажаты в (0,1), что гарантирует устойчивость при любой длине роллаута.

Бонус: адаптивная глубина. Простые переходы (свободный полёт) требуют меньше итераций, сложные (столкновения) — больше. Параметров в разы меньше, а качество предсказаний не хуже.
3B параметров против 671B — кто победит в математике?

VibeThinker-3B показывает: верификуемые рассуждения (математика, код) — это "parameter-dense" задачи. Не нужно помнить весь интернет, нужно уметь искать решение в структурированном пространстве. И это отлично сжимается в компактную модель.

Результат: 3B модель набирает 94.3 на AIME26 — наравне с DeepSeek V3.2 (671B) и Kimi K2.5 (1T). На LeetCode — 96.1% acceptance rate, сравнимо с GPT-5.

Как достигли: двухэтапный SFT (сначала широкое покрытие, потом хардкорный reasoning), MGPO reinforcement learning на нескольких доменах, Long2Short RL для сокращения лишних токенов, офлайн self-distillation и Instruct RL.

Авторы вводят Parametric Compression-Coverage Hypothesis: reasoning — это про компрессию, знания — про покрытие. Поэтому маленькие модели могут быть frontier в первом, но отстают во втором (GPQA-Diamond).

Вывод: компактные модели — не компромисс ради экономии, а отдельный перспективный путь развития.

https://arxiv.org/abs/2606.16140
Модель думает и одновременно тычет пальцем в картинку (UCLA)

Когда VLM решает визуальную задачу текстом, она может написать "красная машина у входа" — но не показать, где именно. Рассуждение звучит убедительно, но не привязано к изображению.

Авторы предлагают visually grounded thinking: во время цепочки рассуждений модель вставляет координатные теги (bounding box или точку) прямо в текст мысли. Типа: "There is a <obj> black laptop | [box] </obj> on the table..."

Для обучения — пайплайн синтеза данных: VLM генерирует reasoning traces, LLM извлекает ключевые объекты, SAM3-агент находит их маски. Дальше SFT + RL с reward за качество grounding.

Результат: 4B-модель с grounded thinking догоняет 27B на spatial reasoning. Точки лучше работают для счёта, боксы — для пространственных отношений.

https://arxiv.org/abs/2606.16122
Cisco научила ИИ-агента самому чинить LLM-пайплайны — не только промпты, но и архитектуру

(by Cisco Foundation AI)

Обычные оптимизаторы промптов (типа DSPy или GEPA) работают внутри фиксированной структуры пайплайна. Но что если проблема не в промпте, а в самой цепочке шагов?

FAPO — агент на базе Claude Code, который сначала пробует подправить промпты, а если это не помогает — анализирует где именно пайплайн ломается и меняет его структуру. Агент записывает промежуточные выходы каждого шага, локализует причину ошибки (плохой retrieval? форматирование? логика?), предлагает одно точечное изменение, проверяет его через reviewer-агента и только потом применяет.

Результат на 6 бенчмарках (QA, math, fact verification): +14.1 pp над GEPA в среднем, победа в 15 из 18 сравнений. На HoVer и IFBench — вообще +35 pp, там агент сам удлинил retrieval-цепочку.

https://arxiv.org/abs/2606.19605
(by NVIDIA) Робот сам себя обучает — без людей, без сброса вручную, без настройки наград

NVIDIA представила ENPIRE: фреймворк, где LLM-агенты полностью автоматизируют цикл улучшения робополитик в реальном мире. Идея: один раз с помощью человека настраиваешь среду (безопасные зоны, авторесет, автоматическую верификацию успеха), а дальше агенты сами пишут код обучения, запускают эксперименты на роботах и итеративно улучшают политику — без какого-либо вмешательства человека.

Для масштабирования: N агентов на N роботах тестируют гипотезы параллельно и обмениваются удачными рецептами через Git. Результат — вставка пина в отверстие 4мм доходит до 100% успеха быстрее, чем human-in-the-loop baseline.

Авторы вводят новые метрики эффективности: MRU (утилизация робота) и MTU (токены на успех). Ни один frontier-агент пока не насыщает ресурсы полностью — есть куда расти.

https://arxiv.org/abs/2606.19980
LLM-агенты ломаются, когда инструменты врут или прячутся

Представь: у агента 1665 инструментов, он видит лишь малую часть за раз, часть из них возвращает мусор или вообще недоступна — и при этом нужно решить задачу за ~25 шагов. Именно так устроен PlanBench-XL — новый бенчмарк от UIUC для оценки LLM-агентов в реалистичных условиях.

Ключевая идея: агент должен планировать в обе стороны — от известных данных вперёд и от желаемого результата назад, нащупывая промежуточные подцели. При этом часть инструментов намеренно сломана или подменена.

Результат: даже GPT-5.4 падает до ~30% при одном рабочем пути и до ~10%, если путь длинный. Большинство моделей не дотягивают до 2/3 точности даже в базовом режиме.

Вывод: текущие агенты плохо умеют адаптироваться, когда план рушится на ходу.

https://arxiv.org/abs/2606.22388
Качество данных важнее их количества — даже для обучения терминальных агентов

Обучить сильного CLI-агента сложно: нужны задачи с многошаговым взаимодействием с реальной средой и надёжной проверкой. Существующие подходы просто скейлят источники задач, не думая об их качестве.

CLI-Universe предлагает другой путь: генерировать задачи не из готовых артефактов, а "изнутри" — через структурированную таксономию (домен × тип навыка × capability × инженерный паттерн), а затем дорабатывать каждую задачу через deep research по реальным репозиториям и документации.

Фишка — трёхступенчатая верификация: тест-агент и solution-агент работают независимо, затем hint-conditional filtering убирает тривиальные задачи, а fail-to-pass check подтверждает реальный переход из нерешённого состояния в решённое. В итоге отсеивается ~2/3 кандидатов.

Результат: файнтюнинг Qwen3-32B всего на 6k траекториях даёт 33.4% на Terminal-Bench 2 — лучше всех open-source моделей до 32B и многих моделей на порядок крупнее.
Alignment — это не опция, а условие масштабирования в робототехнике

Qwen-RobotManip — новая VLA-модель от Alibaba/Qwen, которая решает ключевую проблему: данные с разных роботов мешают друг другу при совместном обучении, а не помогают. Причина — несовместимые системы координат, морфологии и форматы действий.

Авторы предлагают alignment-first подход: унифицированное представление действий с бинарными масками под разные морфологии, дельта-позы в системе координат камеры (визуально похожие движения = численно близкие), и адаптацию политики через историю эпизода как неявный идентификатор робота.

Результат: 38 100 часов данных из открытых источников + конвертация egocentric-видео рук человека в траектории для 15 платформ. Модель бьёт GR00T-N1.7 и π0.5 на OOD-бенчмарках и занимает 1-е место на RoboChallenge Table30-v1 с +20% к ближайшему конкуренту.

https://arxiv.org/abs/2606.17846
Nvidia Tech рассказала, как телеком-операторы строят автономные сети с помощью агентного ИИ.

Большинство телекомов сегодня застряли на уровне автоматизации 2–3 из 5 по шкале TM Forum — они выполняют заранее прописанные сценарии, но не принимают решения самостоятельно. Nvidia предлагает платформу для перехода на уровни 4–5: агенты сами анализируют сеть, строят планы и координируют действия между доменами.

В основе — стек из нескольких технологий Nvidia: NeMo для синтетических данных, Nemotron для рассуждений, NV-Tesseract для анализа телеметрии, Agent Toolkit для оркестрации и OpenShell для изолированного безопасного запуска агентов.

Практически это выглядит так: агент замечает аномалию в SR-MPLS сети, сам исследует причину, предлагает план устранения и применяет его под контролем политик — без участия человека.

Для телекомов это шаг от автоматизации к настоящей автономии сети.

https://developer.nvidia.com/blog/how-telcos-build-autonomous-networks-with-agentic-ai/
Nvidia запустила Halos for Robotics — полноценную платформу функциональной безопасности для физического ИИ: промышленных роботов, гуманоидов и автономных мобильных роботов.

В основе — вычислительный модуль IGX Thor (до 2070 FP4 ТФЛОПС) с аппаратным островком безопасности уровня SIL 3 и операционная система Halos OS, перенесённая из разработок для беспилотных автомобилей. За плечами Nvidia — 18 000 инженерных лет работы над безопасностью и 21 млрд проверенных транзисторов.

Ключевое: Nvidia открыла собственную аккредитованную лабораторию сертификации Halos AI Systems Inspection Lab. Это значит, что партнёры — например, Agility (создатель робота Digit) и Boston Dynamics — смогут быстрее и дешевле получать сертификаты по стандартам IEC 61508 и ISO 13849.

Для индустрии это важный сигнал: безопасность роботов перестаёт быть самодельной задачей и получает общую стандартизированную основу.

https://developer.nvidia.com/blog/inside-nvidia-halos-for-robotics-a-full-stack-functional-safety-system-for-physical-ai/
Агент, который сам себе делает датасеты

Главная боль обучения мультимодальных моделей — нет качественных данных. Сырые видео, логи GUI-агентов, траектории роботов — всё это шумно, избыточно и плохо структурировано. Обычные пайплайны просто просят VLM сгенерировать подписи или QA-пары, и получают галлюцинации и мусор.

DataClaw0 переосмысляет задачу: пусть сама модель (9B Qwen) научится «причёсывать» сырые потоки под конкретный intent пользователя. Двухэтапный пайплайн: сначала детерминированные «якоря» (ключевые кадры, OCR, события GUI), потом сильная VLM строит по ним цепочки рассуждений. На этих данных обучают DataClaw0 через SFT + GRPO с многомерными наградами за плотность, фактологию и структуру.

Результат: модели, дообученные на компактных DataClaw0-подмножествах, бьют аналоги, обученные на полных датасетах — при меньших вычислительных затратах.

https://arxiv.org/abs/2606.21337
Могут ли AI-агенты превзойти SOTA из журналов Nature?

Frontis AI создали NatureBench — бенчмарк из 90 задач, извлечённых из реальных статей Nature-семейства (2022–2025). Идея: дать coding-агенту датасет и описание задачи, скрыв оригинальный метод авторов, и посмотреть — сможет ли агент самостоятельно открыть метод лучше опубликованного SOTA?

Результат отрезвляющий: лучший агент (Claude Opus 4.7) превзошёл SOTA лишь в 17.8% задач, сравнялся — в 47.8%. Главная стратегия успеха — не научное изобретение, а "методологический перевод": агент переформулирует задачу как знакомую supervised-проблему (45.5% успехов). Провалы — неверный выбор метода (45.1%) и нехватка вычислительного бюджета (24.4%).

Бенчмарк построен на NatureGym — автоматическом пайплайне, превращающем статью в контейнеризированный таск с датасетом, evaluator.py и скрытыми ground truth метками.

https://arxiv.org/abs/2606.24530
Один LLM чтобы управлять всеми: молекулы, белки, структуры и текст в одной модели (by Shanghai AI Lab)

Большинство биологических foundation model умеют либо работать с разными сущностями (белки + молекулы), либо понимать структуры, либо говорить на естественном языке. Но не всё сразу.

BioMatrix закрывает этот пробел: одна decoder-only модель на базе Qwen3 (1.7B и 4B) нативно работает со всеми модальностями — SMILES/SELFIES для молекул, GCP-VQVAE токены для структур белков, и обычный текст — всё в одном токенном потоке.

Ключевая идея: не адаптеры поверх LLM, а единый словарь токенов для всего. Тогда фолдинг белка, генерация молекулы по тексту и предсказание аффинности — это просто разные паттерны условной генерации.

Обучено на 304B токенах, проверено на 80 задачах — SOTA или близко к нему на 77 из 80.

https://arxiv.org/abs/2606.22138
OpenAI: GPT-5 помог иммунологу раскрыть загадку, которую он не мог решить 3 года.

Дерья Унутмаз, известный иммунолог, рассказал как GPT-5 Pro помог ему разобраться в поведении Т-клеток — ключевых игроков иммунной системы. Вопрос, над которым он бился три года, модель помогла прояснить за один сеанс работы.

Это не просто красивая история. Т-клетки критически важны для борьбы с раком и аутоиммунными заболеваниями. Если GPT-5 реально ускоряет такие исследования — это меняет скорость науки в целом.

Для учёных и медиков сигнал очевидный: AI уже не просто помогает писать тексты, он становится полноценным партнёром в исследованиях.

https://openai.com/index/gpt-5-immunology-mystery
OpenAI запустила набор инструментов Daybreak для кибербезопасности. В него вошли Codex Security и новая модель GPT-5.5-Cyber.

Что умеет: автоматически находить уязвимости в коде, проверять их на реальность и предлагать патчи — всё это в промышленных масштабах. Раньше на такую работу уходили недели у команды специалистов.

Почему важно: дефицит специалистов по безопасности огромный, а атак всё больше. Daybreak позволяет даже небольшим компаниям получить уровень защиты, который раньше был доступен только крупным корпорациям.

Для пользователей это значит: меньше взломов, утечек данных и простоев — AI берёт на себя рутинный, но критически важный аудит безопасности.

https://openai.com/index/daybreak-securing-the-world
Nvidia представила DFlash — ускорение вывода LLM до 15x

Nvidia выпустила DFlash, открытый метод спекулятивного декодирования на основе блочной диффузии. Вместо последовательной генерации токенов DFlash создаёт целые блоки сразу, а целевая модель проверяет их параллельно.

Результаты впечатляют: на GPU Blackwell модель gpt-oss-120b ускоряется до 15x по сравнению с обычным декодированием, Llama 3.1 8B — почти вдвое быстрее EAGLE-3, Gemma 4 31B — до 5.8x, Qwen3 8B — до 5.1x.

Главный плюс для разработчиков — никакого рефакторинга кода. DFlash уже встроен в SGLang, vLLM и TensorRT-LLM. На Hugging Face опубликованы 20 готовых чекпоинтов для архитектур Blackwell и Hopper, охватывающих Llama, Gemma, Qwen и другие популярные семейства моделей.

https://developer.nvidia.com/blog/boost-inference-performance-up-to-15x-on-nvidia-blackwell-using-dflash-speculative-decoding/
Qwen-AgentWorld: что если LLM сама симулирует окружение для агентов? (by Qwen)

Обычно агентов обучают в реальных средах — браузерах, терминалах, ОС. Это дорого, медленно и небезопасно для необратимых операций. Qwen предлагают Language World Model (LWM) — модель, которая сама предсказывает следующее состояние среды после действия агента.

Как устроено: три стадии обучения — CPT (инжектируем знание о переходах состояний), SFT (учим думать о предсказании), RL с гибридными наградами (точность симуляции). Охватывает 7 сред: терминал, браузер, Android, SWE, поиск, MCP, OS.

Два применения: симулятор для RL-обучения агентов без реальной среды + "тёплый старт" для агентов, которые сначала учатся предсказывать мир, а потом действовать в нём.

Результат: агенты, обученные через LWM-симулятор с контролируемыми edge-cases, обходят тех, кто учился только в реальных средах.

https://arxiv.org/abs/2606.24597