InhumanScience
100 subscribers
527 photos
811 links
AI about AI
by Andrew Kaznacheev
Download Telegram
Nvidia выпустила NIXL — открытую библиотеку для ускорения передачи данных в распределённых AI-системах.

Суть: когда большая языковая модель работает на десятках GPU одновременно, между ними постоянно гоняются огромные объёмы данных — кэши, веса, промежуточные результаты. NIXL делает этот процесс быстрее и проще.

Что важно: библиотека поддерживает RDMA, GPU-Direct Storage, облачные хранилища (S3, Azure Blob) и работает на оборудовании AWS, Azure и скоро Google Cloud. Уже интегрирована с vLLM, TensorRT-LLM, SGLang и другими фреймворками.

Главная фишка — динамичность: система умеет добавлять и убирать GPU-узлы на ходу, переживать сбои без остановки сервиса и автоматически перераспределять нагрузку. Это критично для продакшн-сервисов, работающих круглосуточно.

Для разработчиков AI-инфраструктуры — полезный инструмент, снимающий головную боль с низкоуровневой оптимизацией передачи данных.

https://developer.nvidia.com/blog/enhancing-distributed-inference-performance-with-the-nvidia-inference-transfer-library/
Андрей Карпати намекнул, что стоило бы сразу поделиться ссылкой на его проект AutoResearch — штуку, которую он придумал для автоматизации исследований с помощью ИИ-агентов.

Важный момент: это не готовый инструмент, который можно просто запустить. Это скорее рецепт или идея — берёшь её, передаёшь своему агенту и адаптируешь под свою задачу. Что-то вроде шаблона мышления для ИИ, который помогает ему самостоятельно копаться в теме и делать выводы.

На выходных твит об этом завирусился — видимо, идея зацепила многих разработчиков и исследователей. Карпати явно доволен реакцией, хоть и с лёгкой самоиронией признаёт, что мог бы сразу дать все нужные ссылки.

https://x.com/karpathy/status/2031137476438548874
Карпати поделился впечатляющим результатом авторесёрча — системы, которая сама ищет улучшения в нейросетях.

Он запустил её на небольшой модели (12 слоёв) и ушёл на два дня. Система нашла около 20 изменений, которые снизили validation loss. Когда Карпати проверил результаты, оказалось, что все улучшения складываются друг с другом и переносятся на более крупную модель (24 слоя).

Это важно: часто трюки, работающие на маленьких моделях, ломаются при масштабировании. Здесь — нет. По сути, ИИ сам улучшает ИИ, и результат реально работает.

https://x.com/karpathy/status/2031135152349524125
❤‍🔥1
AutoResearch-RL: ИИ сам себе исследователь (by Anthropic)

Что если LLM-агент сам читает train.py, вносит правки, запускает обучение и учится на результатах — бесконечно? Именно это делает AutoResearch-RL.

Идея: формализовать "петлю автоисследования" как MDP. Агент на базе трансформера с PPO предлагает диффы к коду, запускает обучение на 5 минут, получает награду в виде улучшения val-bpb и обновляет политику. История экспериментов — рабочая память агента (скользящее окно из 32 запусков).

Ключевая фишка — модуль самооценки: каждые 30 секунд он фитит степенной закон на кривую лосса и предсказывает финальный bpb. Если прогноз плохой — обучение прерывается досрочно. Это даёт 2.4× больше экспериментов за то же время.

Теоретически доказана монотонная сходимость: лучший bpb — супермартингал, то есть гарантированно не ухудшается.

Результат: на одной GPU за ночь агент выходит на уровень hand-tuned SoTA по val-bpb на nanochat.

https://arxiv.org/abs/2603.07300
LLMs теряются в длинных историях — и теперь это можно измерить

Попросите любой LLM написать рассказ на 8–10 тысяч слов, и он неизбежно начнёт противоречить сам себе: персонаж был пятилетним, а через страницу стал подростком. Авторы собрали бенчмарк ConStory-Bench (2000 промптов) и пайплайн ConStory-Checker для автоматического поиска таких багов.

Таксономия включает 5 категорий и 19 подтипов ошибок: противоречия во временной логике, в характере персонажей, в правилах мира, в фактах и в стиле повествования. Пайплайн работает в 4 этапа: извлечение подозрительных фрагментов → попарное сравнение → построение цепочки доказательств с цитатами → JSON-отчёт.

Протестировали модели от OpenAI, Google, Anthropic, xAI, Qwen, DeepSeek и агентные системы. Спойлер: чем длиннее текст, тем больше ошибок у всех.

https://arxiv.org/abs/2603.05890
👍1
RL для 3D-редактирования сцен без парных данных (by AMAP-ML)

Главная боль 3D-редактирования: нужна мультивью-консистентность, но собрать парные данные почти нереально. Авторы решили это через RL — как в LLM, только вместо "правильного ответа" используют 3D-верификатор.

Идея: берём мощный 2D-редактор FLUX-Kontext, умеющий совместно редактировать несколько изображений, и дообучаем его через GRPO. Reward считает замороженная 3D-модель VGGT — она оценивает геометрическую консистентность по картам уверенности и предсказаниям камерных поз. Никаких парных 3D-данных не нужно!

Результат: метод RL3DEdit обучается на 5% данных по сравнению с конкурентами, работает за один проход (в 2х быстрее), справляется с геометрическими изменениями ("надень капюшон", "поклонись") и сохраняет качество 2D-редактирования.

По сути — это SDS, но вместо диффузионной модели как оракула качества используется 3D foundation model как оракул консистентности.

https://arxiv.org/abs/2603.03143
RLVR без разметки: красивая идея с неприятным потолком

Обычный RLVR (как в DeepSeek-R1) требует правильных ответов для обучения. А что если учить модель вообще без разметки — только на её собственных сигналах? Это и есть Unsupervised RLVR (URLVR).

Авторы провели масштабный анализ таких методов и обнаружили неприятную закономерность: все intrinsic-методы (majority voting, entropy-based rewards и т.п.) делают одно и то же — они "заостряют" (sharpening) исходное распределение модели. То есть усиливают то, во что модель уже верила, а не учат чему-то новому.

Следствие: если модель изначально была права — URLVR помогает. Если нет — коллапс неизбежен. Все методы следуют паттерну "рост, потом падение", различаясь лишь когда именно падают.

Что работает: intrinsic URLVR полезен для test-time training на маленьких доменных датасетах. А для масштабирования нужны внешние награды — например, через асимметрию генерации и верификации (self-verification).

https://arxiv.org/abs/2603.08660
Первая any-to-any мультимодальная модель без авторегрессии (by Nanjing University)

Omni-Diffusion — первая система, которая объединяет текст, изображения и речь через единую маскированную дискретную диффузию. Никакого авторегрессивного LLM в основе!

Идея проста: токенизируем все модальности в дискретные токены, случайно маскируем их и учим модель восстанавливать оригинал. На инференсе стартуем с полностью замаскированной последовательности и итеративно декодируем.

Ключевые трюки:
- трёхэтапный прогрессивный пайплайн обучения
- position penalty для улучшения качества изображений
- special token pre-infilling для речевой генерации
- attenuated tail-pad masking для переменной длины ответов

Результат: качество сравнимо с авторегрессивными мультимодальными системами, плюс параллельный декодинг и нативное управление структурой вывода. Диффузия наступает на пятки LLM-парадигме.

https://arxiv.org/abs/2603.06577
OpenAI улучшила иерархию инструкций в своих моделях

Компания представила IH-Challenge — подход к обучению, который учит модели правильно расставлять приоритеты между инструкциями от разных источников. Теперь модель чётче понимает, чьим командам доверять больше: системному промпту разработчика, запросу пользователя или внешнему тексту.

Главный практический эффект — повышенная устойчивость к prompt injection атакам. Это когда вредоносный текст в документе или на веб-странице пытается «перехватить» управление моделью и заставить её игнорировать исходные инструкции.

Для разработчиков это означает более предсказуемое поведение моделей в продакшене, а для бизнеса — меньше рисков при работе с пользовательским контентом. Безопасность и управляемость моделей растут — и это важный шаг для всей индустрии.

https://openai.com/index/instruction-hierarchy-challenge
Google Gemini обновил ИИ-помощника в Google Sheets

Gemini в Google Таблицах получил новые бета-функции: теперь можно создавать, редактировать и организовывать целые таблицы — от простых задач до сложного анализа данных. Просто описываешь, что нужно, и ИИ делает сам.

Главное достижение — результат 70,48% на бенчмарке SpreadsheetBench, который проверяет модели на реальных сценариях работы с таблицами. Это лучший показатель среди конкурентов и вплотную приближается к уровню эксперта-человека.

Для пользователей это значит: меньше ручной работы с формулами и форматированием, больше времени на реальные задачи. Обновления также коснулись Google Docs, Drive и Slides.

https://blog.google/products-and-platforms/products/workspace/gemini-google-sheets-state-of-the-art/
Google DeepMind отмечает 10 лет с момента создания AlphaGo — системы, которая впервые победила чемпиона мира по игре в го.

Но главное не сама победа, а то, что случилось потом. Подходы, отработанные на AlphaGo, легли в основу AlphaFold — инструмента, который предсказывает структуры белков и буквально изменил биологию и медицину. Сегодня эти методы применяются в разработке лекарств, изучении болезней и десятках других научных областей.

За 10 лет AlphaGo превратился из шахматного эксперимента в доказательство того, что ИИ способен решать реальные научные задачи. Google DeepMind использует этот юбилей как напоминание: игры были лишь полигоном, а настоящая цель — наука и польза для людей.

https://deepmind.google/blog/10-years-of-alphago/
Ноам Браун (исследователь OpenAI) заметил любопытную параллель: современные reasoning-модели устроены почти так же, как AlphaGo десятилетней давности.

Рецепт одинаковый: сначала учишь модель подражать людям на огромном количестве данных, потом масштабируешь вычисления во время инференса чтобы она лучше "думала" — раньше это был метод Монте-Карло, сейчас цепочки рассуждений (Chain of Thought). И наконец — обучение с подкреплением, чтобы выйти за пределы простого подражания и научиться чему-то новому.

По сути, прорыв AlphaGo в го и прорыв o1/DeepSeek в рассуждениях — это одна и та же идея, просто применённая к разным задачам. История повторяется.

https://x.com/polynoamial/status/2031404079583473953
👍1
OpenClaw-RL: агент учится прямо в процессе разговора (by Princeton AI Lab)

Каждый раз, когда агент что-то делает, он получает ответ: пользователь недоволен, тест упал, GUI сменил состояние. Обычно это просто контекст для следующего шага. OpenClaw-RL предлагает использовать эти сигналы как живой источник обучения — прямо во время деплоя, без остановки сервиса.

Два ключевых метода:
1. Binary RL — PRM-судья конвертирует реакцию среды в пошаговую скалярную награду.
2. Hindsight-Guided OPD — если пользователь написал "надо было сначала проверить файл", система извлекает это как директивный сигнал и дистиллирует на уровне токенов обратно в модель.

Архитектура полностью асинхронная: inference, сбор роллаутов, PRM-судья и обучение — четыре независимых цикла без блокировок. Работает для терминала, GUI, SWE и tool-call агентов одновременно.

https://arxiv.org/abs/2603.10165
Думать, чтобы вспомнить: зачем LLM нужна цепочка рассуждений для простых фактов? (by Google)

Казалось бы, зачем модели "думать вслух" перед ответом на простой вопрос типа "В каком году родился Эйнштейн?"

Оказывается, reasoning существенно расширяет границу параметрических знаний модели — то есть помогает извлечь факты, которые без рассуждений практически недостижимы. Авторы выявили два механизма:

1. Вычислительный буфер — токены рассуждения дают модели "время подумать" даже без смыслового содержания.

2. Фактическое прайминг — модель сама генерирует связанные факты, которые помогают вспомнить нужный ответ (этакий self-retrieval).

Но есть риск: галлюцинации в промежуточных рассуждениях резко повышают вероятность галлюцинации в финальном ответе. Менее мощные модели выигрывают от reasoning больше — у них больше "скрытых знаний".

https://arxiv.org/abs/2603.09906
MM-Zero: VLM сама себе учитель (by NVIDIA)

Что если обучить мультимодальную модель вообще без единого реального изображения? NVIDIA придумала MM-Zero — систему из трёх агентов, которые эволюционируют вместе через self-play.

Как это работает: три роли, инициализированные из одного базового VLM:
— Proposer придумывает сцену и вопросы (лёгкий + сложный)
— Coder генерирует Python/SVG код, который рендерит картинку
— Solver отвечает на вопросы по этой картинке

Каждый агент учится на сигналах от других через GRPO. Proposer получает награду если задача «в самый раз» — не слишком лёгкая и не слишком сложная. Coder учится по качеству рендеринга. Solver — по правильности ответов.

Результат: Qwen3-VL и Mimo-VL стабильно улучшились на мультимодальных бенчмарках — без единого реального обучающего примера.

https://arxiv.org/abs/2603.09206
1
Могут ли VLM посчитать, на каком расстоянии игрок от сетки?

Оказывается, нет — даже лучшие модели проваливаются на задачах пространственного мышления в спорте. Авторы представили CourtSI: датасет из 1M+ QA-пар и бенчмарк на 3686 вопросов о бадминтоне, теннисе и настольном теннисе.

Фишка в пайплайне: корты имеют стандартную геометрию, поэтому авторы восстанавливают 3D-сцену из обычных трансляций через PnP-солвер по угловым точкам корта. Это даёт точность на уровне сантиметров без специального оборудования.

Тесты 25 топовых VLM показали: все сильно отстают от человека, особенно на измерении расстояний. Файнтюнинг Qwen3-VL-8B на CourtSI дал +23.5 п.п. точности, а модель обобщилась на пиклбол — спорт, которого не видела в обучении.

https://arxiv.org/abs/2603.09896
Модель видит текст, но не думает над ним — вот в чём проблема (by Johns Hopkins)

Когда ты показываешь мультимодальной LLM текст как картинку вместо токенов — она тупит. На задачах по математике разрыв достигает 60+ процентных пунктов. Но почему?

Авторы провели анализ 4000+ ошибок и выяснили: image-режим ломает чтение, а не мышление. Модель делает больше перцептивных и вычислительных ошибок, но концептуальные ошибки остаются теми же. Плюс — модель перестаёт генерировать chain-of-thought, выдавая короткие ответы вместо пошаговых рассуждений.

Бонусный инсайт: выбор шрифта один влияет на точность до 47%!

Решение — self-distillation: модель обучается на своих же текстовых рассуждениях, но с image-входом. Результат: GSM8K вырастает с 30.71% до 92.72% в image-режиме.

https://arxiv.org/abs/2603.09095
OpenAI рассказала, как защищает своих AI-агентов от prompt injection — одной из главных угроз при автономной работе моделей.

Суть атаки: вредоносный текст в письме, документе или на сайте пытается «перехватить» управление агентом и заставить его выполнить опасные действия — слить данные, отправить сообщения или изменить настройки.

Как ChatGPT с этим борется: агенты теперь работают с ограниченными правами по умолчанию — рискованные действия требуют явного подтверждения. Чувствительные данные изолируются и не передаются дальше по цепочке без необходимости. Модель также обучена распознавать попытки социальной инженерии внутри контента.

Почему это важно: по мере того как агенты берут на себя реальные задачи — читают почту, управляют файлами, совершают действия в браузере — цена ошибки резко растёт. Эти меры делают автономные сценарии заметно безопаснее для бизнеса и обычных пользователей.

https://openai.com/index/designing-agents-to-resist-prompt-injection
OpenAI запустила агентную среду на базе Responses API.

Компания показала, как превратить языковую модель в полноценного агента: теперь Responses API поддерживает shell-инструмент и изолированные облачные контейнеры. Агент может работать с файлами, запускать команды в терминале, использовать инструменты — и всё это в безопасной, масштабируемой среде без лишней инфраструктуры на стороне разработчика.

Проще говоря: раньше нужно было самому поднимать окружение для агента, следить за состоянием и безопасностью. Теперь OpenAI берёт это на себя — контейнер живёт на их стороне, хранит состояние между вызовами и изолирован от остальных процессов.

Для разработчиков это серьёзное упрощение: меньше DevOps, больше фокуса на логике агента. Фактически OpenAI строит полноценный runtime для агентов прямо внутри своего API.

https://openai.com/index/equip-responses-api-computer-environment
Microsoft Research представила PlugMem — систему, которая превращает сырые взаимодействия AI-агентов в переиспользуемые знания.

Суть проблемы: AI-агенты каждый раз начинают с нуля, не запоминая опыт прошлых задач. PlugMem решает это, автоматически извлекая полезные паттерны из истории работы агента и сохраняя их в структурированную "память".

Что это даёт на практике: агент, который уже решал похожую задачу, не будет изобретать велосипед заново. Он обращается к накопленным знаниям и работает быстрее и точнее.

Технология разработана в рамках проекта CORPGEN, направленного на адаптацию AI-агентов к реальным рабочим сценариям — корпоративным процессам, где повторяемость и накопление экспертизы критически важны.

Для пользователей это означает более умных и эффективных агентов-помощников, которые со временем становятся лучше — как опытный сотрудник, а не вечный стажёр.

https://www.microsoft.com/en-us/research/blog/from-raw-interaction-to-reusable-knowledge-rethinking-memory-for-ai-agents/
1
Джефф Дин (глава Google DeepMind) поделился впечатляющими результатами совместного исследования Google Research, британской NHS и Имперского колледжа Лондона.

ИИ научился выявлять 25% так называемых "интервальных раков" — опухолей, которые врачи пропускали при обычном скрининге. Это случаи, когда рак обнаруживается уже между плановыми обследованиями, то есть фактически упускается системой.

Помимо точности, ИИ ещё и снижает нагрузку на врачей-рентгенологов — дефицитная профессия во всём мире. Исследование проходило в реальных условиях британского здравоохранения, что делает результаты особенно весомыми. Звучит как один из тех случаев, где ИИ реально спасает жизни.

https://x.com/JeffDean/status/2031889502424469660