Claude Opus при проведении научных исследований может принять широко известный метод настройки гиперпараметров за настоящее научное открытие.

В новой статье Anthropic рассматривается одна из главных проблем современных исследовательских ИИ-агентов: они всё лучше справляются с экспериментами, но по-прежнему с трудом отличают действительно новые идеи от давно известных методов.

В рамках исследования Agent4Sci авторы протестировали Claude Code, Codex и Gemini на 20 реальных задачах из области машинного обучения для научных исследований.

Агенты самостоятельно изучали научные статьи, изменяли код, проводили эксперименты и пытались превзойти результаты, полученные авторами исходных работ.

В результате передовым агентам удалось добиться улучшений во всех 20 задачах, причём Claude Opus показал средний относительный прирост на 10,4%.

Однако дальнейший анализ выявил любопытную закономерность. Большинство улучшений достигалось благодаря хорошо известным приёмам машинного обучения: настройке гиперпараметров, замене оптимизаторов, объединению нескольких моделей и многократному локальному поиску.

При этом способность агентов самостоятельно оценивать научную значимость своих решений оставалась недостаточно развитой.

Они нередко переоценивали новизну собственных идей, не использовали доступные графические процессоры или, обнаружив перспективное направление, ограничивались дальнейшим подбором параметров.

Впоследствии исследователи добавили всего три небольших скилла:

- Генерация научных идей.
- Управление экспериментами.
- Периодическая самопроверка.

После этого средний прирост результатов Claude Opus увеличился с 10,4% до 20,1%, а Codex — с 4,4% до 8,1%.

Таким образом, главное ограничение современных исследовательских агентов заключается уже не столько в способности выполнять эксперименты, сколько в умении принимать обоснованные исследовательские решения.

Результаты показывают, что даже несколько простых скиллов, формирующих правильный подход к научной работе, способны почти вдвое повысить эффективность агентов без необходимости увеличивать вычислительные ресурсы.

Статья особенно полезна разработчикам, использующим Claude Code и Codex для проведения экспериментов.

https://arxiv.org/abs/2610.28763

Один и тот же отчёт, подготовленный Research Agent, два эксперта могут оценить совершенно по-разному. Возникает закономерный вопрос: насколько вообще надёжны наши Evals, если в роли оценщика выступает LLM Judge?

Недавняя статья Кэмерона Р. Вулфа как раз посвящена этой проблеме. В ней разбирается, как оценивать задачи агентов, где результат по своей природе во многом субъективен: например, Deep Research или творческое письмо.

Автор предлагает довольно практичный подход.

Сначала специалисты в предметной области определяют критерии оценки, после чего несколько экспертов независимо проверяют один и тот же набор результатов. Если их оценки сильно расходятся, сначала нужно пересмотреть сами критерии, а в некоторых случаях и вовсе отказаться от метрик, которые слишком субъективны для надёжной оценки.

Затем LLM Judge калибруют на данных, уже проверенных людьми. Повторные тесты и доверительные интервалы помогают не принять случайные колебания результатов за реальное улучшение модели.

И наконец, нужно вернуться к самому продукту: с помощью A/B-тестов и обратной связи от пользователей проверить, действительно ли рост показателей в офлайн-оценках приводит к улучшению пользовательского опыта.

Мне особенно близка мысль о том, что сначала нужно проверить самого оценщика.

При разработке Research Agents мы часто слишком внимательно следим за тем, растут ли показатели Eval, и гораздо реже задаёмся вопросом, насколько вообще надёжны критерии, по которым эти показатели считаются.

Эту статью определённо стоит сохранить тем, кто занимается Agent Eval. Особенно полезны разделы о выборке данных, калибровке экспертов и статистических методах.

https://cameronrwolfe.substack.com/p/subjective-evals

Теперь собрать собственную reasoning-модель может практически любой желающий.

Себастьян Рашка выпустил полностью бесплатный курс и открыл исходный код всех материалов.

На примере небольшой модели Qwen3-0.6B он показывает, как на самом деле обучаются reasoning-модели и из каких этапов складывается этот процесс.

В ходе курса можно разобраться, как:

• научить модель искать разные пути решения одной задачи;
• автоматически проверять правильность полученных ответов;
• улучшать её поведение с помощью обучения по вознаграждению и GRPO;
• наблюдать за тем, как модель порой находит способы обойти саму систему вознаграждений;
• обучать более компактную модель на данных рассуждений DeepSeek-R1.

Весь код можно запускать самостоятельно, наблюдая за ходом обучения и постепенно замечая, как меняется поведение модели.

При этом начинать с самого нуля не придётся, так как в качестве исходной точки используется уже готовая небольшая модель, а не фундаментальная модель, которую пришлось бы обучать с нуля.

Если вам давно хотелось понять, как устроены модели вроде DeepSeek-R1, этот курс даёт редкую возможность не просто прочитать об этом, а пройти весь путь собственными руками.

https://github.com/rasbt/reasoning-from-scratch

NVIDIA представила MotionBricks — новую ИИ-модель, способную генерировать реалистичные движения людей и роботов в реальном времени.

https://github.com/NVlabs/motionbricks

Теперь Claude Code может заранее определить, к каким логическим последствиям приведут изменения в графе знаний, ещё до их применения.

Разработчик Фабио Роваи опубликовал Open Ontologies — движок с открытым исходным кодом, написанный на Rust. Он объединяет управление изменениями по принципу Terraform, логический вывод и независимо проверяемые доказательства для работы с графами знаний.

Основная идея проекта заключается в том, чтобы относиться к онтологиям как к полноценной производственной инфраструктуре, а не как к обычным файлам, которые ИИ-агенты могут бесконтрольно изменять.

Благодаря интеграции через MCP такие агенты, как Claude Code и Cursor, способны создавать онтологии, выполнять запросы, проверять ограничения, предлагать изменения, оценивать их последствия и при необходимости откатывать обновления.

В репозитории также предусмотрен механизм преобразования структурированных данных в графы знаний. Система поддерживает CSV, Excel, JSON, Parquet и результаты SQL-запросов, преобразует их в RDF, проверяет соответствие ограничениям SHACL и выводит дополнительные связи на основе логических правил.

Однако наиболее интересная часть проекта связана с управлением изменениями.

Обычный Git diff показывает, какие именно утверждения изменились, но не позволяет определить все новые логические выводы, которые становятся возможными вследствие этих изменений.

Разработчик продемонстрировал это на примере одного объявления домена RDF. Анализ структурных последствий показал, что изменения не затронули ни одной тройки RDF, а уровень риска оказался низким.

Однако логический вывод по правилам OWL обнаружил 901 дополнительное следствие.

Open Ontologies позволил выявить эти последствия ещё до применения предложенного изменения.

Отдельного внимания заслуживает механизм проверки доказательств.

Для поддерживаемых логических выводов движок формирует сертификаты, содержащие исходные посылки, применённые правила и полученные заключения.

Затем независимый проверяющий модуль на Lean 4 подтверждает корректность этих сертификатов, не полагаясь на сам движок логического вывода, написанный на Rust.

В репозитории приведён пример с 259 подтверждёнными выводами. Кроме того, разработчик намеренно подделал одно заключение, и проверяющий модуль успешно его отклонил.

Здесь важно понимать различие: доказательство подтверждает, что заключение логически следует из предоставленных фактов и правил, но не устанавливает истинность самих исходных фактов.

Open Ontologies также поддерживает обнаружение расхождений, откат изменений, сохранение исторических свидетельств и проверку того, достаточно ли извлечённого фрагмента графа знаний для обоснования конкретных утверждений.

Весь движок распространяется с открытым исходным кодом под лицензией MIT и доступен в виде самостоятельного исполняемого файла на Rust. Кроме того, существует реализация, полностью написанная на Python.

Для ИИ-систем, которые на протяжении долгого времени накапливают и поддерживают структурированные знания, главная трудность заключается уже не только в поиске нужной информации. Не менее важно контролировать изменения, понимать их последствия и сохранять доказательства, которые впоследствии сможет независимо проверить другая система.

https://github.com/fabio-rovai/open-ontologies

«Современная математика глубокого обучения» — научная работа объёмом 111 страниц, посвящённая математическим основам современных нейронных сетей. Она находится в свободном доступе.

В работе подробно рассматриваются теория аппроксимации нейронных сетей, способность больших моделей к обобщению, избыточная параметризация, методы оптимизации и ландшафты функций потерь.

Особое внимание уделяется влиянию глубины нейронных сетей на их выразительные возможности, проблеме проклятия размерности, свёрточным и остаточным нейронным сетям, пакетной нормализации, разреженным представлениям и рекуррентным нейронным сетям.

Кроме того, авторы исследуют применение глубокого обучения к решению обратных задач и дифференциальных уравнений в частных производных.

Работа представляет собой обстоятельный обзор математических принципов, лежащих в основе глубоких нейронных сетей. В ней рассматриваются как уже доказанные теоретические положения, так и вопросы, на которые исследователям ещё предстоит найти ответы.

Для тех, кто стремится понять не только практическое применение современного искусственного интеллекта, но и математические закономерности, определяющие его работу, эта статья заслуживает внимания.

Научная работа: https://arxiv.org/pdf/2105.04026

Google DeepMind представила Genie 4, и теперь обитатели миров, созданных искусственным интеллектом, способны не только реагировать на происходящее, но и разговаривать с человеком.

Представьте: вы входите в виртуальный мир, и один из его обитателей оборачивается, замечает ваше присутствие и заговаривает с вами. Всё происходящее сопровождается звуком, подчиняется законам физики и разворачивается в реальном времени.

При этом изменить окружающий мир можно одной лишь текстовой командой.

Самое очевидное применение такой технологии — создание видеоигр. Однако такие миры могут стать средой для обучения ИИ-агентов и роботов, позволяя им приобретать опыт, отрабатывать действия и учиться взаимодействовать с окружающей средой ещё до того, как им предстоит столкнуться с реальным миром.

https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation

В открытый доступ выложили модель, способную превращать обычное видео в трёхмерную карту окружающего пространства в реальном времени.

Для её работы достаточно одной камеры. Ни LiDAR, ни дополнительные датчики глубины не требуются.

Модель использует архитектуру Geometric Context Transformer и обрабатывает видео со скоростью 20 кадров в секунду на одной видеокарте, сохраняя устойчивость даже при обработке последовательностей длиной более 10 тысяч кадров.

По результатам тестирования она превосходит методы, основанные на оптимизации.

https://github.com/Robbyant/lingbot-map

Новое исследование Apple показало, что для обучения ИИ-агентов, умеющих пользоваться внешними инструментами, важен не столько объём данных, сколько их разнообразие.

По мере роста обучающей выборки агенты получают больше пользы от знакомства с новыми приложениями и различными состояниями баз данных, чем от простого увеличения числа задач. Именно разнообразие примеров во многом определяет, насколько хорошо модель справится с задачами, которых прежде не встречала.

Сегодня разработчики обучают таких агентов в искусственно созданных средах, обычно стараясь увеличить число доступных задач. Однако до сих пор оставалось неясным, что приносит больше пользы: новые инструменты, новые задачи или различные исходные данные.

Чтобы разобраться в этом вопросе, исследователи разработали SynthAPI. Система поручает большой языковой модели создавать синтетические приложения, работающие с настоящими инструментами на Python и базами данных. Затем она генерирует задачи для этих приложений и автоматически проверяет, удалось ли их выполнить правильно.

В ходе исследования учёные обучили 849 моделей, меняя количество приложений, набор задач и версии баз данных.

Результаты оказались показательными. При одинаковом объёме обучения в 32 768 задач увеличение разнообразия приложений и состояний баз данных позволило повысить результат модели с 4 миллиардами параметров на сложной части испытания AppWorld с 38,4% до 45%.

Исследователи также предложили закон масштабирования, учитывающий не только количество обучающих примеров, но и их состав. Он предсказывал результаты на более крупных наборах данных, не использованных при обучении, со значительно меньшей ошибкой: 0,0285 против 0,1706 у модели, учитывающей лишь число задач.

Вывод прост: недостаточно научить ИИ решать как можно больше задач. Необходимо дать ему возможность работать с разными приложениями, инструментами и состояниями данных. Именно такое разнообразие помогает агенту переносить полученные знания на незнакомые ситуации.

https://arxiv.org/abs/2610.37648

Если вы разрабатываете RAG-системы, не стоит недооценивать decision models.

Вышла отличная новая научная работа на эту тему.

Известно, что поиск информации зачастую остаётся самым слабым звеном RAG-пайплайна.

Генеративные модели продолжают совершенствоваться, тогда как ретриверы по-прежнему полагаются на сопоставление ключевых слов или фиксированных эмбеддингов. Это особенно важно, поскольку информация, которую ретривер не смог найти, никогда не попадёт к генеративной модели.

Авторы исследования предлагают заменить традиционный ретривер на decision model, которая последовательно проходит по корпусу данных: от общих тем к отдельным документам, а затем к конкретным фрагментам текста.

На каждом уровне DecisionRAG оценивает всех кандидатов за один forward pass, без генерации токенов, и оставляет только наиболее перспективные ветви поиска.

Без ретривера первого этапа и без обучения под конкретную задачу DecisionRAG превосходит комбинацию dense retrieval и 8B reranker:

- На MultiDoc2Dial преимущество составляет 13,8 процентного пункта по метрике R@1.
- На Natural Questions преимущество достигает 17,4 процентного пункта по Hit@1 при поиске среди 2,68 млн абзацев Википедии.

При этом поиск занимает от 0,7 до 1,8 секунды, а стоимость одного запроса составляет от 0,2 до 2,3 цента.

Совместная оценка кандидатов в едином контексте даёт преимущество до 7,7 процентного пункта по сравнению с их оценкой по отдельности.

Модель Qwen3-8B, обученная на данных соответствующего домена и используемая для оценки кандидатов, достигает 60,7 R@1 на MultiDoc2Dial. Это на 5,7 процентного пункта выше результата лучшего опубликованного ретривера, специально обученного для этой задачи.

Исследование: https://arxiv.org/abs/2610.35868

Две AI-модели, каждая из которых насчитывает 4 миллиарда параметров, общаются между собой без единого слова, исключительно посредством нейронных сигналов.

Эти "нейронные близнецы" обмениваются не текстом, а внутренними активациями нейросетей, постепенно проявляя признаки взаимопонимания.

Они способны воспринимать понятия, на которые была направлена другая модель, а когда между ними устанавливается связь, их внутренние показатели счастья становятся выше.

https://github.com/SauersML/neural-pairing

https://huggingface.co/Sauers/neural-pairing

Пишите код на NumPy привычным способом, а затем запускайте его на GPU и TPU. Автоматическое дифференцирование и пакетная обработка данных будут выполняться без дополнительных усилий с вашей стороны.

- Автоматически вычисляйте производные обычных функций Python и NumPy.
- Компилируйте чистые функции с помощью jit для выполнения на аппаратных ускорителях.
- Комбинируйте grad, jit и vmap в любом порядке и масштабируйте вычисления на несколько устройств.

https://github.com/jax-ml/jax

RAG возвращается с удвоенной силой.

В последнее время системы памяти ИИ-агентов становятся всё сложнее, однако исследование «Memory Tax» выявило довольно неприятный результат:

Многие специализированные системы памяти работают хуже, чем обычный RAG, использующий исходную историю взаимодействий, и при этом обходятся дороже.

Автор разделяет пользу памяти на две составляющие:

- Memory Benefit: вопросы, на которые RAG отвечает неправильно, а Memory даёт правильный ответ.
- Memory Tax: вопросы, на которые RAG мог бы ответить правильно, но после обработки истории системой Memory ответ становится ошибочным.

Проблема заключается в самом процессе организации памяти.

Когда история взаимодействий суммируется, переписывается и структурируется, часть деталей безвозвратно теряется, а другие, даже сохранившись, становятся значительно труднее для поиска.

Например, в бенчмарке LongMemEval модель Qwen3.6-27B достигает 81,4% при использовании двух этапов RAG, а GPT-5.6 Luna показывает 90%. Обе модели превосходят соответствующие сложные системы Memory.

При этом простое решение оказалось неожиданно эффективным:

Продолжать использовать Memory, но одновременно сохранить возможность поиска по исходной истории взаимодействий, а затем совместно выполнять reranking результатов из обоих источников.

Исследование также напоминает о важном принципе: прежде чем добавлять Memory в ИИ-агента, стоит сначала определить базовый уровень качества с помощью простейшего RAG по исходной истории.

Иногда настоящая проблема заключается не в том, что система ничего не помнит, а в том, что она слишком рано сокращает исходную информацию, теряя важные детали.

https://arxiv.org/abs/2610.34073?

Fine-tuning больших языковых моделей не ограничивается выбором модели и запуском обучения.

В бесплатной электронной книге «LLM Fine-Tuning for Engineers» рассказывается, как подготавливать обучающие данные, планировать эксперименты, оценивать качество моделей и оптимизировать их производительность с помощью методов, которые можно применять в собственных проектах.