Новое исследование Apple показало, что для обучения ИИ-агентов, умеющих пользоваться внешними инструментами, важен не столько объём данных, сколько их разнообразие.

По мере роста обучающей выборки агенты получают больше пользы от знакомства с новыми приложениями и различными состояниями баз данных, чем от простого увеличения числа задач. Именно разнообразие примеров во многом определяет, насколько хорошо модель справится с задачами, которых прежде не встречала.

Сегодня разработчики обучают таких агентов в искусственно созданных средах, обычно стараясь увеличить число доступных задач. Однако до сих пор оставалось неясным, что приносит больше пользы: новые инструменты, новые задачи или различные исходные данные.

Чтобы разобраться в этом вопросе, исследователи разработали SynthAPI. Система поручает большой языковой модели создавать синтетические приложения, работающие с настоящими инструментами на Python и базами данных. Затем она генерирует задачи для этих приложений и автоматически проверяет, удалось ли их выполнить правильно.

В ходе исследования учёные обучили 849 моделей, меняя количество приложений, набор задач и версии баз данных.

Результаты оказались показательными. При одинаковом объёме обучения в 32 768 задач увеличение разнообразия приложений и состояний баз данных позволило повысить результат модели с 4 миллиардами параметров на сложной части испытания AppWorld с 38,4% до 45%.

Исследователи также предложили закон масштабирования, учитывающий не только количество обучающих примеров, но и их состав. Он предсказывал результаты на более крупных наборах данных, не использованных при обучении, со значительно меньшей ошибкой: 0,0285 против 0,1706 у модели, учитывающей лишь число задач.

Вывод прост: недостаточно научить ИИ решать как можно больше задач. Необходимо дать ему возможность работать с разными приложениями, инструментами и состояниями данных. Именно такое разнообразие помогает агенту переносить полученные знания на незнакомые ситуации.

https://arxiv.org/abs/2610.37648

Если вы разрабатываете RAG-системы, не стоит недооценивать decision models.

Вышла отличная новая научная работа на эту тему.

Известно, что поиск информации зачастую остаётся самым слабым звеном RAG-пайплайна.

Генеративные модели продолжают совершенствоваться, тогда как ретриверы по-прежнему полагаются на сопоставление ключевых слов или фиксированных эмбеддингов. Это особенно важно, поскольку информация, которую ретривер не смог найти, никогда не попадёт к генеративной модели.

Авторы исследования предлагают заменить традиционный ретривер на decision model, которая последовательно проходит по корпусу данных: от общих тем к отдельным документам, а затем к конкретным фрагментам текста.

На каждом уровне DecisionRAG оценивает всех кандидатов за один forward pass, без генерации токенов, и оставляет только наиболее перспективные ветви поиска.

Без ретривера первого этапа и без обучения под конкретную задачу DecisionRAG превосходит комбинацию dense retrieval и 8B reranker:

- На MultiDoc2Dial преимущество составляет 13,8 процентного пункта по метрике R@1.
- На Natural Questions преимущество достигает 17,4 процентного пункта по Hit@1 при поиске среди 2,68 млн абзацев Википедии.

При этом поиск занимает от 0,7 до 1,8 секунды, а стоимость одного запроса составляет от 0,2 до 2,3 цента.

Совместная оценка кандидатов в едином контексте даёт преимущество до 7,7 процентного пункта по сравнению с их оценкой по отдельности.

Модель Qwen3-8B, обученная на данных соответствующего домена и используемая для оценки кандидатов, достигает 60,7 R@1 на MultiDoc2Dial. Это на 5,7 процентного пункта выше результата лучшего опубликованного ретривера, специально обученного для этой задачи.

Исследование: https://arxiv.org/abs/2610.35868

Две AI-модели, каждая из которых насчитывает 4 миллиарда параметров, общаются между собой без единого слова, исключительно посредством нейронных сигналов.

Эти "нейронные близнецы" обмениваются не текстом, а внутренними активациями нейросетей, постепенно проявляя признаки взаимопонимания.

Они способны воспринимать понятия, на которые была направлена другая модель, а когда между ними устанавливается связь, их внутренние показатели счастья становятся выше.

https://github.com/SauersML/neural-pairing

https://huggingface.co/Sauers/neural-pairing

Пишите код на NumPy привычным способом, а затем запускайте его на GPU и TPU. Автоматическое дифференцирование и пакетная обработка данных будут выполняться без дополнительных усилий с вашей стороны.

- Автоматически вычисляйте производные обычных функций Python и NumPy.
- Компилируйте чистые функции с помощью jit для выполнения на аппаратных ускорителях.
- Комбинируйте grad, jit и vmap в любом порядке и масштабируйте вычисления на несколько устройств.

https://github.com/jax-ml/jax

RAG возвращается с удвоенной силой.

В последнее время системы памяти ИИ-агентов становятся всё сложнее, однако исследование «Memory Tax» выявило довольно неприятный результат:

Многие специализированные системы памяти работают хуже, чем обычный RAG, использующий исходную историю взаимодействий, и при этом обходятся дороже.

Автор разделяет пользу памяти на две составляющие:

- Memory Benefit: вопросы, на которые RAG отвечает неправильно, а Memory даёт правильный ответ.
- Memory Tax: вопросы, на которые RAG мог бы ответить правильно, но после обработки истории системой Memory ответ становится ошибочным.

Проблема заключается в самом процессе организации памяти.

Когда история взаимодействий суммируется, переписывается и структурируется, часть деталей безвозвратно теряется, а другие, даже сохранившись, становятся значительно труднее для поиска.

Например, в бенчмарке LongMemEval модель Qwen3.6-27B достигает 81,4% при использовании двух этапов RAG, а GPT-5.6 Luna показывает 90%. Обе модели превосходят соответствующие сложные системы Memory.

При этом простое решение оказалось неожиданно эффективным:

Продолжать использовать Memory, но одновременно сохранить возможность поиска по исходной истории взаимодействий, а затем совместно выполнять reranking результатов из обоих источников.

Исследование также напоминает о важном принципе: прежде чем добавлять Memory в ИИ-агента, стоит сначала определить базовый уровень качества с помощью простейшего RAG по исходной истории.

Иногда настоящая проблема заключается не в том, что система ничего не помнит, а в том, что она слишком рано сокращает исходную информацию, теряя важные детали.

https://arxiv.org/abs/2610.34073?

Fine-tuning больших языковых моделей не ограничивается выбором модели и запуском обучения.

В бесплатной электронной книге «LLM Fine-Tuning for Engineers» рассказывается, как подготавливать обучающие данные, планировать эксперименты, оценивать качество моделей и оптимизировать их производительность с помощью методов, которые можно применять в собственных проектах.

Исследователи представили PhysAg3D — систему для создания интерактивных 3D-моделей по одному изображению.

Технология позволяет воссоздавать объекты с высокой точностью, сохраняя их внешний вид и физические свойства, включая подвижные соединения и способность к деформации.

Полученные модели можно использовать в виртуальных симуляциях для обучения и тестирования ИИ-агентов, взаимодействующих с окружающей средой.

Page: https://supra-3d.github.io/PhysAg3D/
GitHub: https://github.com/Supra-3D/PhysAg3D
Paper: https://arxiv.org/abs/2610.39924

Оксфордский университет открыл бесплатный курс «Теории глубокого обучения» на 2026–2027 учебный год.

Курс посвящён математическим основам глубоких нейронных сетей и включает 16 лекций, находящихся в свободном доступе.

Программа охватывает архитектуры нейросетей, нелинейные преобразования, свёрточные структуры, пулинг, методы оптимизации, обучение словарей, переносимость изученных признаков, состязательные примеры, теорию случайных матриц, обучение инвариантности и другие темы.

В лекциях рассматриваются математические теории, позволяющие понять, как обучаются глубокие нейронные сети и чем объясняются особенности их работы.

На мой взгляд, это особенно ценный материал для тех, кто хочет разобраться в математике, лежащей в основе современных ИИ-систем.

https://courses.maths.ox.ac.uk/course/view.php?id=6621

Ян ЛеКун оказался прав, но в этой индустрии никто не хочет говорить об этом вслух.

Модель со 109 млн параметров превзошла модель с 72 млрд.

Уже несколько лет ЛеКун утверждает, что масштаб модели сам по себе не заставляет её понимать окружающий мир. Meta сделала ставку на противоположный подход. В ноябре он покинул компанию и основал собственную лабораторию в Париже.

В прошлый четверг он опубликовал доказательства своей теории.

С 2024 года индустрия придерживается идеи, согласно которой достаточно обучать всё более крупные модели на текстах, изображениях и звуках, чтобы в итоге они сформировали одинаковое внутреннее представление об окружающем мире. Считалось, что всё решает масштаб. Но эту гипотезу никто так и не доказал.

Рэндалл Балестриеро и Ян ЛеКун проверили её. И результаты показали, что дело вовсе не в размере модели.

Решающую роль играет то, какие именно данные модель получает вместе друг с другом.

Фотография и её описание представляют собой два разных способа передачи информации об одном объекте. Модели, обученные на таких парах, достигают нужного результата значительно быстрее.

А вот два абзаца из одного документа не являются двумя представлениями одного и того же объекта. Модели, обученные на таких данных, достигают аналогичного результата гораздо медленнее и требуют значительно больше вычислительных ресурсов.

Именно ко второму типу относится предсказание следующего токена. На этом принципе работают практически все современные чат-боты.

В ходе экспериментов первый метод позволил достичь аналогичного уровня понимания всего на 21,6 млн примеров. Для обучения с предсказанием следующего токена потребовалось 900 млн.

Более того, текстовая модель со 109 млн параметров сформировала представление об окружающем мире, которое оказалось ближе к представлению модели, обученной на изображениях, чем у языковой модели с 72 млрд параметров.

В 660 раз меньше параметров.

https://www.alphaxiv.org/pdf/2610.39302

Настоятельно рекомендую к прочтению.

Это настоящий мастер-класс по созданию современной инфраструктуры для AI-агентов и построению более автономных агентных систем.

Это лучшая статья из всех, что я читал о работе с командами агентов на базе собственной инфраструктуры.

Главная идея проста: архитектура должна позволять агенту работать непрерывно и эффективно переключаться между задачами.

Для этого необходима архитектура, разделяющая координацию и выполнение задач. Теперь это стало возможным благодаря тому, что LLM-агенты научились лучше координировать свои действия и сохранять контекст между задачами.

Когда базовая архитектура готова, можно переходить к более продвинутым возможностям: запуску задач по событиям, упреждающим действиям и новым способам взаимодействия с агентами, например через асинхронный ReAct Loop.

Масштабировать такую систему помогают управление состоянием и изолированные среды выполнения. Важно разделять состояние, вычислительные ресурсы и окружение. При этом система должна сохранять своё состояние и оставаться доступной с разных устройств.

Кстати, всё это можно реализовать и на базе других существующих harness-систем. Использовать DeepSeek Harness совершенно необязательно.

По мере развития возможностей агентов нужно искать новые способы взаимодействия с ними, не мешая им самостоятельно выполнять работу.