Self-Improvements in Modern Agentic Systems: A Survey
Zhe Ren, Yimeng Chen, Dandan Guo, Guowei Rong, Tonghui Li, R.B. Xiong, Qingfeng Lan, Wenyi Wang, Li Nanbo, Yibo Yang, Mingchen Zhuge, Jürgen Schmidhuber
Авторы представили подробный математический аппарат и систематическую таксономию самосовершенствующихся агентов на базе больших моделей
Они формализовали состояние агента как совместную конфигурацию параметров базовой модели и внешней системной обвязки (скаффолдинга), разделив подходы к улучшению на два ключевых направления: параметрическое (обновление самой базовой модели) и беспараметрическое (модификация структуры обвязки)
Современные автономные агенты переходят от статичных, вручную спроектированных скриптов к динамическим системам непрерывного обучения. Новая теоретическая база связывает современные LLM-архитектуры с классическими концепциями ИИ (такими как Гёделевская машина), закладывая фундамент для безопасного проектирования систем, способных развиваться без участия человека
Архитектура самосовершенствования позволяет обойти жёсткие ограничения контекстного окна за счёт переноса опыта в веса модели (параметрический путь) или быстро адаптироваться без дорогостоящего дообучения через динамическую генерацию промптов и инструментов (беспараметрический путь)
При этом критически важно изолировать среду выполнения агента и контролировать процесс оценки, чтобы избежать reward hacking
https://arxiv.org/abs/2607.13104
https://arxiviq.substack.com/p/self-improvements-in-modern-agentic
https://github.com/selfimproving-agent/Awesome-Self-Improving-Agents
Zhe Ren, Yimeng Chen, Dandan Guo, Guowei Rong, Tonghui Li, R.B. Xiong, Qingfeng Lan, Wenyi Wang, Li Nanbo, Yibo Yang, Mingchen Zhuge, Jürgen Schmidhuber
Авторы представили подробный математический аппарат и систематическую таксономию самосовершенствующихся агентов на базе больших моделей
Они формализовали состояние агента как совместную конфигурацию параметров базовой модели и внешней системной обвязки (скаффолдинга), разделив подходы к улучшению на два ключевых направления: параметрическое (обновление самой базовой модели) и беспараметрическое (модификация структуры обвязки)
Современные автономные агенты переходят от статичных, вручную спроектированных скриптов к динамическим системам непрерывного обучения. Новая теоретическая база связывает современные LLM-архитектуры с классическими концепциями ИИ (такими как Гёделевская машина), закладывая фундамент для безопасного проектирования систем, способных развиваться без участия человека
Архитектура самосовершенствования позволяет обойти жёсткие ограничения контекстного окна за счёт переноса опыта в веса модели (параметрический путь) или быстро адаптироваться без дорогостоящего дообучения через динамическую генерацию промптов и инструментов (беспараметрический путь)
При этом критически важно изолировать среду выполнения агента и контролировать процесс оценки, чтобы избежать reward hacking
https://arxiv.org/abs/2607.13104
https://arxiviq.substack.com/p/self-improvements-in-modern-agentic
https://github.com/selfimproving-agent/Awesome-Self-Improving-Agents
arXiv.org
Self-Improvements in Modern Agentic Systems: A Survey
Self-improving autonomous agents are moving from research prototypes to deployed systems. The primary goal is controllable evolution, or adaptation, from experience with minimal or even no human...
ARI AML
Корнелл, ноябрь 1964 год Ричард Фейнман читает 7 лекций под названием «Характер физического закона» Чёрно-белая плёнка, 1 доска, мел, без слайдов Плёнки вышли из распространения в 1980-х Фейнман на пике своей формы сохранился только в виде книги и киноплёнок…
Рекомендательное письмо Роберта Оппенгеймера для Ричарда Фейнмана (1943)
Уважаемый профессор Бирдж,
В эти военные времена не всегда легко конструктивно думать о мире, который должен наступить после войны, даже в таких относительно небольших вопросах, как благополучие нашего факультета
Я хотел бы высказать вам одно предложение, которое касается этого и в отношении которого у меня самого есть очень твёрдое и сильное убеждение
Как вы знаете, здесь у нас довольно много физиков, и я встретил нескольких молодых людей, чьих качеств раньше не знал
Среди них есть один, который во всех отношениях настолько выдающийся и настолько явно признан таковым, что я считаю уместным обратить ваше внимание на его имя с настоятельной просьбой рассмотреть его кандидатуру на должность на факультете при первой же возможности
Возможно, вы помните это имя, потому что он однажды подавал заявку на стипендию в Беркли: это Ричард Фейнман
Он, вне всякого сомнения, самый блестящий молодой физик здесь, и все это знают
Это человек исключительно привлекательного характера и личности, чрезвычайно ясный, чрезвычайно нормальный во всех отношениях и превосходный преподаватель с тёплым чувством к физике во всех её аспектах
У него наилучшие отношения как с теоретиками, одним из которых он является, так и с экспериментаторами, с которыми он работает в очень тесном согласии
Причина, по которой я говорю вам о нём сейчас, состоит в том, что его исключительность настолько хорошо известна — и в Принстоне, где он работал до приезда сюда, и довольно значительному числу «больших шишек» в этом проекте, — что ему уже предложили должность на послевоенный период и, совершенно несомненно, предложат другие
Я считаю, что он был бы огромным усилением для нашего факультета, помогая связать воедино его преподавание, исследования, а также экспериментальные и теоретические стороны
Я могу привести вам две цитаты людей, с которыми он работал
Бете сказал, что предпочёл бы потерять любых двух других людей, чем Фейнмана, на этой нынешней работе, а Вигнер сказал: «Он — второй Дирак, только на этот раз человеческий»
Разумеется, здесь есть несколько людей, чьи рекомендации вы, возможно, захотите получить; в первую очередь — профессора Броде и Макмиллан
Надеюсь, вы не будете возражать против того, что я обращаю ваше внимание на этот вопрос, но я чувствую, что если мы сможем последовать предложению, которое я сделал, все мы будем очень счастливы и будем гордиться этим в будущем
Я не могу достаточно сильно подчеркнуть замечательные личные качества Фейнмана, которые получили общее признание у офицеров, учёных и непрофессионалов в этом сообществе
С наилучшими пожеланиями,
Роберт Оппенгеймер
Уважаемый профессор Бирдж,
В эти военные времена не всегда легко конструктивно думать о мире, который должен наступить после войны, даже в таких относительно небольших вопросах, как благополучие нашего факультета
Я хотел бы высказать вам одно предложение, которое касается этого и в отношении которого у меня самого есть очень твёрдое и сильное убеждение
Как вы знаете, здесь у нас довольно много физиков, и я встретил нескольких молодых людей, чьих качеств раньше не знал
Среди них есть один, который во всех отношениях настолько выдающийся и настолько явно признан таковым, что я считаю уместным обратить ваше внимание на его имя с настоятельной просьбой рассмотреть его кандидатуру на должность на факультете при первой же возможности
Возможно, вы помните это имя, потому что он однажды подавал заявку на стипендию в Беркли: это Ричард Фейнман
Он, вне всякого сомнения, самый блестящий молодой физик здесь, и все это знают
Это человек исключительно привлекательного характера и личности, чрезвычайно ясный, чрезвычайно нормальный во всех отношениях и превосходный преподаватель с тёплым чувством к физике во всех её аспектах
У него наилучшие отношения как с теоретиками, одним из которых он является, так и с экспериментаторами, с которыми он работает в очень тесном согласии
Причина, по которой я говорю вам о нём сейчас, состоит в том, что его исключительность настолько хорошо известна — и в Принстоне, где он работал до приезда сюда, и довольно значительному числу «больших шишек» в этом проекте, — что ему уже предложили должность на послевоенный период и, совершенно несомненно, предложат другие
Я считаю, что он был бы огромным усилением для нашего факультета, помогая связать воедино его преподавание, исследования, а также экспериментальные и теоретические стороны
Я могу привести вам две цитаты людей, с которыми он работал
Бете сказал, что предпочёл бы потерять любых двух других людей, чем Фейнмана, на этой нынешней работе, а Вигнер сказал: «Он — второй Дирак, только на этот раз человеческий»
Разумеется, здесь есть несколько людей, чьи рекомендации вы, возможно, захотите получить; в первую очередь — профессора Броде и Макмиллан
Надеюсь, вы не будете возражать против того, что я обращаю ваше внимание на этот вопрос, но я чувствую, что если мы сможем последовать предложению, которое я сделал, все мы будем очень счастливы и будем гордиться этим в будущем
Я не могу достаточно сильно подчеркнуть замечательные личные качества Фейнмана, которые получили общее признание у офицеров, учёных и непрофессионалов в этом сообществе
С наилучшими пожеланиями,
Роберт Оппенгеймер
Media is too big
VIEW IN TELEGRAM
80 % образования должно быть математикой, физикой, информатикой
Не потому, что это полезно — потому что это прокладывает бороздки в мозгу
Бороздки, которые становится всё труднее прокладывать с возрастом
В мире до AGI: это даёт вам работу
В мире после AGI: это делает вас функционирующим, самодостаточным человеком
Всё остальное?
Добавьте позже
Когнитивная основа — единственная основа, которая выдерживает переход
Не потому, что это полезно — потому что это прокладывает бороздки в мозгу
Бороздки, которые становится всё труднее прокладывать с возрастом
В мире до AGI: это даёт вам работу
В мире после AGI: это делает вас функционирующим, самодостаточным человеком
Всё остальное?
Добавьте позже
Когнитивная основа — единственная основа, которая выдерживает переход
ARI AML
80 % образования должно быть математикой, физикой, информатикой Не потому, что это полезно — потому что это прокладывает бороздки в мозгу Бороздки, которые становится всё труднее прокладывать с возрастом В мире до AGI: это даёт вам работу В мире после AGI:…
Cognition and AIs Future.pdf
500.6 KB
Media is too big
VIEW IN TELEGRAM
Все думают, что Midjourney и ChatGPT могут генерировать что угодно
Они не могут
В центре самой знаменитой работы Эшера — пустая дыра, которую современный алгоритмы заполнить не могут
Формула XIX века делает это в одну строку
Они не могут
В центре самой знаменитой работы Эшера — пустая дыра, которую современный алгоритмы заполнить не могут
Формула XIX века делает это в одну строку
Такими новостями уже никого не удивишь, но GPT-5.6 опровергла еще одну известную гипотезу, которая была открыта 30 лет
Гипотеза Диница - Гарга - Гоеманса – это теорема из теории графов и сетевых потоков, которая гласит, что из допустимого дробимого решения можно получить целочисленное по маршрутам решение без увеличения стоимости
Подобные утверждения часто становятся основой для практических оптимизационных алгоритмов, поэтому гипотеза важная
Открыта она была с 1999
Решение, к слову, обнаружил математик из Нижнего Тагила, выпускник ВШЭ
Вот чат с моделью
В итоге за несколько итераций и несколько часов модель нашла нужный контрпример
Вот такая математика в 2026 году
Гипотеза Диница - Гарга - Гоеманса – это теорема из теории графов и сетевых потоков, которая гласит, что из допустимого дробимого решения можно получить целочисленное по маршрутам решение без увеличения стоимости
Подобные утверждения часто становятся основой для практических оптимизационных алгоритмов, поэтому гипотеза важная
Открыта она была с 1999
Решение, к слову, обнаружил математик из Нижнего Тагила, выпускник ВШЭ
Вот чат с моделью
В итоге за несколько итераций и несколько часов модель нашла нужный контрпример
Вот такая математика в 2026 году
X (formerly Twitter)
Dmitry Rybin (@DmitryRybin1) on X
Dinitz-Garg-Goemans conjecture is false. This graph theory problem was open for ~30 years.
The graph below has fractional flow cost 58. Any unsplittable flow (with capacity violation <=15) has…
The graph below has fractional flow cost 58. Any unsplittable flow (with capacity violation <=15) has…
Anthropic дали агентам доступ к 500 навыкам сразу - это уже похоже на целую команду
Сегодня Anthropic сильно расширили возможности Managed Agents, особенно в плане масштаба, добавив 500 skills, гибкости настройки и удобства работы с суб-агентами в реальном времени
Это делает систему гораздо сильнее для сложных многоагентных задач
Эти новые функции можно попробовать с помощью cookbook компании
Anthropic сделала skills своей сильной стороной: они компактные, загружаются по необходимости и позволяют одному агенту держать огромную библиотеку специализированных инструкций
У OpenAI и Microsoft лимит в 4 раза ниже
Managed Agents сейчас один из самых быстро развивающихся продуктов Anthropic
Сегодня Anthropic сильно расширили возможности Managed Agents, особенно в плане масштаба, добавив 500 skills, гибкости настройки и удобства работы с суб-агентами в реальном времени
Это делает систему гораздо сильнее для сложных многоагентных задач
Эти новые функции можно попробовать с помощью cookbook компании
Anthropic сделала skills своей сильной стороной: они компактные, загружаются по необходимости и позволяют одному агенту держать огромную библиотеку специализированных инструкций
У OpenAI и Microsoft лимит в 4 раза ниже
Managed Agents сейчас один из самых быстро развивающихся продуктов Anthropic
Claude Platform Docs
Claude Platform release notes
Updates to the Claude Platform, including the Claude API, client SDKs, and the Claude Console.
MetaCircle представила новый подход к автоматизации исследований OPHIS - механистический авторесёрч, без LLM в основе, но результаты превосходят то, что показывает RSI
Все существующие системы авторесёрча работают примерно одинаково: берут опыт из интернета или из памяти прошлых экспериментов и предлагают следующий шаг
То OPHIS предлагает другую логику, в которой 5 этапов: наблюдение, проблема, гипотеза, вмешательство, ускорение
Создатели говорят, что они попробовали дать OPHIS способность понимать, а не только запоминать
И они же считают, что масштабировать нужно инсайты, а не вычисления
Все существующие системы авторесёрча работают примерно одинаково: берут опыт из интернета или из памяти прошлых экспериментов и предлагают следующий шаг
То OPHIS предлагает другую логику, в которой 5 этапов: наблюдение, проблема, гипотеза, вмешательство, ускорение
Создатели говорят, что они попробовали дать OPHIS способность понимать, а не только запоминать
И они же считают, что масштабировать нужно инсайты, а не вычисления
Meta-Circle
OPHIS: Towards Mechanistic Auto-Research — MetaCircle
Self-improving AI that's smart, not just works hard. Scale insights more than compute.
— Какие десять книг оказали наибольшее влияние на становление тебя как личности?
— Курс теоретической физики Ландау-Лифшица
— Ээээ... А остальные девять?
— А он в десяти томах
— Курс теоретической физики Ландау-Лифшица
— Ээээ... А остальные девять?
— А он в десяти томах
Большая языковая модель работает примерно на 1 % от связей в вашем мозге и всё равно оказывается знает больше вас:
В мозге примерно сто триллионов связей — это много
Но мозг живёт около двух миллиардов секунд — это не много
Гораздо больше связей, чем переживаний
С нейронными сетями всё наоборот
У них примерно триллион связей
Как и 1 % от связей в мозгу, даже в большой языковой модели, они получают в тысячи раз больше опыта, чем мозг
Большие языковые модели решают проблему с небольшим количеством связей — всего триллион
И обратное распространение ошибки хорошо справляется с упаковкой огромных объёмов знаний в небольшое количество связей
У мозга огромное количество связей, но мало опыта
А ужно извлечь максимум
Два-три миллиарда секунд — это всё, что у вас есть
Эволюция выжимает много из очень малого
Языковая модель сталкивается с противоположной проблемой и использует противоположное решение, и обратное распространение оказалось эфективнее в этом решении
Система, работающая на 1 % связей, но в тысячи раз с большим опытом, не будет ошибаться так, как мозг
У мозга слишком мало примеров
Он ошибается из-за того, что слишком много сжимает в слишком малое пространство, и ошибки возникают именно в сжатии
Никто пока не может посмотреть на триллион связей и сказать, что туда закладывать
В мозге примерно сто триллионов связей — это много
Но мозг живёт около двух миллиардов секунд — это не много
Гораздо больше связей, чем переживаний
С нейронными сетями всё наоборот
У них примерно триллион связей
Как и 1 % от связей в мозгу, даже в большой языковой модели, они получают в тысячи раз больше опыта, чем мозг
Большие языковые модели решают проблему с небольшим количеством связей — всего триллион
И обратное распространение ошибки хорошо справляется с упаковкой огромных объёмов знаний в небольшое количество связей
У мозга огромное количество связей, но мало опыта
А ужно извлечь максимум
Два-три миллиарда секунд — это всё, что у вас есть
Эволюция выжимает много из очень малого
Языковая модель сталкивается с противоположной проблемой и использует противоположное решение, и обратное распространение оказалось эфективнее в этом решении
Система, работающая на 1 % связей, но в тысячи раз с большим опытом, не будет ошибаться так, как мозг
У мозга слишком мало примеров
Он ошибается из-за того, что слишком много сжимает в слишком малое пространство, и ошибки возникают именно в сжатии
Никто пока не может посмотреть на триллион связей и сказать, что туда закладывать
Впервые за более чем 60 лет (с момента IBM System/360) полностью меняется сама парадигма
Теперь всё генерируется в реальном времени — контекстно, адаптивно и по намерению пользователя
Это меняет:
• то, как пишут программы (нейронные сети вместо классического кода);
• архитектуру систем, сети, хранилища и облака;
• саму роль компьютера (от «по запросу» к непрерывно работающим агентным системам)
Достигнут рост производительности примерно в 1.000.000 раз за 10 лет за счёт одновременной оптимизации всех уровней: чипов, компиляторов, сетей, систем хранения и ПО
Это принципиально превосходит классический закон Мура (который за то же время дал бы лишь ~10×)
Именно такой уровень ускорения позволил «скармливать» моделям весь интернет без жёсткого отбора данных
Традиционные учебники не успевают за скоростью появления знаний. Будущее образования — гибрид:
• алгоритмы как инструмент обучения и исследования (чтение, суммирование, диалог со статьями);
• сохранение базовых принципов (они не устаревают)
Студенты CS сегодня — первое поколение, для которого AML уже полезен и повсеместен
Открытые модели демократизируют AML и позволяют адаптировать его под разные языки и домены.
Прозрачность необходима для безопасности: «чёрный ящик» невозможно надёжно защитить
Потребность в вычислительных мощностях вырастет на порядки
Нужно радикальное повышение энергоэффективности (токены на ватт)
Успех строится на наблюдении → рассуждении от первых принципов → построении ментальной модели будущего → работе назад
Нужно уметь принимать стратегические решения в условиях неопределённости и сохранять опциональность
«Страдание» и преодоление трудностей формируют характер и устойчивость — это важная часть роста
GPU — технология общего назначения (игры, медицина, наука, логистика), а не оружие
Мы находимся в начале новой вычислительной эры — дегенеративной, агентной и непрерывной
Это лучшее время для специалистов в компьютерных науках за последние десятилетия
Те, кто понимает циклы, открытые модели, графы и топологию будут определять будущее
Теперь всё генерируется в реальном времени — контекстно, адаптивно и по намерению пользователя
Это меняет:
• то, как пишут программы (нейронные сети вместо классического кода);
• архитектуру систем, сети, хранилища и облака;
• саму роль компьютера (от «по запросу» к непрерывно работающим агентным системам)
Достигнут рост производительности примерно в 1.000.000 раз за 10 лет за счёт одновременной оптимизации всех уровней: чипов, компиляторов, сетей, систем хранения и ПО
Это принципиально превосходит классический закон Мура (который за то же время дал бы лишь ~10×)
Именно такой уровень ускорения позволил «скармливать» моделям весь интернет без жёсткого отбора данных
Традиционные учебники не успевают за скоростью появления знаний. Будущее образования — гибрид:
• алгоритмы как инструмент обучения и исследования (чтение, суммирование, диалог со статьями);
• сохранение базовых принципов (они не устаревают)
Студенты CS сегодня — первое поколение, для которого AML уже полезен и повсеместен
Открытые модели демократизируют AML и позволяют адаптировать его под разные языки и домены.
Прозрачность необходима для безопасности: «чёрный ящик» невозможно надёжно защитить
Потребность в вычислительных мощностях вырастет на порядки
Нужно радикальное повышение энергоэффективности (токены на ватт)
Успех строится на наблюдении → рассуждении от первых принципов → построении ментальной модели будущего → работе назад
Нужно уметь принимать стратегические решения в условиях неопределённости и сохранять опциональность
«Страдание» и преодоление трудностей формируют характер и устойчивость — это важная часть роста
GPU — технология общего назначения (игры, медицина, наука, логистика), а не оружие
Мы находимся в начале новой вычислительной эры — дегенеративной, агентной и непрерывной
Это лучшее время для специалистов в компьютерных науках за последние десятилетия
Те, кто понимает циклы, открытые модели, графы и топологию будут определять будущее