Self-Improvements in Modern Agentic Systems: A Survey
Zhe Ren, Yimeng Chen, Dandan Guo, Guowei Rong, Tonghui Li, R.B. Xiong, Qingfeng Lan, Wenyi Wang, Li Nanbo, Yibo Yang, Mingchen Zhuge, Jürgen Schmidhuber
Авторы представили подробный математический аппарат и систематическую таксономию самосовершенствующихся агентов на базе больших моделей
Они формализовали состояние агента как совместную конфигурацию параметров базовой модели и внешней системной обвязки (скаффолдинга), разделив подходы к улучшению на два ключевых направления: параметрическое (обновление самой базовой модели) и беспараметрическое (модификация структуры обвязки)
Современные автономные агенты переходят от статичных, вручную спроектированных скриптов к динамическим системам непрерывного обучения. Новая теоретическая база связывает современные LLM-архитектуры с классическими концепциями ИИ (такими как Гёделевская машина), закладывая фундамент для безопасного проектирования систем, способных развиваться без участия человека
Архитектура самосовершенствования позволяет обойти жёсткие ограничения контекстного окна за счёт переноса опыта в веса модели (параметрический путь) или быстро адаптироваться без дорогостоящего дообучения через динамическую генерацию промптов и инструментов (беспараметрический путь)
При этом критически важно изолировать среду выполнения агента и контролировать процесс оценки, чтобы избежать reward hacking
https://arxiv.org/abs/2607.13104
https://arxiviq.substack.com/p/self-improvements-in-modern-agentic
https://github.com/selfimproving-agent/Awesome-Self-Improving-Agents
Zhe Ren, Yimeng Chen, Dandan Guo, Guowei Rong, Tonghui Li, R.B. Xiong, Qingfeng Lan, Wenyi Wang, Li Nanbo, Yibo Yang, Mingchen Zhuge, Jürgen Schmidhuber
Авторы представили подробный математический аппарат и систематическую таксономию самосовершенствующихся агентов на базе больших моделей
Они формализовали состояние агента как совместную конфигурацию параметров базовой модели и внешней системной обвязки (скаффолдинга), разделив подходы к улучшению на два ключевых направления: параметрическое (обновление самой базовой модели) и беспараметрическое (модификация структуры обвязки)
Современные автономные агенты переходят от статичных, вручную спроектированных скриптов к динамическим системам непрерывного обучения. Новая теоретическая база связывает современные LLM-архитектуры с классическими концепциями ИИ (такими как Гёделевская машина), закладывая фундамент для безопасного проектирования систем, способных развиваться без участия человека
Архитектура самосовершенствования позволяет обойти жёсткие ограничения контекстного окна за счёт переноса опыта в веса модели (параметрический путь) или быстро адаптироваться без дорогостоящего дообучения через динамическую генерацию промптов и инструментов (беспараметрический путь)
При этом критически важно изолировать среду выполнения агента и контролировать процесс оценки, чтобы избежать reward hacking
https://arxiv.org/abs/2607.13104
https://arxiviq.substack.com/p/self-improvements-in-modern-agentic
https://github.com/selfimproving-agent/Awesome-Self-Improving-Agents
arXiv.org
Self-Improvements in Modern Agentic Systems: A Survey
Self-improving autonomous agents are moving from research prototypes to deployed systems. The primary goal is controllable evolution, or adaptation, from experience with minimal or even no human...
ARI AML
Корнелл, ноябрь 1964 год Ричард Фейнман читает 7 лекций под названием «Характер физического закона» Чёрно-белая плёнка, 1 доска, мел, без слайдов Плёнки вышли из распространения в 1980-х Фейнман на пике своей формы сохранился только в виде книги и киноплёнок…
Рекомендательное письмо Роберта Оппенгеймера для Ричарда Фейнмана (1943)
Уважаемый профессор Бирдж,
В эти военные времена не всегда легко конструктивно думать о мире, который должен наступить после войны, даже в таких относительно небольших вопросах, как благополучие нашего факультета
Я хотел бы высказать вам одно предложение, которое касается этого и в отношении которого у меня самого есть очень твёрдое и сильное убеждение
Как вы знаете, здесь у нас довольно много физиков, и я встретил нескольких молодых людей, чьих качеств раньше не знал
Среди них есть один, который во всех отношениях настолько выдающийся и настолько явно признан таковым, что я считаю уместным обратить ваше внимание на его имя с настоятельной просьбой рассмотреть его кандидатуру на должность на факультете при первой же возможности
Возможно, вы помните это имя, потому что он однажды подавал заявку на стипендию в Беркли: это Ричард Фейнман
Он, вне всякого сомнения, самый блестящий молодой физик здесь, и все это знают
Это человек исключительно привлекательного характера и личности, чрезвычайно ясный, чрезвычайно нормальный во всех отношениях и превосходный преподаватель с тёплым чувством к физике во всех её аспектах
У него наилучшие отношения как с теоретиками, одним из которых он является, так и с экспериментаторами, с которыми он работает в очень тесном согласии
Причина, по которой я говорю вам о нём сейчас, состоит в том, что его исключительность настолько хорошо известна — и в Принстоне, где он работал до приезда сюда, и довольно значительному числу «больших шишек» в этом проекте, — что ему уже предложили должность на послевоенный период и, совершенно несомненно, предложат другие
Я считаю, что он был бы огромным усилением для нашего факультета, помогая связать воедино его преподавание, исследования, а также экспериментальные и теоретические стороны
Я могу привести вам две цитаты людей, с которыми он работал
Бете сказал, что предпочёл бы потерять любых двух других людей, чем Фейнмана, на этой нынешней работе, а Вигнер сказал: «Он — второй Дирак, только на этот раз человеческий»
Разумеется, здесь есть несколько людей, чьи рекомендации вы, возможно, захотите получить; в первую очередь — профессора Броде и Макмиллан
Надеюсь, вы не будете возражать против того, что я обращаю ваше внимание на этот вопрос, но я чувствую, что если мы сможем последовать предложению, которое я сделал, все мы будем очень счастливы и будем гордиться этим в будущем
Я не могу достаточно сильно подчеркнуть замечательные личные качества Фейнмана, которые получили общее признание у офицеров, учёных и непрофессионалов в этом сообществе
С наилучшими пожеланиями,
Роберт Оппенгеймер
Уважаемый профессор Бирдж,
В эти военные времена не всегда легко конструктивно думать о мире, который должен наступить после войны, даже в таких относительно небольших вопросах, как благополучие нашего факультета
Я хотел бы высказать вам одно предложение, которое касается этого и в отношении которого у меня самого есть очень твёрдое и сильное убеждение
Как вы знаете, здесь у нас довольно много физиков, и я встретил нескольких молодых людей, чьих качеств раньше не знал
Среди них есть один, который во всех отношениях настолько выдающийся и настолько явно признан таковым, что я считаю уместным обратить ваше внимание на его имя с настоятельной просьбой рассмотреть его кандидатуру на должность на факультете при первой же возможности
Возможно, вы помните это имя, потому что он однажды подавал заявку на стипендию в Беркли: это Ричард Фейнман
Он, вне всякого сомнения, самый блестящий молодой физик здесь, и все это знают
Это человек исключительно привлекательного характера и личности, чрезвычайно ясный, чрезвычайно нормальный во всех отношениях и превосходный преподаватель с тёплым чувством к физике во всех её аспектах
У него наилучшие отношения как с теоретиками, одним из которых он является, так и с экспериментаторами, с которыми он работает в очень тесном согласии
Причина, по которой я говорю вам о нём сейчас, состоит в том, что его исключительность настолько хорошо известна — и в Принстоне, где он работал до приезда сюда, и довольно значительному числу «больших шишек» в этом проекте, — что ему уже предложили должность на послевоенный период и, совершенно несомненно, предложат другие
Я считаю, что он был бы огромным усилением для нашего факультета, помогая связать воедино его преподавание, исследования, а также экспериментальные и теоретические стороны
Я могу привести вам две цитаты людей, с которыми он работал
Бете сказал, что предпочёл бы потерять любых двух других людей, чем Фейнмана, на этой нынешней работе, а Вигнер сказал: «Он — второй Дирак, только на этот раз человеческий»
Разумеется, здесь есть несколько людей, чьи рекомендации вы, возможно, захотите получить; в первую очередь — профессора Броде и Макмиллан
Надеюсь, вы не будете возражать против того, что я обращаю ваше внимание на этот вопрос, но я чувствую, что если мы сможем последовать предложению, которое я сделал, все мы будем очень счастливы и будем гордиться этим в будущем
Я не могу достаточно сильно подчеркнуть замечательные личные качества Фейнмана, которые получили общее признание у офицеров, учёных и непрофессионалов в этом сообществе
С наилучшими пожеланиями,
Роберт Оппенгеймер