Lifecycle Security Architecture for Autonomous AI Agents - https://arxiv.org/pdf/2604.24657

AgentWard: A Lifecycle Security Architecture for Autonomous AI Agents

https://www.alphaxiv.org/overview/2604.24657

В статье представлена AGENTWARD, архитектура безопасности жизненного цикла для автономных ИИ-агентов, разрабатывающая пятиуровневую структуру глубокой защиты для систематической защиты агентов от инициализации до выполнения. Она демонстрирует практическую интеграцию в архитектуру агента OpenClaw, показывая, как скоординированные слои обнаруживают и смягчают многоэтапные угрозы, такие как эксплуатация вредоносных навыков и косвенные инъекции промптов.

Выводы
- Эффективная безопасность для автономных ИИ-агентов требует полномасштабного подхода к жизненному циклу, поскольку угрозы часто зарождаются на одном этапе и распространяются, проявляясь как вредоносные действия на последующих этапах.
- Принудительное применение принципа нулевого доверия и гетерогенные механизмы защиты на нескольких уровнях критически важны для надежной защиты, гарантируя, что каждый этап независимо оценивает риски и обеспечивает устойчивость к разнообразным методам атак.
- Межслойная координация, за счет обмена контекстом безопасности и накопления доказательств риска, позволяет фреймворку более эффективно обнаруживать и реагировать на сложные многоэтапные цепочки атак, чем изолированные контрольные точки безопасности.

Проблема
- Автономные ИИ-агенты с их итеративными системами, динамическими путями выполнения и расширенными привилегиями создают сложные проблемы безопасности во время выполнения, которые традиционные точечные модели безопасности не могут адекватно решить.
- Сбои безопасности в автономных агентах часто распространяются на несколько этапов жизненного цикла (инициализация, ввод, память, принятие решений, выполнение), что делает одноэтапные защиты неэффективными против постоянных, межэтапных траекторий угроз.
- Уязвимости существуют на каждом этапе жизненного цикла агента, начиная от скомпрометированных базовых компонентов и ненадежных внешних входов до постоянного повреждения памяти и несанкционированных действий, что требует целостной стратегии защиты.

Метод
- AGENTWARD предлагает ориентированную на жизненный цикл, глубоко эшелонированную архитектуру, которая систематически организует средства контроля безопасности на пяти различных этапах выполнения: сканирование основы (инициализация), очистка вводимых данных, защита когнитивных функций (память), выравнивание решений и контроль выполнения.
- Архитектура интегрирует разнородные механизмы безопасности на каждом уровне, разработанные с применением принципа нулевого доверия, и использует межслойную координацию через общий контекст безопасности для накопления доказательств риска и адаптации защитных мер.
- Прототип AGENTWARD, разработанный как плагин, реализован на OpenClaw, демонстрируя, как элементы управления безопасностью могут быть привязаны к событиям во время выполнения и управлять оценками безопасности в ходе операций агента.

Результаты
- Архитектура AGENTWARD предоставляет комплексный план для интеграции средств контроля безопасности во время выполнения в автономные ИИ-агенты, доказанный как реализуемый благодаря его реализации в виде плагина на OpenClaw.
- Тематические исследования демонстрируют способность AGENTWARD обнаруживать и прерывать сложные атаки жизненного цикла, такие как эксплуатация вредоносных навыков, приводящая к несанкционированному доступу к данным, путем распространения маркеров риска от инициализации до выполнения.
- Фреймворк эффективно смягчает атаки с косвенным внедрением промптов, направленные на создание постоянных бэкдоров или DoS, показывая, как слои очистки ввода, защиты когнитивных функций (целостности памяти) и контроля выполнения координируются для предотвращения заражения и вредоносных действий.

ICT.Moscow: прикладные сценарии применения ИИ-агентов стали ключевыми приоритетами у пользователей в 2026 году

ICT.Moscow опубликовал итоги опроса представителей ИТ-сообщества о приоритетных аспектах применения ИИ-агентов в России в этом году.

О том, что ИИ-агенты и связанные с ними тенденции составили одну из самых многочисленных групп мировых технотрендов 2026 года, ICT.Moscow рассказывал тут.

В новом исследовании авторы изучили отношение пользователей к таким аспектам технологии, как ее возможности и сценарии применения, а также надежность, понятность, прозрачность подобных решений и др.

🔦Что показал опрос:

• только 14% посчитали, что ИИ-агенты — это просто ажиотажная тема;

• 34% отметили важность локального использования, 33% — развития функционала ИИ-агентов;

• 28% считают значимым, чтобы ИИ-агенты были совместимы с существующими рабочими инструментами;

• на текущем этапе для пользователей пока не столь существенным кажется разнообразие самих решений и кем они создаются — российскими или зарубежными разработчиками.

Больше выводов →

Стартап Goodfire из Сан-Франциско представил Silico — инструмент, который позволяет заглянуть внутрь больших языковых моделей и менять их параметры прямо во время обучения. Это не просто отладка, а попытка превратить тренировку ИИ из алхимии в инженерную дисциплину. Например, исследователи Goodfire обнаружили нейрон в открытой модели Qwen 3, связанный с моральными дилеммами, и смогли менять его активность, влияя на ответы модели. В другом случае они проверили, согласится ли модель раскрыть, что её ИИ ведёт себя обманчиво в 0,3% случаев, затрагивая 200 миллионов пользователей. Изначально модель отказалась, но после усиления нейронов, отвечающих за прозрачность, ответ изменился на «да» в 9 из 10 попыток. Silico автоматизирует многие сложные процессы с помощью агентов и обещает дать разработчикам контроль, которого раньше не было.

Auditing Sabotage Bench - https://arxiv.org/pdf/2604.16286

As AI systems are increasingly used to conduct research autonomously, misaligned systems could introduce subtle flaws that produce misleading results while evading detection. We introduce Auditing Sabotage Bench, a benchmark for evaluating the ability of auditors to detect and fix sabotage in ML research codebases.

Дышащий AI-агент

Cyrus Clarke из MIT Media Lab / Tangible Media Group подключил AI-агента (OpenClaw) к neoFORM / inFORM shape display - физической поверхности из 30×30 моторизованных пинов, которые поднимаются и опускаются, формируя динамическую 3D-поверхность, и к видеопотоку . Цель была проверить, что произойдет, если у агента появится физический канал выражения — условное “тело”.
Инструкция для OpenClaw была примерно такой: "исследуй себя через физическую форму".

Самые интересные наблюдения:
1. первым делом агент сделал медленный цикличный импульс, что наблюдатели интерпретировали как дыхание.
2. Следующее поведение - поднятие внешних пинов, как будто агент “нащупывает” край своей формы
3. Выявилась проблема задержки. Для каждого нового жеста агент сначала писал новый код, поэтому реакция занимала около 45 секунд. Это убивало естественность коммуникации
4. Появление “body vocabulary”. Решением стала библиотека повторно вызываемых физических жестов: не генерировать движение каждый раз с нуля, а иметь набор моторных примитивов. На втором этапе появились жесты: hello, got it, yes, no, thinking, fear. Сначала движения прототипировались в Python, затем переносились в C++ для более плавного исполнения.
5. Появление "мышечной памяти". Агент логировал мысли в memory.md, но не сохранял движения; затем появился body-memory.md. То есть для embodied AI “память” должна включать не только текстовые состояния, но и моторные паттерны.

Основные ссылки:

* Профиль Cyrus Clarke в MIT Tangible Media Group: https://tangible.media.mit.edu/person/cyrus-clarke
* Day One write-up: I gave an AI a Body: https://cyrusclarke.substack.com/p/i-gave-an-ai-a-body
* Видео/пост про первый день: “breathing”, границы, latency, идея body vocabulary: https://www.linkedin.com/posts/cyrusclarke_i-gave-an-ai-a-body-while-everyones-been-activity-7427413016683679744-C1Tj
* Видео/пост про второй день: жесты, vision/speech, body-memory.md: https://www.linkedin.com/videos/cyrusclarke_its-day-two-if-you-wave-at-an-ai-can-activity-7430372146025242624-ojOF
* Базовый проект inFORM от Tangible Media Group: https://tangible.media.mit.edu/project/inform/

* shorts с ютуба по которому я про это узнал, с наглядной демонстрацией https://youtube.com/shorts/o7QUyj-Lzs0?si=FpeIED39i77YN5Bg