Интересное

В феврале 2026 CompTIA запустила SecAI+ (CY0-001) первую международную сертификацию по безопасности ИИ. 4 домена
экзамена: базовые концепции, защита AI-систем, применение
ИИ в задачах ИБ, GRC. Программа покрывает MITRE ATLAS,
OWASP Top 10 for LLM, атаки prompt injection (direct
и indirect), data и model poisoning, membership inference,
model inversion, backdoors в моделях.

PDF-конспекты по всем 4 доменам, справочник MITRE ATLAS, шпаргалка по атакам на LLM, глоссарий. Плюс ВМ с Ollama и 12 практических лабораторных: prompt injection, jailbreak, RAG poisoning, data poisoning, обход guardrails, AI red teaming.

https://rtmeteor.ru/secai

Написал короткую статью на 40 листах об agents evals:

https://habr.com/ru/companies/raft/articles/1028832/

не смог обойти OpenClaw стороной

https://habr.com/ru/companies/raft/articles/1001286/

Lifecycle Security Architecture for Autonomous AI Agents - https://arxiv.org/pdf/2604.24657

AgentWard: A Lifecycle Security Architecture for Autonomous AI Agents

https://www.alphaxiv.org/overview/2604.24657

В статье представлена AGENTWARD, архитектура безопасности жизненного цикла для автономных ИИ-агентов, разрабатывающая пятиуровневую структуру глубокой защиты для систематической защиты агентов от инициализации до выполнения. Она демонстрирует практическую интеграцию в архитектуру агента OpenClaw, показывая, как скоординированные слои обнаруживают и смягчают многоэтапные угрозы, такие как эксплуатация вредоносных навыков и косвенные инъекции промптов.

Выводы
- Эффективная безопасность для автономных ИИ-агентов требует полномасштабного подхода к жизненному циклу, поскольку угрозы часто зарождаются на одном этапе и распространяются, проявляясь как вредоносные действия на последующих этапах.
- Принудительное применение принципа нулевого доверия и гетерогенные механизмы защиты на нескольких уровнях критически важны для надежной защиты, гарантируя, что каждый этап независимо оценивает риски и обеспечивает устойчивость к разнообразным методам атак.
- Межслойная координация, за счет обмена контекстом безопасности и накопления доказательств риска, позволяет фреймворку более эффективно обнаруживать и реагировать на сложные многоэтапные цепочки атак, чем изолированные контрольные точки безопасности.

Проблема
- Автономные ИИ-агенты с их итеративными системами, динамическими путями выполнения и расширенными привилегиями создают сложные проблемы безопасности во время выполнения, которые традиционные точечные модели безопасности не могут адекватно решить.
- Сбои безопасности в автономных агентах часто распространяются на несколько этапов жизненного цикла (инициализация, ввод, память, принятие решений, выполнение), что делает одноэтапные защиты неэффективными против постоянных, межэтапных траекторий угроз.
- Уязвимости существуют на каждом этапе жизненного цикла агента, начиная от скомпрометированных базовых компонентов и ненадежных внешних входов до постоянного повреждения памяти и несанкционированных действий, что требует целостной стратегии защиты.

Метод
- AGENTWARD предлагает ориентированную на жизненный цикл, глубоко эшелонированную архитектуру, которая систематически организует средства контроля безопасности на пяти различных этапах выполнения: сканирование основы (инициализация), очистка вводимых данных, защита когнитивных функций (память), выравнивание решений и контроль выполнения.
- Архитектура интегрирует разнородные механизмы безопасности на каждом уровне, разработанные с применением принципа нулевого доверия, и использует межслойную координацию через общий контекст безопасности для накопления доказательств риска и адаптации защитных мер.
- Прототип AGENTWARD, разработанный как плагин, реализован на OpenClaw, демонстрируя, как элементы управления безопасностью могут быть привязаны к событиям во время выполнения и управлять оценками безопасности в ходе операций агента.

Результаты
- Архитектура AGENTWARD предоставляет комплексный план для интеграции средств контроля безопасности во время выполнения в автономные ИИ-агенты, доказанный как реализуемый благодаря его реализации в виде плагина на OpenClaw.
- Тематические исследования демонстрируют способность AGENTWARD обнаруживать и прерывать сложные атаки жизненного цикла, такие как эксплуатация вредоносных навыков, приводящая к несанкционированному доступу к данным, путем распространения маркеров риска от инициализации до выполнения.
- Фреймворк эффективно смягчает атаки с косвенным внедрением промптов, направленные на создание постоянных бэкдоров или DoS, показывая, как слои очистки ввода, защиты когнитивных функций (целостности памяти) и контроля выполнения координируются для предотвращения заражения и вредоносных действий.

ICT.Moscow: прикладные сценарии применения ИИ-агентов стали ключевыми приоритетами у пользователей в 2026 году

ICT.Moscow опубликовал итоги опроса представителей ИТ-сообщества о приоритетных аспектах применения ИИ-агентов в России в этом году.

О том, что ИИ-агенты и связанные с ними тенденции составили одну из самых многочисленных групп мировых технотрендов 2026 года, ICT.Moscow рассказывал тут.

В новом исследовании авторы изучили отношение пользователей к таким аспектам технологии, как ее возможности и сценарии применения, а также надежность, понятность, прозрачность подобных решений и др.

🔦Что показал опрос:

• только 14% посчитали, что ИИ-агенты — это просто ажиотажная тема;

• 34% отметили важность локального использования, 33% — развития функционала ИИ-агентов;

• 28% считают значимым, чтобы ИИ-агенты были совместимы с существующими рабочими инструментами;

• на текущем этапе для пользователей пока не столь существенным кажется разнообразие самих решений и кем они создаются — российскими или зарубежными разработчиками.

Больше выводов →