AI red teaming постепенно становится отдельным рынком. Это видно и по покупке команды PromptFoo гигантом OpenAI, и по тому, как российские ИБ-компании уже оценивают рост атак через ИИ-уязвимости.

Это хорошо совпадает с тем, что мы видим на рынке сами. Полгода назад мы выпустили open source версию HiveTrace Red, а сегодня анонсируем запуск HiveTrace Red Enterprise 🚀

24 марта проведем вебинар, где подробно расскажем, как сегодня устроены проекты по тестированию ИИ-систем и как усилить практику пентеста с помощью наших инструментов. Новую версию мы готовы бесплатно предоставить партнерам, которым интересно развивать у себя направление AI red teaming и предлагать такие проекты своим клиентам.

Ссылка на регистрацию: https://aisecuritylab.timepad.ru/event/3868359/
Подробнее о HiveTrace Red Enterprise: hivetrace.ru/red

⭐️ Нормативно-правовые акты, регулирующие ИИ в финансовой сфере России

1. Федеральный закон от 31.07.2020 № 258-ФЗ «Об экспериментальных правовых режимах в сфере цифровых инноваций»

Создаёт механизм «регуляторных песочниц» для тестирования цифровых инноваций. Применяется для апробации ИИ-решений в здравоохранении, банковской сфере, страховании, финтехе, сельском хозяйстве, архитектуре, промышленности.

2. Федеральный закон от 31.07.2020 № 259-ФЗ «О цифровых финансовых активах, цифровой валюте и о внесении изменений в отдельные законодательные акты Российской Федерации».

Регулирует оборот цифровых финансовых активов и цифровой валюты, включая вопросы использования автоматизированных систем. Касается всех алгоритмов искусственного интеллекта, применяемых для анализа, торговли и управления цифровыми активами.

3. Федеральный закон от 27.07.2006 № 152-ФЗ «О персональных данных».

Как и для медицинских, для финансовых ИИ-систем этот закон строго обязателен, так как в финтехе большинство ИИ-систем так или иначе используют персональные данные. А многие модели и обучаются на персональных данных.

4. Акты ФСТЭК и ФСБ по требованиям к защите информации

Обязательны для ИИ-систем, обрабатывающих персональные и финансовые данные (локализация, шифрование, аудит).

5. Информационное письмо Банка России от 09.07.2025 № ИН-016-13/91 «О Кодексе этики в сфере разработки и применения искусственного интеллекта на финансовом рынке» от 09.07.2025.

Кодекс этики - один из новейших и ключевых документов регулирования ИИ на финансовом рынке. Очевидно, что Банк России будет так или иначе мониторить его соблюдение и делать выводы. Кодекс устанавливает 5 этических принципов: человекоцентричность, справедливость, прозрачность, безопасность, ответственное управление рисками. Рекомендует ведение реестра ИИ-моделей, оценку рисков, ведение базы инцидентов, то есть по сути требует полноценного внедрения AI Governance в российский финтех.

Следует понимать, что в Кодексе указаны и четкие меры по архитектуре ИИ-систем, например:

2.1.2. предоставление клиентам возможности отказаться от взаимодействия с применением искусственного интеллекта; (далее рекомендуется HITL)

2.1.3. обеспечение возможности пересмотра решения, принятого с применением искусственного интеллекта; (далее рекомендуется HITL)

Продолжение: https://vk.com/wall-210601538_2027

🔥 Мой комментарий по поводу возможной блокировки телеграм - этот канал однозначно продолжит работать, если что - подписывайтесь на:

1) Сообщество в VK: https://vk.com/mlops
2) Канал в MAX: https://max.ru/join/NnZ8rJNhTKAUUm1ADKiuPlw_F69FpmL5Ff2dKdFkzAY

В них точно такая же информация как здесь. Путь к вершине мы с вами продолжаем, не останавливаемся ни на час, эти блокировки, всё это мелочи, а главное - наша собственная скорость и то, во что мы реально верим, какие цели ставим перед собой, куда мы инвестируем энергию, время и как рационально это делаем.

В сферах AIG (AI Governance) и MLSecOps победит тот, кто будет наиболее быстро, решительно и эффективно действовать, непрерывно совершенствуя технологии, автоматизируя процессы, изучая передовой опыт. И это именно мы с вами! Всем отличной рабочей недели и прекрасного настроения, вы лучшие! 🤝

Global MLSecOps & AIG Architect
Николай Павлов

⭐️ Академия АйТи FabricaONE AI (акционер - ГК Softline) объявляет о запуске пятого потока программы «Data Steward: специалист по стратегическому управлению данными» 🔥

Образовательная программа «Data Steward: специалист по стратегическому управлению данными» - это один из первых в России курсов по подготовке специалистов в этой перспективной области. Программа повышения квалификации готовит специалистов, способных обеспечивать качество, целостность и безопасность корпоративных данных, включая данные для ИИ-систем. Материалы программы еженедельно обновляются и дополняются.

Сегодня многие организации сталкиваются с проблемой «цифрового хаоса»: данные накапливаются бессистемно, нет единых стандартов хранения, нет критериев оценки качества данных, а несоблюдение регуляторных требований приводит к финансовым потерям и репутационным рискам. Устаревший технологический стек, задержки в принятии решений из-за плохой навигации в данных, ограниченность источников данных, инциденты с «грязными» данными влияют на доверие клиентов и HR-бренд. Data Steward — именно тот, кто решает эти проблемы, выстраивает стратегию работы с данными и становится связующим звеном между бизнесом и технологиями — вне зависимости от их текущего уровня в компании. Эта роль важна для любых организаций: от тех, где аналитика ведется в табличных редакторах, до корпораций с современными фреймворками. Как правило в небольших организациях Data Steward представляет собой роль, тогда как в крупных — это отдельная должность.

Чтобы подготовить таких экспертов, Академия АйТи разработала программу из 12 модулей, которые сочетают теорию с практическими работами и охватывают разные темы — от трендов в Big Data до практического формирования Data Governance. Слушатели изучат такие важные вопросы, как Data Quality, машинное обучение для бизнеса, моделирование данных, влияние искусственного интеллекта на работу с данными. Они также освоят управленческие навыки, включая взаимодействие с бизнес-подразделениями, проведение тренингов и семинаров для пользователей. Научатся действовать в условиях инцидентов, связанными с данными, узнают про Каталоги и Глоссарии данных.

Обучение потока начнется 24 марта 2026 года и продлится две недели с бесплатной технической поддержкой слушателей в течение трех месяцев после окончания. Занятия будут проходить в гибком онлайн-формате по вечерам и по субботам, что позволяет учиться без отрыва от основной работы или учебы. Курс предназначен для ИТ-специалистов, аналитиков, администраторов баз данных, руководителей и HR-менеджеров компаний, внедряющих роль Data Steward. Одновременно он подойдет и для тех, кто только начинает свой путь в сфере IT, так как профессия Data Steward не требует таких глубоких навыков, как, например, Data Engineer или MLSecOps. Программа также будет полезна всем, кто интересуется управлением данными и желает повысить квалификацию. В конце обучения выпускники получат удостоверение государственного образца, подтверждающее повышение квалификации по профессии Data Steward. При этом стоимость обучения минимальна и доступна для всех.

Важно, что с 2026 года в этой программе сделан подробный обзор инструментов и технологий от TData, компании-лидера в сфере управления большими данными, надёжного поставщика высокотехнологичных решений в России. Также в программу добавлена информация по самому новому направлению в сфере ИИ - AI Governance.

Ссылка на учебную программу: https://academyit.ru/courses/ds-dg

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Онлайн-конференция по проектированию комплексных систем безопасности «ЦеСИС-2026»

Это одна из ведущих в России конференций по безопасности и отказоустойчивости автономных и киберфизических систем, проектированию комплексных систем безопасности.

Мероприятие состоится 19 марта с 11:00 до 14:00 по Москве и ориентировано на проектировщиков, инженеров систем безопасности, специалистов служб безопасности и эксплуатации, интеграторов, а также представителей государственных и контролирующих органов, отвечающих за физзащиту объектов.

Конференция пройдёт в режиме онлайн.

Ключевые темы:

— бронированные конструкции и защищенные наблюдательные посты;

— подходы к пассивным системам защиты от БПЛА;

— системы принудительной остановки транспорта и их развитие;

— технические средства охраны, электротехнические шкафы и шкафы управления;

— взломостойкие замки и замки с мастер-системой;

— направление развития модульных конструкций выпускаемых предприятием.

Выступления по темам проводят ведущие специалиста предприятия и наши партнеры. Формат конференции предполагает общение в формате дискуссии.

Основная цель конференции — познакомить участников с направлениями развития тематических направлений и услышать мнение потенциальных потребителей нашей продукции и услуг.

Начало мероприятия 19 марта в 11:00 по московскому времени.
Регистрация онлайн-слушателей на платформе Groteck: https://www.secuteck.ru/2026/integrated-security

Архитектор MLSecOps & AI Governance
Николай Павлов

Во вторник проведем вебинар об уязвимостях AI-систем и подходах к их тестированию. Поговорим про:
🔹 где именно в архитектуре возникают уязвимости и какие атаки реально работают против LLM
🔹 как выглядит процесс AI-пентеста: от гипотез и экспериментов до отчета об устойчивости
🔹 какие инструменты и подходы позволяют это автоматизировать, и покажем реальные атаки на примерах

Приходите, если интересуетесь темой уязвимостей AI-систем и хотите обсудить актуальные вопросы в области тестирования AI-агентов.

Ссылка: https://aisecuritylab.timepad.ru/event/3868359/

⭐️ Суверенный ИИ под традиционные ценности: что меняет новый законопроект о регулировании искусственного интеллекта в России

В России на обсуждение вынесли проект первого рамочного закона об искусственном интеллекте, который одновременно закрепляет базовые принципы регулирования ИИ и прямо требует учитывать традиционные российские духовно-нравственные ценности при создании и внедрении таких систем. Для инженеров, проектировщиков, айти-специалистов и госслужащих это не абстрактная политическая декларация, а новая нормативная реальность, к которой придётся готовить и технологии, и документы, и внутренние регламенты.

I. Зачем отрасли закон об ИИ?

Министерство цифрового развития подготовило проект федерального закона «Об основах государственного регулирования сфер применения технологий искусственного интеллекта в Российской Федерации» (ID 166424 на портале проектов нормативных правовых актов). Документ впервые на уровне федерального закона даёт определение искусственного интеллекта и вводит систему базовых понятий для отрасли - от суверенного ИИ до доверенных моделей. По данным Минцифры, основной замысел закона - создать правовые условия для ускоренного внедрения ИИ, но одновременно обеспечить безопасность личности, общества и государства и технологический суверенитет России. Вице-премьер Дмитрий Григоренко характеризует законопроект как рамочный: он задаёт общие принципы и контуры регулирования, а конкретные технические требования и отраслевые регламенты будут разворачивать последующими актами.

Обсуждение проекта началось в марте 2026 года, общественная дискуссия организована через официальный портал проектов нормативных правовых актов. По состоянию на конец марта документ ещё не прошёл процедуру рассмотрения в Госдуме и формально остаётся законопроектом, а не принятым актом. Планируется, что при успешном прохождении всех стадий он вступит в силу с 1 сентября 2027 года, то есть у рынка и госструктур остаётся несколько лет на подготовку. Для технических специалистов это редкая ситуация: есть возможность заранее перестроить процессы, не дожидаясь «вчерашнего» срока вступления норм в силу.

Продолжение: https://vk.com/wall-210601538_2030

⭐️ Проект Федерального закона "Об основах государственного регулирования сфер применения технологий искусственного интеллекта в Российской Федерации"

Проектом в том числе:

+ устанавливается риск-ориентированный подход к регулированию применения искусственного интеллекта;

+ вводятся понятия суверенных, национальных и доверенных моделей искусственного интеллекта;

+ предусматривается, что гражданам должна быть обеспечена возможность досудебного обжалования решений, принятых или совершенных с использованием технологий искусственного интеллекта;

+ закрепляется право граждан на компенсацию вреда, причиненного неправомерным использованием технологий искусственного интеллекта;

+ устанавливаются обязанности разработчика модели искусственного интеллекта, оператора системы искусственного интеллекта, владельца и пользователя сервиса искусственного интеллекта

Вступление в силу закона планируется с 1 сентября 2027 года.

КонсультантПлюс

⭐️ Gartner: К 2028 году 80% госструктур внедрят ИИ-агентов для автоматизации рутинных решений

По мнению аналитиков Gartner, к 2028 году по меньшей мере 80% госструктур внедрят ИИ-агентов для автоматизации рутинного процесса принятия решений, повышения эффективности и расширения предоставляемых услуг. Развитие мультимодального ИИ, диалоговых и агентных систем открывает перед государственными организациями новые возможности для автоматизации, анализа и прогнозирования.

Одним из наиболее серьезных препятствий на пути использования искусственного интеллекта в государственном управлении становится фрагментация. Согласно опросу Gartner, ключевыми проблемами при внедрении цифровых решений считаются изолированные стратегии (41% респондентов) и устаревшие системы (31%).

Традиционно управление ИИ было сосредоточено на управлении моделями, данными и алгоритмами. Однако теперь акцент смещается в сторону управления самими решениями – их подготовкой, выполнением, контролем и аудитом. Это особенно важно для госсектора, где легитимность власти напрямую зависит от прозрачности и справедливости процессов.

Опрос Gartner показал, что основными причинами для инвестирования в укрепление доверия 39% респондентов считают улучшение обслуживания и удовлетворенность граждан. Концепция интеллектуального принятия решений (Decision Intelligence, DI) закладывает структурную основу для укрепления этого доверия, предлагая четкие и контролируемые пути принятия решений.

Управляя решениями, а не просто изолируя компоненты ИИ, госструктуры могут лучше сочетать автоматизацию с человеческим суждением, особенно в ситуациях, когда ставки высоки или затрагивают права человека. При принятии решений регулируемые отрасли и государственные организации не могут полагаться на непрозрачные системы в стиле черного ящика.

Согласно прогнозам Gartner, из-за необходимости обеспечения прозрачности к 2029 году 70% государственных учреждений потребуют оснащения систем принятия решений, влияющих на предоставление услуг гражданам, искусственным интеллектом, объясняющим сделанный выбор, и ИИ с участием человека. Такой подход гарантирует, что логика принятия решений может быть проверена, объяснена и при необходимости оспорена.

Доверие граждан к способности государства предоставлять эффективные услуги становится ключевым фактором цифровой трансформации. Одним из главных приоритетов 50% респондентов назвали улучшение пользовательского опыта граждан. Когда граждане получают от госорганизаций ответ на свой запрос автоматически, уровень прямого взаимодействия снижается, что делает доверие к надежности, справедливости и прозрачности системы еще более критичным. Способность прогнозировать потенциальные потребности может полностью изменить порядок предоставления государственных цифровых услуг. DI позволяет госструктурам перестраивать процессы принятия решений, переходя от реактивного, управляемого процессами взаимодействия к активному и персонализированному обслуживанию. Это не только повышает согласованность и сокращает задержки, но и способствует укреплению общественного доверия.

osp ru

⭐️ Вебинар "AI-ассистенты для сбытовых компаний: возможности и эффекты"

На вебинаре совместно с партнёром ГК АТС разобрали, как AI и речевые технологии могут работать на пользу вашего бизнеса. Как голосовые роботы повышают удовлетворённость клиентов за счёт быстрых и точных ответов, а также каких бизнес‑эффектов можно достичь, используя AI‑ассистентов и ботов в сбытовых компаниях.

Вместе с экспертами разобрали практические кейсы, которые показали, как внедрить AI-решения без потери качества обслуживания.

О чем вебинар:

+ Как с помощью голосовых роботов обеспечить клиентам быстрые, точные и персонализированные ответы — 24/7.
+ Как AI помогает оптимизировать ключевые бизнес‑процессы и высвобождать ресурсы для стратегических задач.
+ Про бизнес‑эффекты использования AI‑ассистентов в сбытовых компаниях.
+ Как разгрузить операторов и быстро масштабировать решения без потери качества обслуживания.
+ Как с помощью аналитики коммуникаций получить новые возможности для управления клиентским опытом.
+ Вебинар будет полезен операционным менеджерам в сбытовых и сервисных компаниях, а также СТО, CIO и специалистам по цифровой трансформации.

Ссылка на вебинар: https://yandex.cloud/ru/events/1428

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ MLечный путь 2026

Большая конференция компании Selectel о том, как искусственный интеллект перестает быть экспериментом и становится рабочим бизнес-инструментом.

На конференции объединим технический трек с продуктовым видением, чтобы вместе проложить маршрут по MLечному пути от идеи до продакшена. Очень рекомендую!

Ссылка для регистрации: https://mlconf.selectel.ru

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Вебинар HiveTrace Red

На вебинаре обсудили:

👉 Что такое AI-пентест / редтиминг ИИ-систем
👉 Почему растет рынок ИИ-пентеста
👉 Как делать проекты
👉 Как на этом заработать интегратору

Ссылка на презентацию: https://drive.google.com/file/d/1y0NI2T9sBeBJssb-nDtSHKBEPDIMEZIL/view?pli=1

Ссылка на вебинар: https://vkvideo.ru/video-237009145_456239017

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐ Архитектура Безопасных AI-Агентов

Приветик, мои дорогие коллеги и самые талантливые друзья!

Весьма интересное и хорошо структурированное руководство по безопасной архитектуре ИИ-агентов, полностью доступное онлайн и бесплатно. Рекомендую к изучению (хотя бы сделайте беглый обзор). Подобный работ я еще не встречал, тем более тема горячая (да все только и делают, что говорят про ИИ-агентов))), поэтому важно находить крупицы времени и продолжать изучение этого направления.

Ссылка: https://agent-axiom.github.io/agent-arch/

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Запускаем шестой поток учебной программы по MLSecOps с международным участием!

В январе успешно завершился пятый поток корпоративной учебной программы "MLSecOps. Обеспечение безопасности и отказоустойчивости систем машинного обучения" в Академии Softline. В 2025 году эта программа вышла на Международный уровень (страны СНГ). От слушателей регулярно поступают позитивные отзывы, при этом программа непрерывно обновляется, по мере накопления опыта, повышения нормативно-правового регулирования и стремительного развития направления MLSecOps в России и в мире.

В рамках обучения слушатели проводят базовый аудит ИИ-систем своих компаний, что помогает многим улучшить безопасность и отказоустойчивость прямо в процессе обучения. Для отдельных компаний потенциальный экономический эффект от такого аудита превысил 3 млн. рублей за 2025 год.

По заявкам новых слушателей c 7 апреля мы запускаем новый поток этой обучающей программы и приглашаем всех желающих!

Сильные стороны программы:

1. Опора на передовой опыт обеспечения безопасности ИИ-систем китайских компаний из Гуань-Чжоу и Шень-Чженя.

2. Привлечение к проведению программы топовых экспертов-разработчиков самых передовых российских инструментов HIVETRACE, HIVETRACE RED и LLAMATOR - Евгения Кокуйкина и Тимура Низамова.

3. Бесплатная техническая поддержка всех слушателей программы по вопросам безопасности и отказоустойчивости ИИ-систем в процессе и после проведения программы - бессрочно.

4. Реализуется базовый аудит MLSecOps в компаниях слушателей программы силами самих слушателей при поддержке опытного эксперта. Все практические задания программы ориентированы на улучшение безопасности и отказоустойчивости ИИ-систем в компаниях, где работают слушатели и по итогам все желающие формулируют рекомендации по улучшению, практические меры, создавая реальную пользу для бизнеса, оцененную в денежном эквиваленте на основе оценки рисков.

5. Направление MLSecOps - крайне обширное, перспективное и стремительно растущее по экспоненте и большинство российских компаний имеющих ИИ-системы уже столкнулись с необходимостью введения такой должности или роли в ближайший год. Особенно компании из сферы FinTech.

6. Программа полностью согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда с 1 марта вступил в силу 117 Приказ ФСТЭК. А новый закон об ИИ уже активно обсуждается в Государственной Думе. Автор программы принимает участие в разработке ГОСТ и других регламентов в сфере безопасности и отказоустойчивости ИИ-систем в России, а также внес свои предложения в проект закона об ИИ в России. В учебной программе будет детально разобрано, как соблюдать все эти требования.

Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN):
https://academyit.ru/courses/mlsecops

Дополнительная ссылка:
https://edu.softline.com/vendors/akademiya-ayti/osnovy-mlsecops-obespechenie-bezopasnosti-sistem-mashinnogo-obucheniya/

Московские работодатели могут вернуть до 95% затрат на обучение персонала по данной учебной программе.

Архитектор MLSecOps и AI Governance
Николай Павлов

Если говорить уже про настоящее участие в конференциях, то в апреле будем рады увидеться офлайн в Москве 📅.

🔹 Завтра нас можно будет найти на форуме «Территория безопасности». Иван Василенко на нашем стенде расскажет вам о свежем релизе HiveTrace Red.
🔹 8 апреля я буду участвовать в дискуссии на Data Fusion вместе с Владиславом Тушкановым и коллегами из индустрии.
🔹 9 апреля мы участвуем в мероприятии Cloud.ru, где у Raft будет стенд, а у Анны Тищенко доклад.
🔹 13 апреля на форуме в Кибердоме мы проводим сессию, где вместе с CISO поговорим про генеративный ИИ и другие насущные вопросы.

До встречи в Москве!

⭐️ Провел серию встреч с ребятами по безопасной и эффективной работе в нейронных сетях в лагере "Антоновский"

Это один из лучших лагерей Свердловской области, который, традиционно воспитывает в ребятах стремление к труду, знаниям, дисциплине. Особенно важна нацеленность команды лагеря на использование передовых технологий, включая нейронные сети.

Я встречался с отрядами от 7 до 17 лет, мы изучали самые современные нейронные сети, способы их ответственного и безопасного применения в реальной жизни и в профессиях. Поговорили о дипфейках и современных трендах.

Ежегодно интерес к нейронным сетям среди ребят растет. И если еще года два назад я общался только с 1 и 2 отрядами (ребята с 14 до 17 лет), то теперь работать с нейронными сетями учатся дети уже с 7 лет! Это говорит о колоссальном прогрессе за два последних года и явно этот навык критически им необходим.

Таким образом, нам удалось создать одну из первых в России программ дополнительного образования по освоению нейронных сетей для самых младших ребят. Конечно, я и далее в свободное время буду продолжать оказывать поддержку этим детям, развивать и это крайне важное направление активности. Тем более, что и оно в небольшой степени включает в себя элементы MLSecOps и AI Governance (на уровне пользователей).

Я не прощаюсь с этими ребятами, а говорю им "до новых встреч!".

Архитектор MLSecOps и AI Governance
Николай Павлов

https://vk.com/wall-210601538_2038

⭐️ В Китае резко возросло число компаний, состоящих из одного человека и агентов ИИ

В Китае наблюдается взрывной рост числа «компаний, состоящих из одного человека» (OPC). Президент Alibaba Куо Чжан оценил, что 40% клиентов платформы сегодня — это предприниматели-одиночки. Драйвером к этому явлению стали агенты искусственного интеллекта, включая популярный OpenClaw, которые берут на себя рутинные задачи: маркетинг, логистику, налоговую отчетность, обслуживание клиентов и управление соцсетями.

Вместо того чтобы заменять людей, они фактически являются сотрудниками этого предпринимателя, — заявил Чжан.
Компании из одного человека — это бизнес-модель, при которой основатель ведет все операции самостоятельно, без найма сотрудников. Раньше это было возможно только в микро-нишах, но теперь ИИ-агенты автоматизируют задачи, требующие целых отделов.

Чжан объяснил: загрузка товаров на разные сайты, управление аккаунтами в соцсетях, обработка жалоб — все это «легко для крупной компании, но критически необходимо для успеха малого бизнеса». ИИ-агенты стали тем недостающим звеном.

Особый ажиотаж вызвал OpenClaw — агент с открытым исходным кодом. В Китае началась настоящая «золотая лихорадка»: энтузиасты создают агентов для торговли акциями, организации свиданий вслепую и управления бизнесом. Многие OPC-компании построили свои сервисы именно на OpenClaw.

Продолжение: https://vk.com/wall-210601538_2039

⭐️ Microsoft представила стандарт защиты ИИ-агентов по градации OWASP

Microsoft выпустила Agent Governance Toolkit – открытый инструментарий для защиты автономных ИИ-агентов от взлома, манипуляций и несанкционированных действий.

Автономные ИИ-агенты становятся всё мощнее – и всё опаснее. Пока разработчики наперегонки внедряют их в бизнес-процессы, вопрос безопасности остаётся без ответа: кто следит за тем, что агент делает прямо сейчас, в реальном времени? Microsoft решила взяться за эту проблему и опубликовала Agent Governance Toolkit – бесплатный инструментарий с открытым исходным кодом под лицензией MIT.

По заявлению компании, новый проект – первый в мире, покрывающий все десять рисков агентного ИИ, которые организация OWASP зафиксировала в прошлом году. В список угроз вошли: перехват целей, злоупотребление инструментами, кража идентификаторов, атаки на цепочку поставок, несанкционированное выполнение кода, отравление памяти, небезопасные коммуникации, каскадные сбои, манипуляции доверием между человеком и агентом, а также появление «агентов-изгоев».

Toolkit состоит из нескольких модулей. Agent OS работает как политический движок и перехватывает каждое действие агента до его выполнения. Agent Mesh защищает коммуникацию между агентами. Agent Runtime управляет динамическими кольцами исполнения. Agent SRE отвечает за общие защитные механизмы. Agent Compliance автоматически проверяет соответствие требованиям и выставляет оценки. Agent Marketplace управляет жизненным циклом плагинов. Agent Lightning обеспечивает управление обучением с подкреплением.

Инструментарий поддерживает Python, Rust, TypeScript, Go и .NET, а его код уже доступен на GitHub.

Ссылка: https://opensource.microsoft.com/blog/2026/04/02/introducing-the-agent-governance-toolkit-open-source-runtime-security-for-ai-agents

securitylab