📩 Три угрозы, которых не видит ни один существующий СЗИ #опытэкспертов

Материалом поделился Денис Батранков, Академия Батранкова, в рамках образовательного курса «Директор по кибербезопасности 8.0».

Современные средства защиты информации десятилетиями эффективно работали с сетевыми атаками, вредоносным кодом и сигнатурами. Но атаки на ИИ-системы устроены иначе: они используют легитимные каналы и естественный язык. Поэтому обнаружить их привычными средствами практически невозможно.

Можно выделить три угрозы, которые не видит ни один существующий классический СЗИ.

1. Prompt Injection в документах, письмах и веб-страницах
Атакующий скрывает инструкцию внутри обычного текста — например, в PDF-файле, письме или на веб-странице. Когда ИИ-агент обрабатывает документ, он воспринимает этот текст как часть задачи и может выполнить встроенную команду.

Почему классические средства защиты не обнаруживают такую атаку? NGFW анализирует сетевой трафик, WAF ищет SQL-инъекции и XSS, но ни одно из этих решений не анализирует смысл текста внутри документа.

2. Excessive Agency — агент с избыточными правами
Вторая угроза возникает, когда ИИ-агент получает больше полномочий, чем требуется для выполнения его задач.

Пример: Когда агент, предназначенный для подготовки саммари писем, имеет доступ к Calendar API. После Prompt Injection он способен создавать встречи от имени руководителя компании.

Проблема заключается в том, что все действия выполняются через легитимные API и с использованием действующих токенов доступа. Для PAM, DLP и других традиционных средств защиты такие операции выглядят штатными.

3. Data Exfiltration через RAG
Еще одна угроза связана с использованием RAG-систем.
Сотрудник задает обычный вопрос, а RAG извлекает фрагменты документов, к которым у пользователя не должно быть доступа. В результате модель формирует ответ, содержащий закрытую информацию.

Менеджер запрашивает данные о проекте, после чего RAG извлекает сведения из конфиденциального финансового отчета, хотя прямого доступа к этому документу у сотрудника нет.

Active Directory контролирует доступ к файлам, но не к векторным эмбеддингам. Это разные системы контроля, поэтому классические модели разграничения доступа здесь не работают.

💥 Все три сценария используют легитимные каналы взаимодействия. Их невозможно обнаружить с помощью сигнатурного анализа. Для защиты ИИ-систем необходим анализ смысла запросов и ответов, а также контроль взаимодействия между пользователями, агентами и моделями.

Хотите глубже разобраться в архитектуре защиты корпоративного ИИ, AI Gateway, AI-BOM, построении SOC для ИИ и подходах к ML Red Teaming? Тогда присоединяйтесь к четвертому модулю курса «Директор по кибербезопасности 8.0».

#ДиректорПоИБ

Делимся впечатлениями участника четвертого модуля программы "Директор по кибербезопасности 8.0" 👇🏻

Ваш курс по ИИ — один из лучших в 2026 году! Вебинары, спикеры, экспертиза. Снимаю шляпу! Вы смогли сделать то, к чему многие только идут. Я нынче увлекся темой ИИ, много чего изучаю, и у вас получился один из лучших продуктов!

— Сергей Клименко, руководитель направления ИБ предприятия ТЭК

Сейчас модуль «Кибербезопасность в эпоху ИИ» доступен в записи. На нём вы узнаете об отравлении данных, MLSecOps, безопасной разработке ИИ, SOC нового поколения и выявлении атак от ИИ-агентов.

Подробности — на сайте Академии Код ИБ.

#ДиректорПоИБ

Практика, экспертиза и открытый диалог — именно ради этого участники приезжают на Код ИБ ПРОФИ снова и снова.

📍9–13 сентября | Сочи
До встречи на ПРОФИ

#ИБнужныПРОФИ

📌 Корпоративная безопасность ИИ: 7
ключевых мер #опытэкспертов

Материал подготовлен на основе выступления Дениса Батранкова в рамках образовательного курса «Директор по кибербезопасности 8.0», модуль «Безопасность ИИ». 👇🏻

Минимальный обязательный набор для любой организации внедряющей ИИ:

1. Политики использования ИИ
Кто, где и как может использовать модели. Утверждённый реестр разрешённых инструментов с уровнями доступа.

2. Мониторинг и аудит
Логирование всех взаимодействий с
ИИ. Inference logs → SIEM. Без этого
расследование инцидента
невозможно.

3. Контроль данных
Маскирование, шифрование, токенизация и фильтрация перед отправкой в модель.

4. Фильтры на внешние
подключения
Web-поиск, API, облачные сервисы. Только через корпоративный шлюз.

5. Тестирование и стресс-тесты
моделей
ML Red Teaming для выявления уязвимостей до эксплуатации. Garak, Promptfoo в CI/CD.

6. Обучение сотрудников
Риски социального инжиниринга через ИИ: дипфейки, фишинг, манипуляция через чат-боты.

7. Соблюдение нормативов
ФСТЭК №117, 152-ФЗ, корпоративные
правила. Каждая мера должна быть
задокументирована.

Именно эти семь мер позволяют заложить основу корпоративной безопасности ИИ. Без них внедрение искусственного интеллекта создает неконтролируемые и большие риски для бизнеса.

Чтобы глубже разобраться в защите корпоративного ИИ, присоединяйтесь к четвёртому модулю программы «Директор по кибербезопасности 8.0». ✨

#ДиректорПоИБ