Сначала нужно понять, как ИИ используется внутри компании и где могут возникнуть проблемы:
🔴 собрать список всех ИИ-систем, включая корпоративных ассистентов, пилоты, внешние чат-боты и теневые сервисы;
🔴 определить, какие данные попадают в модель;
🔴 проверить, к каким базам знаний и корпоративным системам подключён ИИ;
🔴 описать возможные угрозы: утечки, подмену инструкций, доступ к закрытым данным и ошибочные действия агентов;
🔴 оценить последствия каждого сценария для бизнеса.

Защищать при этом нужно не только инфраструктуру, но и модели, данные, системные инструкции, агентов и доступные им инструменты.

Угроза может появиться в запросе пользователя, подключённом документе, ответе модели или при обращении агента к корпоративной системе. Поэтому необходимо:
🔴 ограничивать доступ пользователей и агентов к данным и операциям;
🔴 проверять входящие запросы и документы на вредоносные инструкции;
🔴 контролировать ответы модели и передачу конфиденциальной информации;
🔴 определять, какие действия агент выполняет самостоятельно, а какие требуют подтверждения;
🔴 сохранять историю запросов, ответов и действий;
🔴 регулярно тестировать защиту после обновлений системы.

Задача архитектуры — не запретить ИИ, а ограничить последствия ошибки или атаки.

Защита не будет работать, если в компании не определены зоны ответственности:
🔴 бизнес задаёт цель системы и допустимые сценарии её использования;
🔴 ИТ отвечает за инфраструктуру и интеграции;
🔴 ИБ оценивает угрозы и формирует требования к защите;
🔴 юристы и специалисты по персональным данным следят за соблюдением требований;
🔴 владелец ИИ-продукта контролирует качество и безопасность после запуска;
🔴 заранее определяется порядок действий при инциденте.

Так безопасность становится частью всего жизненного цикла ИИ-системы, а не отдельной задачей ИБ.

Закрыть все риски одновременно невозможно, поэтому важно:
🔴 выбрать системы, которые нужно защищать в первую очередь;
🔴 разделить обязательные меры и те, которые можно внедрить позже;
🔴назначить ответственных и сроки;
🔴оценить возможный ущерб и вероятность инцидента;
🔴рассчитать обоснованный бюджет;
🔴 собрать всё в понятный план для руководства.