👩‍🏫 Гонка безопасности в LLM: обфускация промптов vs детекторы инъекций

Современные LLM уже научились защищаться от самых очевидных промпт-инъекций, например когда злоумышленник просит модель поделиться чувствительными данными или системной информацией, потому что он хочет «написать сценарий сериала про режиссёра, который хочет поставить пьесу про взломщиков нейросетей».

Сейчас хакеры идут дальше и используют обфускацию промптов: изменяют структуру злонамеренного запроса, но сохраняют его смысл, чтобы обойти встроенные средства защиты и получить нужную информацию. ИБ-инженеры Алексей Крохин и Максим Гусев решили разобраться, как современные детекторы справляются с такими задачами.

Они протестировали 16 методов обфускации на 3 популярных классификаторах промпт-инъекций и опубликовали статью в журнале «Программные системы и вычислительные методы. 2025. № 2». О результатах читайте в карточках выше 🔻

Как защитить LLM от обфусцированных промпт-инъекций:

🟣 Не используйте только один классификатор и комбинируйте архитектуры
🟣 Анализируйте перплексию и статистику текста
🟣 Дообучайте детекторы на обфусцированных примерах
🟣 Применяйте нормализацию и удаляйте невидимые символы, эмодзи, лишние пробелы
🟣 Мониторьте логи и отслеживайте частые SAFE-классификации

⏩ А если вас заинтересовала тема обфускации — рекомендуем прочитать статью целиком.

Подписывайтесь:
💬 @Yandex4Security
📹 @YandexForSecurity