🎯 Новый вектор атак на ИИ — скрытые промпты в картинках
Trail of Bits показали, что хакеры могут прятать инструкции в изображениях. Пока картинка оригинального размера — всё чисто.
Но как только сервис (например, Gemini CLI или **Vertex AI Studio**) автоматически сжимает её, проявляется скрытый текст.
📌 Что это значит:
- ИИ «видит» спрятанный промпт и исполняет его, думая, что это команда пользователя.
- Так можно обойти фильтры и заставить модель делать то, что задумал атакующий.
🛠 Как защититься:
- Инструмент Anamorpher (open-source) для генерации и проверки таких атак.
- Защита: многоуровневая проверка картинок и отслеживание артефактов при масштабировании.
⚠️ Итог: даже безобидная картинка может оказаться «троянским конем» для ИИ-систем.
🔗Github: https://github.com/trailofbits/anamorpher
🔗 Подробнее: blog.trailofbits.com/2025/08/21/weaponizing-image-scaling-against-production-ai-systems/
#AI #Security #PromptInjection #TrailOfBits
Trail of Bits показали, что хакеры могут прятать инструкции в изображениях. Пока картинка оригинального размера — всё чисто.
Но как только сервис (например, Gemini CLI или **Vertex AI Studio**) автоматически сжимает её, проявляется скрытый текст.
📌 Что это значит:
- ИИ «видит» спрятанный промпт и исполняет его, думая, что это команда пользователя.
- Так можно обойти фильтры и заставить модель делать то, что задумал атакующий.
🛠 Как защититься:
- Инструмент Anamorpher (open-source) для генерации и проверки таких атак.
- Защита: многоуровневая проверка картинок и отслеживание артефактов при масштабировании.
⚠️ Итог: даже безобидная картинка может оказаться «троянским конем» для ИИ-систем.
🔗Github: https://github.com/trailofbits/anamorpher
🔗 Подробнее: blog.trailofbits.com/2025/08/21/weaponizing-image-scaling-against-production-ai-systems/
#AI #Security #PromptInjection #TrailOfBits
🔥16👍7❤3