С развитием генеративных систем искусственного интеллекта, таких как ChatGPT от OpenAI и Gemini от Google приходится сталкиваться и с новым витком угроз в области кибербезопасности.

Исследователи из Cornell Tech создали одного из первых в мире генеративного ИИ-червя, способного распространяться с одной системы на другую, попутно воруя данные или развертывая вредоносное ПО.

Этого ИИ-червя, прозвали Morris II, в честь оригинального компьютерного червя Morris, который вызвал хаос в Интернете в далеком 1988 году.

Специалисты показали, как червь может атаковать генеративного ИИ-помощника по электронной почте, красть данные из писем и отправлять спам, нарушая при этом некоторые меры безопасности в ChatGPT и Gemini.

Как в фильмах с животными в конце часто говорят, что во время съемок зверушки не пострадали, так и в инфосеке специалисты уверяют, что эксперименты проводились в тестовых условиях и не затрагивали публично доступных помощников по электронной почте.

Генеративные ИИ-системы работают, получая подсказки (промпты) - текстовые инструкции, которые говорят инструментам отвечать на вопросы или создавать изображения, поэтому в качестве вектора атаки использовались два типа писем: текстовые и в виде файла изображений.

Так вот суть эксперимента заключалась в том, чтобы заставить генеративную ИИ-модель в своем ответе выводить другой промпт, что, по сути, схоже с традиционными атаками SQL-инъекции и переполнения буфера.

Таким образом, исходное сообщение заставляет модель генерировать ответ, содержащий враждебный самовоспроизводящийся запрос, и отправлять чувствительную информацию о пользователе.

Мы долго думали, что же нам напоминает Morris II, пока наконец не вспомнили - объект SCP-571 Самораспространяющийся заразный узор.

Человек, который увидел SCP-571, начинает его копировать любым подручным способом чтобы силой заставить посмотреть на него другого человека. А потом сходит с ума.

Согласитесь, есть некое сходство.