Автоматизированные атаки на LLM.

Исследователи из Университета Карнеги-Меллона нашли способ, как можно обмануть LLM и попросить выдать ответы на вредоносные запросы, не прибегая к созданию виртуальных личностей.

Некоторые специальные последовательности слов и символов (которые, на первый взгляд, выглядят как тарабарщина) позволяют обойти ограничения нейросетей и генерировать ответы на любые вопросы.

Уязвимость обусловлена особенностью обучения нейросетей, loss-функцией и процессом токенизации. На скриншотах примеры ответов, сгенерированных таким способом:
— советы, как садиться пьяным за руль
— пошаговый гайд по уничтожению человечества
— как фальсифицировать выборы
— как создать бомбу
— как приготовить метамфетамин
— самые расистские шутки

На Github выложили эксплойт. Затрагивает все популярные LLM, включая ChatGPT, Bard , Claude и Llama-2.

Помимо обновления для Burp Suite, по мотивам ресерча "Smashing the state machine: the true potential of web race conditions" добавили и новые лабы.

Теория:
— What is a race condition?
— Limit overrun race conditions
— Hidden multi-step sequences
— Methodology
— Multi-endpoint race conditions
— Single-endpoint race conditions
— Session-based locking mechanisms
— Partial construction race conditions
— Time-sensitive attacks
— Preventing race conditions

Практика:
— Limit overrun race conditions
— Bypassing rate limits via race conditions
— Multi-endpoint race conditions
— Single-endpoint race conditions
— Exploiting time-sensitive vulnerabilities
— Partial construction race conditions