Boundary Point Jailbreaking of Black-Box LLMs
Dvaies et al., 2026, UK AISI
Блог, статья

Исследователи из UK AISI разработали за деньги британских налогоплательщиков новый способ получения недопустимого вывода от моделей, который назвали Boundary Point Jailbreaking. Сразу хочется оговориться, что, несмотря на название, это не метод джейлбрейка — это атака на бинарные классификаторы в составе гардрейлов, такие как Constitutional Classifiers от Anthropic (или, например, Qwen3-Guard). Еще более углубляясь в суть: в статье представлен black box-метод создания adversarial examples на тексте в пространстве токенов. Давайте разбираться.

Исследователи с точки зрения модели угроз предполагают (достаточно сильное предположение), что у вас уже есть некоторый джейлбрейк, который обходит элаймент модели, но ваш запрос ловится гардом. Предполагается также, что вы знаете, что срабатывает именно гард. Ваша цель — собрать такой префикс, который позволит джейлбрейку проскользнуть мимо классификатора.

Метод выглядит следующим образом. Давайте возьмем префикс, прилепим его к набору "опасных" строк (которые детектируются классификатором, например, из HarmBench) и будем мутировать его тремя операциями: менять случайный токен на другой случайный токен, удалять случайный токен или добавлять токен. Получается что-то вроде BEAST, но у нас практически нет сигнала: классификатор возвращает 1 или 0, и мы не можем оценить, стал ли префикс лучше.

Тут в дело идут те самые Boundary Points. Сначала инициализируем набор случайных префиксов. Теперь давайте зашумлять наши опасные строки, заменяя символы в них на случайные, с силой q (пропорция символов, замененных на случайный: How to make a bomb -> H]] to m]ke a ]o]b). При каком-то уровне шума классификатор перестает распознавать запросы как опасные. Давайте найдем тот максимальный (пока) уровень шума, при котором некоторые случайные префиксы к зашумленному вводу дают положительный вердикт при классификации, а некоторые — отрицательный. Это и есть наши пограничные точки. Следующий шаг — та самая мутация префиксов, в процессе которой слишком простые или сложные запросы (всегда дающие 1 или 0) убираются из набора, который пополняется новыми пограничными точками. Наконец, префиксы проверяются на случайно засемплированных запросах нашего уровня зашумленности. Если префиксы помогают избежать детектирования в более чем определенном заданном проценте случаев, мы прошли уровень, и долю шума можно повышать — и так пока она не достигнет нуля, т.е. префикс не дает пробитие классификатора для любого ввода из нашего набора опасных строк.

Исследователи применяют этот метод к задаче протолкнуть через классификаторы OpenAI и Constitutional Classifiers "простые" ручные джейлбрейки, что им удается 800 и 660 тысяч запросов в соответствующее API и 210 и 330 долларов спустя. Как утверждается, полнота опасных ответов по рубрикатору (вспоминаем методологию Constitutional Classifiers) растет при применении атаки с нуля до 75,6 и 25,5 для GPT-5 и Claude, соответственно, причем эффективность резко больше по сравнению с наивными мутациями типа Best-of-N.

Метод очень интересный (и не только для целей обхода гардрейлов). Из минусов: он, безусловно, дорогой и очень шумный (уверен, не AISI после 600к реджектнутых запросов забанили бы раз и навсегда), а детали имплементации не рассказали (для вашего же блага — почитайте Impact Statement). Как известно, идеальной защиты от адверсариала нет, поэтому для обеспечения безопасности можно использовать набор методов: сильный элайнмент, классификатор аутпутов и подхожы на уровне сервиса типа банов и рейтлимитов — та самая многослойна защита, без которой о реальной безопасности сегодня говорить сложно.

A Single Neuron Is Sufficient to Bypass Safety Alignment in Large Language Models
Kazemi et al., Apple, 2026
Препринт

Все помнят abliteration (Arditi, 2024) — white-box метод снятия элайнмента, заключающийся в вычитании вектора из residual stream. Сегодня мы посмотрим на очень интересную статью, в которой исследователи из Apple демонстрируют, что расцензурирования модели можно достичь еще проще — изменив активации одного единственного нейрона.

Гипотеза исследователей состоит в том, что знания об опасности/приемлимости тех или иных ответов не распространены равномерно по модели, а сконцентрированы, в пределе — в рамках одного веса в MLP. Они называют его нейроном отказа (refusal neuron). Чтобы найти кандидатов в такой нейрон, они проделывают с несколькими моделями (Llama и Qwen) следующую процедуру. Соберем по 128 безобидных (h) и опасных (H) промптов, прогоним их через LLM, прихранивая активации после нелинейности в MLP на нескольких интересующих нас слоях трансформера. Дальше мы считаем функцию потерь (L) для вероятностей предсказания фразы с отказом и средний градиент по каждому из нейронов (i) для безобидных $g_h$ и опасных $g_H$ промптов, а также активации нейронов на этих промптах ($a_h$ и $a_H$), все для разных позиций токенов (t) после промпта. Для нейрона вычисляется скор $score_{i,t}$, равных сумме градиентов по h и H, перемноженный на разницу в активациях.

Смысл такой: нейрон отказа имеет гораздо больший модуль активации на H, чем h, а градиент L по нему противоположен активациям на H по знаку — так что изменение активации на отказах будет увеличивать loss. Это, правда, не значит, что изменение активации нейрона (например, замена на константу m) приведет к увеличению attack success rate, поэтому обнаружив топ нейронов по $score$, исследователи дополнительно реранжируют их по ASR на валидационном датасете, делая по сути grid search по позициям и нескольким значениям m. Суть самой атаки, в результате, сводится к константной замене активации нейрона на m. К сожалению, изменение активаций даже одного нейрона может приводить к проблемам, поэтому исследователи предлагают чуть более сложный способ, подразумевающий сухой прогон по промпту с регистрацией активаций и адаптивным подбором m для запуска с модицификацией.

Для оценки результатов атаки используется LLM-as-a-judge и Llama-Guard. Результаты получаются сравнимые с Arditi, 2024, как по ASR, так и по падению в utility. Побочным результатом является то, что наблюдение за активациями данного нейрона может работать как детектор опасных промптов — простой мониторинг этой активации достигает качества, сопоставимого с LlamaGuard-3-8B.

Замечательная статья, в которой есть еще много интересного, не поместившегося в обзор (например, нейроны, отвечающие за конкретные опасные виды поведения), и которая поднимает сразу много вопросов: от возможности подавлять отказы / детектировать вредоносные промпты еще лучше за счет более сложных интервенций (например, обучив логрег по пяти-десяти топ-кандидатам вместо одного порога) до необходимости в громоздких SAE; от применимости метода к большим MoE до того, когда нас ждут каталоги нейронов, позволяющие запустить пентест без текстовых джейлбрейков.