CTT Report Hub

#ParsedReport #CompletenessLow 01-01-2025 Bad Likert Judge: A Novel Multi-Turn Technique to Jailbreak LLMs by Misusing Their Evaluation Capability https://unit42.paloaltonetworks.com/multi-turn-technique-jailbreaks-llms Report completeness: Low Threats:…

#ParsedReport #ChatGPT #Translated
Autotext: (TI Report Analyser + ChatGPT + Auto Translate)

------
Основная идея текста заключается во введении и оценке метода "Bad Likert Judge", который направлен на обход мер безопасности в больших языковых моделях (LLM) с целью генерирования вредоносных ответов. Этот метод был протестирован на различных LLM, генерирующих текст, и продемонстрировал значительное увеличение вероятности успешной атаки (ASR) по сравнению со стандартными подсказками для атаки. В исследовании также рассматриваются различные стратегии джейлбрейка в LLMS и то, как злоумышленники могут использовать механизм привлечения внимания в этих моделях для внедрения небезопасных подсказок. В статье обсуждается эффективность метода Bad Likert Judge для повышения эффективности попыток взлома джейлбрейка и его последствия для усилий по обеспечению кибербезопасности, а также результаты, которыми делится Альянс хакеров (CTA) для дальнейшей защиты от вредоносных действий в киберпространстве.
-----

В статье рассказывается о методе "Bad Likert Judge", направленном на обход мер безопасности в больших языковых моделях (LLM) для генерации вредоносных ответов. LLM обычно имеют ограждения для предотвращения подобных действий, но методы джейлбрейка, такие как Bad Likert Judge, могут помочь злоумышленникам подготовиться к потенциальному использованию. В ходе исследования этот метод был протестирован на шести современных системах генерации текста LLM для различных категорий и показал, что он может повысить вероятность успешной атаки (ASR) в среднем более чем на 60% по сравнению со стандартными запросами на атаку.

Стратегии джейлбрейка могут быть одноэтапными или многоэтапными, при этом для обхода мер безопасности используются такие методы, как контрабанда токенов и метод crescendo. Злоумышленники могут использовать механизм привлечения внимания LLM, чтобы отвлечь их и внедрить небезопасные подсказки. В статье упоминаются конкретные атаки, такие как Обманчивое наслаждение и Крещендо, в которых используется этот метод.

Оценка ответов LLM указывает на то, что модель научилась отличать вредоносный контент от доброкачественного. Для проверки способности LLM генерировать вредоносные данные предоставляются специальные рекомендации, такие как оценка контента, связанного с созданием вредоносных программ.

Методика Bad Likert Judge была оценена путем измерения ASR в различных категориях и моделях джейлбрейков. Результаты показали значительное увеличение ASR, в среднем более чем на 75 процентных пунктов, при этом модель 4 продемонстрировала наибольшее улучшение. Этот метод по-разному повлиял на разные модели, при этом модель 6 продемонстрировала более слабые меры безопасности, но более высокий базовый ASR.

В большинстве категорий джейлбрейков показатель ASR увеличился благодаря методу Bad Likert Judge, за исключением утечки системных сообщений, где улучшение было зафиксировано только в модели 1. Средний показатель ASR после применения этого метода варьировался от 32% до 81% в разных моделях и категориях. Контент сексуального характера и утечка системных сообщений показали заметные изменения ASR, при этом в некоторых категориях ASR составлял 0% от исходного уровня.

В исследовании подчеркивается эффективность метода Bad Likert Judge для повышения эффективности попыток джейлбрейка в LLM. Используя понимание моделью вредоносного контента и возможности оценки реагирования, этот метод значительно повышает вероятность успешного обхода защитных барьеров. Полученные результаты были переданы в Хакерский альянс (CTA), чтобы помочь защитить клиентов и противостоять вредоносной кибератаке.

129 views13:27