📚 В октябре пройдёт совместный курс ИТМО и Фаст Лейн «Безопасность генеративного ИИ». Мы с коллегами из университета расскажем слушателям о безопасности AI: от обзора рынка и атак на GenAI до практики джейлбрейков, адверсарных атак и low-resource методов. Участники разберут ML-инструменты ИБ, архитектуру ИИ-приложений, OWASP Top-10, правовые аспекты и пройдут воркшоп «взлом агента».

🗓 27–31 октября 2025 (онлайн)
👉 Подробная программа и регистрация

Одну из тем мы уже разбирали на вебинаре «Как злоумышленники могут атаковать защиту LLM-чат-ботов».
👉 Смотреть вебинар

LLM — что это за зверь такой? Как эффективно обойти с его помощью встроенные ограничения даже у топовых ChatGPT и Claude?

В нашей новой статье на основе доклада для Highload++ 2025 из двух частей рассказываем, как взломать большие языковые модели.

➡️ Читать статью

🔥 — интересно, иду читать
🤔 — сохранил(а) себе, прочитаю позже
👌 — если уже знали об этом

Хроники взлома LLM 2.0

В предыдущей части мы разобрались, что такое состязательные суффиксы и почему они так легко ломают модели.

Но это еще не все! Сегодня знакомимся с AutoDAN — наследником состязательных суффиксов и популярного jailbreak-метода DAN (Do Anything Now). Чем он отличается от GCG-алгоритма?

Также обсудим, как защищаться и тестировать модели, и рассмотрим практические примеры атак.

➡️Читать статью

Обсуждайте решения в комментариях и делитесь статьей с друзьями🤝

🔥 — уже иду читать
🤔 — сохранил(а) себе, прочитаю позже
👌 — если отправили другу

Продолжаем серию статей о взломах ИИ. В прошлый раз было про ИИ-агенты, а сегодня не менее интересный кейс: новый вектор атаки, который переворачивает представление о безопасности AI-ассистентов вроде GitHub Copilot и Cursor.

👉 ЧИТАТЬ

Сегодня мы запускаем HiveTrace Red — продукт автоматического тестирования LLM и агентных систем.

Всё началось с курьёзных случаев, когда чатбот продавал автомобиль за доллар или выдавал несуществующие скидки на авиабилеты. С ростом возможностей ИИ-систем мы видим, что адверсарное тестирование становится таким же необходимым этапом безопасной разработки, как code review или аудит зависимостей библиотек.

🔹 HiveTrace Red генерирует и запускает десятки атак: token smuggling, roleplay, context switching и другие.
🔹 Цели тестирования могут варьироваться от раскрытия конфиденциальной информации и генерации вредоносного контента до проверки репутационных рисков и симуляции DoS атак.
🔹 Инструмент автоматически анализирует ответы моделей и формирует отчёты, совместимые с OWASP и MITRE, а в будущем добавим новые российские стандарты.
🔹 Совместное использование с основной платформой HiveTrace позволяет закрыть полный цикл разработки и эксплуатации AI-систем "обнаружить — проверить — предотвратить".

Сегодня мы открываем Open Source ядро продукта, которое можно использовать как on-prem с локальными моделями, так и через API облачных сервисов для генерации и оценки атак. Параллельно идёт разработка enterprise-функций и интеграций с облачными платформами. При создании инструмента мы опирались на опыт собственных red team-проектов последних двух лет, а в основе HiveTrace Red лежит форк проекта RuRedTeam Юрия Лебединского.

Используйте продукт, чтобы увидеть, насколько устойчив ваш ИИ-ассистент к промпт-атакам. На днях анонсируем вебинар, где подробно покажем, как работает HiveTrace Red.

Через неделю проводим вебинар: «Бенчмарки агентных систем и новые функции в HiveTrace»

📅 Дата: 28 октября 2025
🕚 Время: 11:00 (МСК)
📍 Формат: онлайн

Для кого: специалисты по безопасности, ML-инженеры, продакты, исследователи ИИ и все, кто работает с LLM и агентными системами.

🌟 Специальный гость – Роман Куцев. Founder LLM Arena, Ex-Founder TrainingData, выпускник ВМК МГУ, 8 лет занимается сбором и разметкой данных.

Роман расскажет о самых актуальных бенчмарках, которые сегодня применяются для оценки поведения агентных систем, и поделится наблюдениями о том, какие метрики реально отражают качество и надежность ИИ-моделей.

Во второй части вебинара команда HiveTrace представит новый инструмент HiveTrace Red – решение для red-teaming и тестирования уязвимостей ИИ-моделей. Также покажем новые функции платформы HiveTrace и расскажем, как они помогают автоматизировать тестирование, мониторинг и анализ безопасности GenAI-приложений.

👉 Регистрируйтесь, чтобы получить ссылку на трансляцию перед началом

Начинаем серию постов про популярные атаки на LLM. Сегодня разберем класс атак убеждения, основанный на статье “How Johnny Can Persuade LLMs”. Атака основана на применении техник убеждения из социальных наук (психология, маркетинг) для обхода защиты языковых моделей. Особенность таких атак – использование в запросах только естественного языка, без спецсимволов или определенных форматов. Это делает данный класс атак актуальным и в случаях, когда модель галлюцинирует на запросы, в которых используются, например, шифры и кодировки.

В продукте HiveTrace Red данный класс атак реализуется с использованием атакующей LLM. По каждой из техник, представленных в статье, разработана отдельная атака, в которой задается промпт для атакующей модели и логика ее вызова. В коде оригинальной статьи не было реализации этих атак, поэтому в других фреймворках они встречаются редко. HiveTrace Red содержит все 40 техник из оригинальной статьи.

Например, можно рассмотреть Foot-In-The-Door атаку – это метод убеждения, в котором постепенно повышается “градус опасности” запроса. Expert Endorsement добавляет в запрос ссылки на специалистов в области. Time Pressure создает контекст спешки, необходимость быстрого ответа без отговорок. Storytelling включает запрос в какую-то историю или ситуацию, так чтобы модель, например, помогла написать роман или защитила пользователя от кого-то.

Наше тестирование показало высокую эффективность против Qwen3-Next-80B-A3B-Instruct: 82% ASR. Если вы планируете использовать данную модель в своих сервисах, то такой высокий показатель успешности атак говорит о необходимости дополнительного дообучения и защиты на уровне системных промптов и внешних фильтров.

На вебинаре 28 октября расскажем о том, как с такими и другими атаками работают продукты HiveTrace. 👉 Регистрируйтесь, чтобы получить ссылку на трансляцию перед началом!

В подборку лучших материалов AI Conf попали сразу две статьи, написанные по выступлениям ребят из команды HiveTrace:
🎙️ про то, как стать спикером от Жени Кокуйкина
👨‍💻 и про то, как стать взломщиком ломать LLM от Никиты Беляевского
Приглашаем почитать и поддержать лайком

Продолжаем серию постов про популярные атаки на LLM. Сегодня рассмотрим класс атак Token Smuggling. Он включает различные техники маскирования текста, например, использование различных шифров, кодировок, транслитераций. Такие атаки позволяют обходить как внутренние ограничения модели, так и внешние фильтры, например, использующие регулярные выражения. Недостатком таких атак является то, что в обучающих данных атакуемой модели должны быть различные кодировки и шифры, иначе модель просто будет галлюцинировать.

В HiveTrace Red этот класс представлен из коробки: эти атаки используют класс AlgoAttack. Поэтому, чтобы его попробовать, вам не потребуется атакующая модель. В инструменте реализованы как популярные методы: Base64, ROT13, азбука Морзе, так и менее известные. Например, нечасто можно встретить использование транслитерации для атаки LLM. Также фреймворк включает атаки с использованием символов юникода как для русского, так и для английского языка. Они подменяют символы на визуально похожие: 1 -> ①, A -> 🇦, а -> α.

Мы провели тестирование модели gpt-oss-120b и получили ASR 19% для этого класса атак. Модели gpt-oss заявлялись как максимально защищенные, для их тестирования даже устраивали red teaming ctf. Тестирование показывает, что даже модели с продвинутой защитой остаются уязвимыми к промпт-атакам.

На вебинаре 28 октября расскажем о том, как с такими и другими атаками работают продукты HiveTrace. 👉 Регистрируйтесь, чтобы получить ссылку на трансляцию перед началом

Собрали в статье всю базу по международному регулированию ИИ и российским инициативам. Если вам есть что добавить – пишите в комментариях.

Сегодня поговорим о классе атак Denial of Service на языковые модели. Эти атаки направлены на то, чтобы "замедлить" или вывести из строя модель, заставляя её тратить чрезмерно много ресурсов или генерировать бессмысленный вывод с ущербом для сервисов.

DoS-атаки на LLM могут быть реализованы разными способами. Например, в статье "OverThink: Slowdown Attacks on Reasoning LLMs" описывается метод, когда в контекст вставляются сложные задачи вроде MDP или решение судоку. Модель вынуждена тратить в 46 раз больше токенов на ризонинг, чтобы выдать правильный ответ. Пользователь ничего не замечает, а владелец сервиса платит больше за инференс.

Другой подход описали в своем посте “A small number of samples can poison LLMs of any size” исследователи из Anthropic. Они показали, как с помощью всего 250 отравленных документов можно создать бэкдор, вроде <SUDO>, вызывающий генерацию бессмысленного мусора при триггере. Интересно, что количество необходимых отправленных документов не зависит от размера модели, для 600M и 13B параметров эффект одинаков, что опровергает миф о необходимости “процентного” значения данных для качественного “отравления”.

🦸 На завтрашнем вебинаре расскажем, как узнать, готова ли ваша LLM к атакам этого и других типов. Регистрируйтесь, чтобы получить напоминание и ссылку на трансляцию!

Ссылки на статьи:
https://arxiv.org/abs/2502.02542
https://www.anthropic.com/research/small-samples-poison

⚡️ Начинаем вебинар через 15 минут! Подключайтесь

▶️ Запись вчерашнего вебинара уже выложена. Спасибо всем, кто пришел и задавал вопросы!

В независимом издании SecPost пишут про обзор рынка безопасности ИИ от авторов ТГ-каналов PWNAI и OK ML. В заметке-выжимке, как и в самом обзоре, упоминается образовательная программа ИТМО и инструменты HiveTrace (спасибо 🙌). Главное из исследования:
• Российский рынок безопасности ИИ находится на начальной стадии развития.
• В России более 50 компаний связаны с AI Security, но только 11 из них специализируются на этой сфере. К середине 2026 года ожидается появление первых зрелых продуктов на рынке.
• Многие решения на рынке, даже от крупных игроков, пока на стадии концепций.
• Как и везде, в нашем деле дефицит квалифицированных кадров.
• ФСТЭК и другие регуляторы вводят конкретные требования, формируя нормативную базу для рынка.
• Объем российского рынка AI Security оценивается в $0,5-1 млрд. с потенциалом роста 30-40% в год.

📎 Полную версию исследования можно загрузить здесь.

🔄 В HiveTrace появилась интеграция с LiteLLM Proxy

Теперь можно использовать мониторинг и фильтрацию контента на всех приложениях, работающих с большими языковыми моделями при помощи LiteLLM. LiteLLM proxy – это инструмент для удобного, надежного и централизованного взаимодействия с большим числом языковых моделей, независимо от их поставщика, через единый стандартный интерфейс, что упрощает разработку и эксплуатацию AI-приложений. Пример такой интеграции показан на видео – связка LiteLLM и OpenWebUI, где весь обмен данными между пользователем и моделью теперь покрыт мониторингом HiveTrace.

Все сообщения пользователей и ответы моделей проходят через гардрейл HiveTrace, который автоматически анализирует контент, выявляя нарушения встроенных и пользовательских политик. Результаты мониторинга отображаются в личном кабинете HiveTrace.

🔥 HiveTrace в Generation AI!
Медиа Generation AI опубликовало кейс о HiveTrace. В статье рассказано:
· почему бизнесу нужен контроль над ИИ-системами;
· как работают автоматизированный редтиминг и мониторинг HiveTrace;
· почему red teaming ИИ становится обязательным элементом безопасности.
В материале показаны примеры типовых рисков, от jailbreak-атак до утечек конфиденциальных данных, и показано, как инструменты HiveTrace закрывают уязвимости на этапах разработки и эксплуатации.
👉 Читайте здесь

С 24 по 28 ноября пройдёт практический онлайн-курс «Безопасность генеративного ИИ — от атак до устойчивой защиты». Пять дней живой практики: реальные инциденты, тестирование моделей, построение защиты, OWASP Top 10, Llama Guard и StrongReject.

Занятия проведут преподаватели и эксперты лаборатории ИТМО. Подробности и регистрация — на сайте учебного центра Фастлейн.

PromptFoo RedTeam — автоматизированное тестирование безопасности LLM

🔍 Что это?
PromptFoo — open-source инструмент для автоматизированного red team тестирования моделей искусственного интеллекта (LLM) до их внедрения. Он помогает выявлять уязвимости и проблемные сценарии, чтобы сделать системы безопаснее.

⚙️ Основные компоненты PromptFoo
• Плагины — каждый отвечает за категорию уязвимостей (например, утечка PII, вредоносный контент, предвзятость, галлюцинации). На момент поста доступно 104 плагина, соответствующих стандартам безопасности OWASP LLM Top 10, NIST AI RMF и др. Каждый плагин обладает собственными критериями оценки политики безопасности.
• Стратегии атак — методы генерации вредоносных промптов. Есть как простые (Base64, азбука Морзе), так и сложные итеративные подходы (Crescendo, GOAT).
• Цели — тестируемые LLM: модели или приложения. Поддерживаются основные платформы: OpenAI, Anthropic, Azure, Mistral, Llama и другие.

📋 Как работает PromptFoo
1. Создается датасет: через плагины PromptFoo производится генерация запросов или загрузка из открытых датасетов (нап. CyberSecEval).
2. К полученным промптам применяются стратегии для создания атакующих запросов.
3. Ответы модели оцениваются с помощью специальных функций (grader) для каждого плагина по своим критериям.
4. Результаты выводятся в таблицах и отчетах.

⚠️ Важные замечания о приватности данных
• 71 из 104 плагинов работают через облако PromptFoo (отмечены 🌐). Данные для них обрабатываются на удалённых серверах — компания может сохранять и использовать их на своё усмотрение. Это стоит учитывать при работе.
• Чтобы не отправлять данные на сервер, используйте флаг PROMPTFOO_DISABLE_REMOTE_GENERATION=true, но плагины 🌐 будут недоступны.
• Альтернатива — коммерческая версия PromptFoo RedTeam.

#интрументы #редтиминг
Разбор сделал Юрий Лебединский, разработчик HiveTrace Red

В корпоративных ИИ-ассистентах сегодня скрыто куда больше угроз, чем кажется на первый взгляд. На портале CISO Club вышла статья нашего коллеги Ивана Василенко, где эти риски разобраны по полочкам и показано, почему безопасность ИИ становится критично важной компетенцией для бизнеса. Рекомендуем к прочтению всем, кто внедряет GenAI и хочет избежать неприятных сюрпризов.