Наши друзья из PVS-Studio собирают датасет багов, возникающих при использовании вайб-кодинга (код, сгенерированный AI-ассистентами). Цель команды доработать статический анализатор и научить его выявлять новые типы ошибок, характерные для AI-сгенерированного кода. Датасет будет открытым.

Если вы активно используете AI для разработки и хотите помочь коммьюнити сделать инструменты защиты надёжнее, присылайте примеры багов в форму.

Активных контрибьюторов ждёт благодарность и подарок от компании.

🎥 Запись вебинара: "Безопасность LLM — риски и защита корпоративных систем" уже доступна!

Генеративный ИИ всё активнее внедряется в компании, но вместе с этим растут и риски. Уже сегодня фиксируются атаки на реальные системы, а существующие механизмы защиты не дают полной гарантии.

На вебинаре мы:
• Разобрали, что такое «безопасность LLM» и какие угрозы она охватывает
• Посмотрели реальные кейсы атак на AI-системы
• Обсудили уязвимости, выделенные международными исследованиями и OWASP
• Сформировали перечень ключевых рисков для корпоративной инфраструктуры
• Определим первые шаги к созданию AI Security-стратегии

👨‍🏫 О спикере:
Евгений Кокуйкин — CEO HiveTrace, сооснователь Raft. Эксперт в области внедрения ИИ и построения масштабируемых систем.

🧠 Кому будет интересно:
ИТ-директорам, архитекторам решений, AI-разработчикам, специалистам по безопасности и всем, кто отвечает за внедрение и защиту AI-технологий в бизнесе.

Смотреть запись: https://youtu.be/66N2MDAI7_w

Yandex B2B Tech совместно с ИТМО провели исследование о том, как ИИ меняет процесс разработки. Самое интересное:

🦾 75% разработчиков используют кодовые ассистенты для написания кода и работы с документацией.

🙅‍♂️Часть респондентов не пользуется ИИ-ассистентами из-за низкого качества сгенерированного кода.

🤖Только 6% верят, что ИИ может полностью автоматизировать разработку.

Авторы включили комментарии экспертов ИТМО в сопроводительную статью.

📌 Николай Никитин, руководитель лаборатории автоматического ML Института ИИ Университета ИТМО:

«Будущее за мультиязычными системами, которые декомпозируют сложные задачи на простые и используют специализированные инструменты».

📌 Евгений Кокуйкин:

«Разработчики активно используют IDE с ИИ-ассистентами. Ускорение заметно на всех этапах разработки: проще собрать прототип, чем писать 50-страничное ТЗ, и быстрее найти ошибку в коде. Многие ещё скептически относятся к кодовым моделям, но с каждым релизом игнорировать ИИ-инструменты становится сложнее».

🏆 HiveTrace победил в двух номинациях премии Startech.Awards: “Лучший стартап в сфере кибербезопасности” и “Прорыв года в банковской сфере”. В отборе на премию участвовало более 100 компаний. Наше решение выделили за уникальность и инновационность, несмотря на конкуренцию с более крупными и зрелыми компаниями. Награды нам вручили Денис Полянский из Selectel и Илья Ливашвили из Газпромбанка.

Startech.Awards — это премия для стартапов, которая объединяет сотни проектов в технологической сфере. Получение премии показывает, что наш продукт HiveTrace соответствует актуальным задачам рынка и еще сильнее мотивирует нас развивать технологии защиты GenAI-систем.

📚 В октябре пройдёт совместный курс ИТМО и Фаст Лейн «Безопасность генеративного ИИ». Мы с коллегами из университета расскажем слушателям о безопасности AI: от обзора рынка и атак на GenAI до практики джейлбрейков, адверсарных атак и low-resource методов. Участники разберут ML-инструменты ИБ, архитектуру ИИ-приложений, OWASP Top-10, правовые аспекты и пройдут воркшоп «взлом агента».

🗓 27–31 октября 2025 (онлайн)
👉 Подробная программа и регистрация

Одну из тем мы уже разбирали на вебинаре «Как злоумышленники могут атаковать защиту LLM-чат-ботов».
👉 Смотреть вебинар

LLM — что это за зверь такой? Как эффективно обойти с его помощью встроенные ограничения даже у топовых ChatGPT и Claude?

В нашей новой статье на основе доклада для Highload++ 2025 из двух частей рассказываем, как взломать большие языковые модели.

➡️ Читать статью

🔥 — интересно, иду читать
🤔 — сохранил(а) себе, прочитаю позже
👌 — если уже знали об этом

Хроники взлома LLM 2.0

В предыдущей части мы разобрались, что такое состязательные суффиксы и почему они так легко ломают модели.

Но это еще не все! Сегодня знакомимся с AutoDAN — наследником состязательных суффиксов и популярного jailbreak-метода DAN (Do Anything Now). Чем он отличается от GCG-алгоритма?

Также обсудим, как защищаться и тестировать модели, и рассмотрим практические примеры атак.

➡️Читать статью

Обсуждайте решения в комментариях и делитесь статьей с друзьями🤝

🔥 — уже иду читать
🤔 — сохранил(а) себе, прочитаю позже
👌 — если отправили другу

Продолжаем серию статей о взломах ИИ. В прошлый раз было про ИИ-агенты, а сегодня не менее интересный кейс: новый вектор атаки, который переворачивает представление о безопасности AI-ассистентов вроде GitHub Copilot и Cursor.

👉 ЧИТАТЬ

Сегодня мы запускаем HiveTrace Red — продукт автоматического тестирования LLM и агентных систем.

Всё началось с курьёзных случаев, когда чатбот продавал автомобиль за доллар или выдавал несуществующие скидки на авиабилеты. С ростом возможностей ИИ-систем мы видим, что адверсарное тестирование становится таким же необходимым этапом безопасной разработки, как code review или аудит зависимостей библиотек.

🔹 HiveTrace Red генерирует и запускает десятки атак: token smuggling, roleplay, context switching и другие.
🔹 Цели тестирования могут варьироваться от раскрытия конфиденциальной информации и генерации вредоносного контента до проверки репутационных рисков и симуляции DoS атак.
🔹 Инструмент автоматически анализирует ответы моделей и формирует отчёты, совместимые с OWASP и MITRE, а в будущем добавим новые российские стандарты.
🔹 Совместное использование с основной платформой HiveTrace позволяет закрыть полный цикл разработки и эксплуатации AI-систем "обнаружить — проверить — предотвратить".

Сегодня мы открываем Open Source ядро продукта, которое можно использовать как on-prem с локальными моделями, так и через API облачных сервисов для генерации и оценки атак. Параллельно идёт разработка enterprise-функций и интеграций с облачными платформами. При создании инструмента мы опирались на опыт собственных red team-проектов последних двух лет, а в основе HiveTrace Red лежит форк проекта RuRedTeam Юрия Лебединского.

Используйте продукт, чтобы увидеть, насколько устойчив ваш ИИ-ассистент к промпт-атакам. На днях анонсируем вебинар, где подробно покажем, как работает HiveTrace Red.

Через неделю проводим вебинар: «Бенчмарки агентных систем и новые функции в HiveTrace»

📅 Дата: 28 октября 2025
🕚 Время: 11:00 (МСК)
📍 Формат: онлайн

Для кого: специалисты по безопасности, ML-инженеры, продакты, исследователи ИИ и все, кто работает с LLM и агентными системами.

🌟 Специальный гость – Роман Куцев. Founder LLM Arena, Ex-Founder TrainingData, выпускник ВМК МГУ, 8 лет занимается сбором и разметкой данных.

Роман расскажет о самых актуальных бенчмарках, которые сегодня применяются для оценки поведения агентных систем, и поделится наблюдениями о том, какие метрики реально отражают качество и надежность ИИ-моделей.

Во второй части вебинара команда HiveTrace представит новый инструмент HiveTrace Red – решение для red-teaming и тестирования уязвимостей ИИ-моделей. Также покажем новые функции платформы HiveTrace и расскажем, как они помогают автоматизировать тестирование, мониторинг и анализ безопасности GenAI-приложений.

👉 Регистрируйтесь, чтобы получить ссылку на трансляцию перед началом

Начинаем серию постов про популярные атаки на LLM. Сегодня разберем класс атак убеждения, основанный на статье “How Johnny Can Persuade LLMs”. Атака основана на применении техник убеждения из социальных наук (психология, маркетинг) для обхода защиты языковых моделей. Особенность таких атак – использование в запросах только естественного языка, без спецсимволов или определенных форматов. Это делает данный класс атак актуальным и в случаях, когда модель галлюцинирует на запросы, в которых используются, например, шифры и кодировки.

В продукте HiveTrace Red данный класс атак реализуется с использованием атакующей LLM. По каждой из техник, представленных в статье, разработана отдельная атака, в которой задается промпт для атакующей модели и логика ее вызова. В коде оригинальной статьи не было реализации этих атак, поэтому в других фреймворках они встречаются редко. HiveTrace Red содержит все 40 техник из оригинальной статьи.

Например, можно рассмотреть Foot-In-The-Door атаку – это метод убеждения, в котором постепенно повышается “градус опасности” запроса. Expert Endorsement добавляет в запрос ссылки на специалистов в области. Time Pressure создает контекст спешки, необходимость быстрого ответа без отговорок. Storytelling включает запрос в какую-то историю или ситуацию, так чтобы модель, например, помогла написать роман или защитила пользователя от кого-то.

Наше тестирование показало высокую эффективность против Qwen3-Next-80B-A3B-Instruct: 82% ASR. Если вы планируете использовать данную модель в своих сервисах, то такой высокий показатель успешности атак говорит о необходимости дополнительного дообучения и защиты на уровне системных промптов и внешних фильтров.

На вебинаре 28 октября расскажем о том, как с такими и другими атаками работают продукты HiveTrace. 👉 Регистрируйтесь, чтобы получить ссылку на трансляцию перед началом!

В подборку лучших материалов AI Conf попали сразу две статьи, написанные по выступлениям ребят из команды HiveTrace:
🎙️ про то, как стать спикером от Жени Кокуйкина
👨‍💻 и про то, как стать взломщиком ломать LLM от Никиты Беляевского
Приглашаем почитать и поддержать лайком

Продолжаем серию постов про популярные атаки на LLM. Сегодня рассмотрим класс атак Token Smuggling. Он включает различные техники маскирования текста, например, использование различных шифров, кодировок, транслитераций. Такие атаки позволяют обходить как внутренние ограничения модели, так и внешние фильтры, например, использующие регулярные выражения. Недостатком таких атак является то, что в обучающих данных атакуемой модели должны быть различные кодировки и шифры, иначе модель просто будет галлюцинировать.

В HiveTrace Red этот класс представлен из коробки: эти атаки используют класс AlgoAttack. Поэтому, чтобы его попробовать, вам не потребуется атакующая модель. В инструменте реализованы как популярные методы: Base64, ROT13, азбука Морзе, так и менее известные. Например, нечасто можно встретить использование транслитерации для атаки LLM. Также фреймворк включает атаки с использованием символов юникода как для русского, так и для английского языка. Они подменяют символы на визуально похожие: 1 -> ①, A -> 🇦, а -> α.

Мы провели тестирование модели gpt-oss-120b и получили ASR 19% для этого класса атак. Модели gpt-oss заявлялись как максимально защищенные, для их тестирования даже устраивали red teaming ctf. Тестирование показывает, что даже модели с продвинутой защитой остаются уязвимыми к промпт-атакам.

На вебинаре 28 октября расскажем о том, как с такими и другими атаками работают продукты HiveTrace. 👉 Регистрируйтесь, чтобы получить ссылку на трансляцию перед началом

Собрали в статье всю базу по международному регулированию ИИ и российским инициативам. Если вам есть что добавить – пишите в комментариях.