В ТАСС и ИТМО News вышла новость про наш HiveTrace🔥. На фото команда на прошлогодней конференции YappiDays, когда первая версия продукта ещё была в обсуждении. Меньше чем за год мы прошли большой путь, но многое ещё предстоит сделать для лучшего AI Security-решения в России.

В HiveTrace стала доступна интеграция с SIEM💥

Теперь систему, которую разрабатывают участники нашей лаборатории, можно подключить к любой SIEM, поддерживающей стандарт syslog. Все события в системе и результаты работы цензора автоматически поступают в единый центр безопасности.

CTO HiveTrace Анна Тищенко показала, как это работает на примере интеграции с Wazuh

У ИИ-агентов все больше возможностей, а значит и поверхностей атаки. В новой статье на Хабре наш коллега Иван Василенко рассказал об инциденте с ИИ-агентом Operator ChatGPT от OpenAI. Кейс, рассмотренный в этой статье, показывает новый класс угроз, присущих именно автономным ИИ-агентам, и эта проблема носит системный характер, а не является единичным багом

https://habr.com/ru/companies/raft/articles/939824/

Генеративный ИИ - это не только возможности для бизнеса, но и новые угрозы🤖

🔹 На бесплатном вебинаре «Как злоумышленники могут атаковать защиту LLM-чат-ботов» расскажем, как сегодня злоумышленники обходят защиты LLM-систем, и как построить корпоративную защиту от подобных атак.

Что разберём:
📍 почему LLM-приложения уязвимы и как это проявляется в проде
📍 OWASP Top-10 для ИИ на практике
📍 джейлбрейки (DAN, UCAR, AIM), AutoDAN, состязательные суффиксы
📍 автоматизация атак через PAIR — и как ей противостоять.

На вебинаре вы узнаете, какова реальная ситуация, и сможете задать вопросы эксперту онлайн.

Забронируйте участие - места ограничены👇
Регистрация - https://vk.cc/cOVxQ7.
🗓 28 августа в 12:00 (МСК).
🤝 Совместный вебинар УЦ Фаст Лейн и Университета ИТМО.

Через месяц встречаемся на AIConf X в Москве!

Наши друзья из PVS-Studio собирают датасет багов, возникающих при использовании вайб-кодинга (код, сгенерированный AI-ассистентами). Цель команды доработать статический анализатор и научить его выявлять новые типы ошибок, характерные для AI-сгенерированного кода. Датасет будет открытым.

Если вы активно используете AI для разработки и хотите помочь коммьюнити сделать инструменты защиты надёжнее, присылайте примеры багов в форму.

Активных контрибьюторов ждёт благодарность и подарок от компании.

🎥 Запись вебинара: "Безопасность LLM — риски и защита корпоративных систем" уже доступна!

Генеративный ИИ всё активнее внедряется в компании, но вместе с этим растут и риски. Уже сегодня фиксируются атаки на реальные системы, а существующие механизмы защиты не дают полной гарантии.

На вебинаре мы:
• Разобрали, что такое «безопасность LLM» и какие угрозы она охватывает
• Посмотрели реальные кейсы атак на AI-системы
• Обсудили уязвимости, выделенные международными исследованиями и OWASP
• Сформировали перечень ключевых рисков для корпоративной инфраструктуры
• Определим первые шаги к созданию AI Security-стратегии

👨‍🏫 О спикере:
Евгений Кокуйкин — CEO HiveTrace, сооснователь Raft. Эксперт в области внедрения ИИ и построения масштабируемых систем.

🧠 Кому будет интересно:
ИТ-директорам, архитекторам решений, AI-разработчикам, специалистам по безопасности и всем, кто отвечает за внедрение и защиту AI-технологий в бизнесе.

Смотреть запись: https://youtu.be/66N2MDAI7_w

Yandex B2B Tech совместно с ИТМО провели исследование о том, как ИИ меняет процесс разработки. Самое интересное:

🦾 75% разработчиков используют кодовые ассистенты для написания кода и работы с документацией.

🙅‍♂️Часть респондентов не пользуется ИИ-ассистентами из-за низкого качества сгенерированного кода.

🤖Только 6% верят, что ИИ может полностью автоматизировать разработку.

Авторы включили комментарии экспертов ИТМО в сопроводительную статью.

📌 Николай Никитин, руководитель лаборатории автоматического ML Института ИИ Университета ИТМО:

«Будущее за мультиязычными системами, которые декомпозируют сложные задачи на простые и используют специализированные инструменты».

📌 Евгений Кокуйкин:

«Разработчики активно используют IDE с ИИ-ассистентами. Ускорение заметно на всех этапах разработки: проще собрать прототип, чем писать 50-страничное ТЗ, и быстрее найти ошибку в коде. Многие ещё скептически относятся к кодовым моделям, но с каждым релизом игнорировать ИИ-инструменты становится сложнее».

🏆 HiveTrace победил в двух номинациях премии Startech.Awards: “Лучший стартап в сфере кибербезопасности” и “Прорыв года в банковской сфере”. В отборе на премию участвовало более 100 компаний. Наше решение выделили за уникальность и инновационность, несмотря на конкуренцию с более крупными и зрелыми компаниями. Награды нам вручили Денис Полянский из Selectel и Илья Ливашвили из Газпромбанка.

Startech.Awards — это премия для стартапов, которая объединяет сотни проектов в технологической сфере. Получение премии показывает, что наш продукт HiveTrace соответствует актуальным задачам рынка и еще сильнее мотивирует нас развивать технологии защиты GenAI-систем.

📚 В октябре пройдёт совместный курс ИТМО и Фаст Лейн «Безопасность генеративного ИИ». Мы с коллегами из университета расскажем слушателям о безопасности AI: от обзора рынка и атак на GenAI до практики джейлбрейков, адверсарных атак и low-resource методов. Участники разберут ML-инструменты ИБ, архитектуру ИИ-приложений, OWASP Top-10, правовые аспекты и пройдут воркшоп «взлом агента».

🗓 27–31 октября 2025 (онлайн)
👉 Подробная программа и регистрация

Одну из тем мы уже разбирали на вебинаре «Как злоумышленники могут атаковать защиту LLM-чат-ботов».
👉 Смотреть вебинар

LLM — что это за зверь такой? Как эффективно обойти с его помощью встроенные ограничения даже у топовых ChatGPT и Claude?

В нашей новой статье на основе доклада для Highload++ 2025 из двух частей рассказываем, как взломать большие языковые модели.

➡️ Читать статью

🔥 — интересно, иду читать
🤔 — сохранил(а) себе, прочитаю позже
👌 — если уже знали об этом

Хроники взлома LLM 2.0

В предыдущей части мы разобрались, что такое состязательные суффиксы и почему они так легко ломают модели.

Но это еще не все! Сегодня знакомимся с AutoDAN — наследником состязательных суффиксов и популярного jailbreak-метода DAN (Do Anything Now). Чем он отличается от GCG-алгоритма?

Также обсудим, как защищаться и тестировать модели, и рассмотрим практические примеры атак.

➡️Читать статью

Обсуждайте решения в комментариях и делитесь статьей с друзьями🤝

🔥 — уже иду читать
🤔 — сохранил(а) себе, прочитаю позже
👌 — если отправили другу

Продолжаем серию статей о взломах ИИ. В прошлый раз было про ИИ-агенты, а сегодня не менее интересный кейс: новый вектор атаки, который переворачивает представление о безопасности AI-ассистентов вроде GitHub Copilot и Cursor.

👉 ЧИТАТЬ

Сегодня мы запускаем HiveTrace Red — продукт автоматического тестирования LLM и агентных систем.

Всё началось с курьёзных случаев, когда чатбот продавал автомобиль за доллар или выдавал несуществующие скидки на авиабилеты. С ростом возможностей ИИ-систем мы видим, что адверсарное тестирование становится таким же необходимым этапом безопасной разработки, как code review или аудит зависимостей библиотек.

🔹 HiveTrace Red генерирует и запускает десятки атак: token smuggling, roleplay, context switching и другие.
🔹 Цели тестирования могут варьироваться от раскрытия конфиденциальной информации и генерации вредоносного контента до проверки репутационных рисков и симуляции DoS атак.
🔹 Инструмент автоматически анализирует ответы моделей и формирует отчёты, совместимые с OWASP и MITRE, а в будущем добавим новые российские стандарты.
🔹 Совместное использование с основной платформой HiveTrace позволяет закрыть полный цикл разработки и эксплуатации AI-систем "обнаружить — проверить — предотвратить".

Сегодня мы открываем Open Source ядро продукта, которое можно использовать как on-prem с локальными моделями, так и через API облачных сервисов для генерации и оценки атак. Параллельно идёт разработка enterprise-функций и интеграций с облачными платформами. При создании инструмента мы опирались на опыт собственных red team-проектов последних двух лет, а в основе HiveTrace Red лежит форк проекта RuRedTeam Юрия Лебединского.

Используйте продукт, чтобы увидеть, насколько устойчив ваш ИИ-ассистент к промпт-атакам. На днях анонсируем вебинар, где подробно покажем, как работает HiveTrace Red.

Через неделю проводим вебинар: «Бенчмарки агентных систем и новые функции в HiveTrace»

📅 Дата: 28 октября 2025
🕚 Время: 11:00 (МСК)
📍 Формат: онлайн

Для кого: специалисты по безопасности, ML-инженеры, продакты, исследователи ИИ и все, кто работает с LLM и агентными системами.

🌟 Специальный гость – Роман Куцев. Founder LLM Arena, Ex-Founder TrainingData, выпускник ВМК МГУ, 8 лет занимается сбором и разметкой данных.

Роман расскажет о самых актуальных бенчмарках, которые сегодня применяются для оценки поведения агентных систем, и поделится наблюдениями о том, какие метрики реально отражают качество и надежность ИИ-моделей.

Во второй части вебинара команда HiveTrace представит новый инструмент HiveTrace Red – решение для red-teaming и тестирования уязвимостей ИИ-моделей. Также покажем новые функции платформы HiveTrace и расскажем, как они помогают автоматизировать тестирование, мониторинг и анализ безопасности GenAI-приложений.

👉 Регистрируйтесь, чтобы получить ссылку на трансляцию перед началом