В третьем выпуске нашего подкаста мы поговорили об интерпретируемости моделей ИИ. Обсудили актуальные направления в области интерпретируемости классических моделей и LLM.
Приглашённые гости:
➡️ Максим Костриця – DS Researcher в Raft, магистр ФКН ВШЭ
➡️ Сабрина Садиех – исследователь XAI, выпускница ПетрГУ
Модератор: Тимур Низамов, разработчик @LLAMATOR, магистрант AI Talent Hub ИТМО
Предыдущие выпуски:
1️⃣ Как защитить LLM
2️⃣ Как протестировать безопасность AI-приложений?
Приглашённые гости:
Модератор: Тимур Низамов, разработчик @LLAMATOR, магистрант AI Talent Hub ИТМО
Предыдущие выпуски:
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Подкаст AI Security Lab | Выпуск 3: Интерпретируемость моделей ИИ
В третьем выпуске подкаста AI Security Lab мы поговорили об интерпретируемости моделей ИИ: как, зачем и насколько это реально? Обсудили актуальные направления в области интерпретируемости классических моделей и LLM от ведущих исследовательских команд.
Приглашённые…
Приглашённые…
🤩6👍3❤2
Вчера OWASP представил руководство по защите агентных приложений. Работа над ним шла несколько месяцев, большую часть времени заняло рецензирование от специалистов из ведущих организаций: Microsoft, Oracle, NIST, Еврокомиссии, Robust Intelligence, Protect AI и других. Среди авторов – руководитель AI Security Lab и HiveTrace Евгений Кокуйкин.
Инженер нашей лаборатории Тимур Низамов рассказал на Хабре, чем с нами решили поделиться специалисты со всего мира и какие рекомендации они приводят по проектированию, разработке, тестированию и развёртыванию агентных систем.
Инженер нашей лаборатории Тимур Низамов рассказал на Хабре, чем с нами решили поделиться специалисты со всего мира и какие рекомендации они приводят по проектированию, разработке, тестированию и развёртыванию агентных систем.
Хабр
Как разрабатывать AI-агенты безопасными — свежие рекомендации OWASP
28 июля фонд OWASP выпустил руководство по защите агентных приложений . Работа над ним шла несколько месяцев, большую часть времени заняло рецензирование от специалистов из ведущих организаций:...
👍10❤3✍2❤🔥1🔥1
CISO OpenAI заявил о прекращении "небольшого эксперимента, призванного помочь людям открывать полезные диалоги". Такова реакция на новость о том, что Google индексирует чаты, для которых пользователи ChatGPT создавали ссылку.
Наш инженер Никита Беляевский обнаружил в открытых диалогах персональные данные: имена, номера телефонов, адреса – и обсуждение чувствительных тем. Он также выяснил, что подобная уязвимость касается не только ChatGPT, но и Grok. Среди полумиллиона чатов, в которых пользователи запрашивали политические обзоры и мини-игры в стиле аниме, обнаружились переписки с API-ключами.
Напоминаем: будьте внимательны при работе с AI-моделями! Минимизируйте количество чувствительных данных, которыми вы делитесь в чатах. Всегда проверяйте настройки приватности перед тем, как создать ссылку, и будьте готовы к тому, что о ваших частных переписках с ИИ-моделью может узнать весь интернет.
Наш инженер Никита Беляевский обнаружил в открытых диалогах персональные данные: имена, номера телефонов, адреса – и обсуждение чувствительных тем. Он также выяснил, что подобная уязвимость касается не только ChatGPT, но и Grok. Среди полумиллиона чатов, в которых пользователи запрашивали политические обзоры и мини-игры в стиле аниме, обнаружились переписки с API-ключами.
Напоминаем: будьте внимательны при работе с AI-моделями! Минимизируйте количество чувствительных данных, которыми вы делитесь в чатах. Всегда проверяйте настройки приватности перед тем, как создать ссылку, и будьте готовы к тому, что о ваших частных переписках с ИИ-моделью может узнать весь интернет.
🗿5👍2
Raft и AI Security Lab продолжают исследование практик безопасности ИИ в России. Цель проекта: сформировать представление о текущей картине в вопросах защиты и тестирования ИИ в отечественных компаниях, показать российские особенности, собрать полезные инструменты и практики.
Приглашаем всех, кто занимается вопросами защиты ИИ-приложений или кто ещё только планирует выстраивать такие механизмы, на интервью. Результаты мы оформим в виде отчёта, и первыми его получат те, кто участвовал в нашем исследовании.
Запись на интервью: https://forms.yandex.ru/u/6891d46d84227c2b306d37b2
Если не готовы участвовать сами, перешлите этот пост людям, которых считаете экспертами в этой области. Нашей индустрии нужны системные данные. Давайте сделаем это вместе!
Приглашаем всех, кто занимается вопросами защиты ИИ-приложений или кто ещё только планирует выстраивать такие механизмы, на интервью. Результаты мы оформим в виде отчёта, и первыми его получат те, кто участвовал в нашем исследовании.
Запись на интервью: https://forms.yandex.ru/u/6891d46d84227c2b306d37b2
Если не готовы участвовать сами, перешлите этот пост людям, которых считаете экспертами в этой области. Нашей индустрии нужны системные данные. Давайте сделаем это вместе!
❤5👍3
Forwarded from Евгений Кокуйкин - Raft
Сейчас начинается OWASP AI Agentic Top 10 Project Kick-off - Global Call https://www.youtube.com/watch?v=mMLG6YNm6A8
Будет представлена альфа версия будущего Top 10 для агентов от OWASP
Будет представлена альфа версия будущего Top 10 для агентов от OWASP
🔥6👍1
Forwarded from Евгений Кокуйкин - Raft
В ТАСС и ИТМО News вышла новость про наш HiveTrace🔥. На фото команда на прошлогодней конференции YappiDays, когда первая версия продукта ещё была в обсуждении. Меньше чем за год мы прошли большой путь, но многое ещё предстоит сделать для лучшего AI Security-решения в России.
2❤12🔥6👏6❤🔥2
В HiveTrace стала доступна интеграция с SIEM💥
Теперь систему, которую разрабатывают участники нашей лаборатории, можно подключить к любой SIEM, поддерживающей стандарт syslog. Все события в системе и результаты работы цензора автоматически поступают в единый центр безопасности.
CTO HiveTrace Анна Тищенко показала, как это работает на примере интеграции с Wazuh
Теперь систему, которую разрабатывают участники нашей лаборатории, можно подключить к любой SIEM, поддерживающей стандарт syslog. Все события в системе и результаты работы цензора автоматически поступают в единый центр безопасности.
CTO HiveTrace Анна Тищенко показала, как это работает на примере интеграции с Wazuh
YouTube
В HiveTrace стала доступна интеграция с SIEM
Теперь систему можно подключить к любой SIEM через стандарт syslog. Все события и результаты работы цензора автоматически отправляются в единый центр безопасности. В этом видео показываем, как это работает на примере интеграции с Wazuh
Подробней о HiveTrace:…
Подробней о HiveTrace:…
🔥11
У ИИ-агентов все больше возможностей, а значит и поверхностей атаки. В новой статье на Хабре наш коллега Иван Василенко рассказал об инциденте с ИИ-агентом Operator ChatGPT от OpenAI. Кейс, рассмотренный в этой статье, показывает новый класс угроз, присущих именно автономным ИИ-агентам, и эта проблема носит системный характер, а не является единичным багом
https://habr.com/ru/companies/raft/articles/939824/
https://habr.com/ru/companies/raft/articles/939824/
Хабр
Агент с лицензией на ошибку
Как ломают ИИ-агентов. Часть 1: Кейс с Operator ChatGPT В 2025 году ИИ-агенты стали настоящим медиа-феноменом: Y-Combinator объявляет ИИ-агенты ключевым направлением для инвестиций в 2025 году;...
👍5❤1
Генеративный ИИ - это не только возможности для бизнеса, но и новые угрозы🤖
🔹 На бесплатном вебинаре «Как злоумышленники могут атаковать защиту LLM-чат-ботов» расскажем, как сегодня злоумышленники обходят защиты LLM-систем, и как построить корпоративную защиту от подобных атак.
Что разберём:
📍 почему LLM-приложения уязвимы и как это проявляется в проде
📍 OWASP Top-10 для ИИ на практике
📍 джейлбрейки (DAN, UCAR, AIM), AutoDAN, состязательные суффиксы
📍 автоматизация атак через PAIR — и как ей противостоять.
На вебинаре вы узнаете, какова реальная ситуация, и сможете задать вопросы эксперту онлайн.
Забронируйте участие - места ограничены👇
Регистрация - https://vk.cc/cOVxQ7.
🗓 28 августа в 12:00 (МСК).
🤝 Совместный вебинар УЦ Фаст Лейн и Университета ИТМО.
🔹 На бесплатном вебинаре «Как злоумышленники могут атаковать защиту LLM-чат-ботов» расскажем, как сегодня злоумышленники обходят защиты LLM-систем, и как построить корпоративную защиту от подобных атак.
Что разберём:
📍 почему LLM-приложения уязвимы и как это проявляется в проде
📍 OWASP Top-10 для ИИ на практике
📍 джейлбрейки (DAN, UCAR, AIM), AutoDAN, состязательные суффиксы
📍 автоматизация атак через PAIR — и как ей противостоять.
На вебинаре вы узнаете, какова реальная ситуация, и сможете задать вопросы эксперту онлайн.
Забронируйте участие - места ограничены👇
Регистрация - https://vk.cc/cOVxQ7.
🗓 28 августа в 12:00 (МСК).
🤝 Совместный вебинар УЦ Фаст Лейн и Университета ИТМО.
👍3
Forwarded from AiConf Channel
Мастер-класс «Как пробить защиту ИИ своими руками и агентом-хакером»
Современные ИИ-системы становятся все умнее: они помогают писать код, анализируют финансы, работают как персональные ассистенты. Но там, где есть технологии, есть и злоумышленники. Хакеры научились атаковать ИИ-системы: обходить инструкции, создавать вредоносный контент, красть данные или просто ронять сервисы.
Что вас ждет на мастер-классе:
🔴 Попытаетесь взломать ИИ-агента руками и с помощью продвинутых методов (состязательных суффиксов, PAIR, AutoDAN-Turbo).
🔴 В реальном времени защитите систему от угроз.
Будет полезно:
🔴 разработчикам ИИ-приложений
🔴 архитекторам ML-систем
🔴 специалистам по кибербезопасности, работающим с генеративными моделями
✅ Изучить программу и приобрести билет
🔥— если хочешь пойти на мастер-класс к ребятам
🤝— если ждешь другие доклады и мастер-классы
❤️— если есть пробитие
💬 Подписаться на AiConf X
Современные ИИ-системы становятся все умнее: они помогают писать код, анализируют финансы, работают как персональные ассистенты. Но там, где есть технологии, есть и злоумышленники. Хакеры научились атаковать ИИ-системы: обходить инструкции, создавать вредоносный контент, красть данные или просто ронять сервисы.
Что вас ждет на мастер-классе:
Будет полезно:
✅ Изучить программу и приобрести билет
🔥— если хочешь пойти на мастер-класс к ребятам
🤝— если ждешь другие доклады и мастер-классы
❤️— если есть пробитие
💬 Подписаться на AiConf X
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5❤1
Наши друзья из PVS-Studio собирают датасет багов, возникающих при использовании вайб-кодинга (код, сгенерированный AI-ассистентами). Цель команды доработать статический анализатор и научить его выявлять новые типы ошибок, характерные для AI-сгенерированного кода. Датасет будет открытым.
Если вы активно используете AI для разработки и хотите помочь коммьюнити сделать инструменты защиты надёжнее, присылайте примеры багов в форму.
Активных контрибьюторов ждёт благодарность и подарок от компании.
Если вы активно используете AI для разработки и хотите помочь коммьюнити сделать инструменты защиты надёжнее, присылайте примеры багов в форму.
Активных контрибьюторов ждёт благодарность и подарок от компании.
👍2
Forwarded from Codex Town (karina)
🎥 Запись вебинара: "Безопасность LLM — риски и защита корпоративных систем" уже доступна!
Генеративный ИИ всё активнее внедряется в компании, но вместе с этим растут и риски. Уже сегодня фиксируются атаки на реальные системы, а существующие механизмы защиты не дают полной гарантии.
На вебинаре мы:
• Разобрали, что такое «безопасность LLM» и какие угрозы она охватывает
• Посмотрели реальные кейсы атак на AI-системы
• Обсудили уязвимости, выделенные международными исследованиями и OWASP
• Сформировали перечень ключевых рисков для корпоративной инфраструктуры
• Определим первые шаги к созданию AI Security-стратегии
👨🏫 О спикере:
Евгений Кокуйкин — CEO HiveTrace, сооснователь Raft. Эксперт в области внедрения ИИ и построения масштабируемых систем.
🧠 Кому будет интересно:
ИТ-директорам, архитекторам решений, AI-разработчикам, специалистам по безопасности и всем, кто отвечает за внедрение и защиту AI-технологий в бизнесе.
Смотреть запись: https://youtu.be/66N2MDAI7_w
Генеративный ИИ всё активнее внедряется в компании, но вместе с этим растут и риски. Уже сегодня фиксируются атаки на реальные системы, а существующие механизмы защиты не дают полной гарантии.
На вебинаре мы:
• Разобрали, что такое «безопасность LLM» и какие угрозы она охватывает
• Посмотрели реальные кейсы атак на AI-системы
• Обсудили уязвимости, выделенные международными исследованиями и OWASP
• Сформировали перечень ключевых рисков для корпоративной инфраструктуры
• Определим первые шаги к созданию AI Security-стратегии
👨🏫 О спикере:
Евгений Кокуйкин — CEO HiveTrace, сооснователь Raft. Эксперт в области внедрения ИИ и построения масштабируемых систем.
🧠 Кому будет интересно:
ИТ-директорам, архитекторам решений, AI-разработчикам, специалистам по безопасности и всем, кто отвечает за внедрение и защиту AI-технологий в бизнесе.
Смотреть запись: https://youtu.be/66N2MDAI7_w
🔥9👍2
Forwarded from Al Talent Hub
Никаких больше джейлбрейков
Влада Пухкало — фаундер и главный редактор @data_secrets, выпускница AI Talent Hub.
В рамках #ReadingClub она подробно разобрала⭐️ статью Anthropic о том, как защитить LLM от вредоносных промтов, заставляющих модель нарушить свои же правила безопасности.
Шаг 1: используй конституционные классификаторы, о которых рассказываем в карточках
Шаг 2: смотри полную лекцию на YouTube-канале Хаба
Шаг 3: прожми лайк и подпишись
Готово: теперь ты знаешь, как надежно защитить LLM от джейлбрейков — и себя от пропуска новых лекций Хаба😀
🤫 Если хочется не просто знать, но и взламывать (по правилам) → AI Security Lab — telegram-канал исследовательской лабы Хаба. Тут мы строим, ломаем и чиним LLM — строго в научных целях 😈
#Microlearning
#ITMO #NapoleonIT
Влада Пухкало — фаундер и главный редактор @data_secrets, выпускница AI Talent Hub.
В рамках #ReadingClub она подробно разобрала
Шаг 1: используй конституционные классификаторы, о которых рассказываем в карточках
Шаг 2: смотри полную лекцию на YouTube-канале Хаба
Шаг 3: прожми лайк и подпишись
Готово: теперь ты знаешь, как надежно защитить LLM от джейлбрейков — и себя от пропуска новых лекций Хаба
#Microlearning
#ITMO #NapoleonIT
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍3👏1
Yandex B2B Tech совместно с ИТМО провели исследование о том, как ИИ меняет процесс разработки. Самое интересное:
🦾 75% разработчиков используют кодовые ассистенты для написания кода и работы с документацией.
🙅♂️Часть респондентов не пользуется ИИ-ассистентами из-за низкого качества сгенерированного кода.
🤖Только 6% верят, что ИИ может полностью автоматизировать разработку.
Авторы включили комментарии экспертов ИТМО в сопроводительную статью.
📌 Николай Никитин, руководитель лаборатории автоматического ML Института ИИ Университета ИТМО:
📌 Евгений Кокуйкин:
🦾 75% разработчиков используют кодовые ассистенты для написания кода и работы с документацией.
🙅♂️Часть респондентов не пользуется ИИ-ассистентами из-за низкого качества сгенерированного кода.
🤖Только 6% верят, что ИИ может полностью автоматизировать разработку.
Авторы включили комментарии экспертов ИТМО в сопроводительную статью.
📌 Николай Никитин, руководитель лаборатории автоматического ML Института ИИ Университета ИТМО:
«Будущее за мультиязычными системами, которые декомпозируют сложные задачи на простые и используют специализированные инструменты».
📌 Евгений Кокуйкин:
«Разработчики активно используют IDE с ИИ-ассистентами. Ускорение заметно на всех этапах разработки: проще собрать прототип, чем писать 50-страничное ТЗ, и быстрее найти ошибку в коде. Многие ещё скептически относятся к кодовым моделям, но с каждым релизом игнорировать ИИ-инструменты становится сложнее».
❤6
🏆 HiveTrace победил в двух номинациях премии Startech.Awards: “Лучший стартап в сфере кибербезопасности” и “Прорыв года в банковской сфере”. В отборе на премию участвовало более 100 компаний. Наше решение выделили за уникальность и инновационность, несмотря на конкуренцию с более крупными и зрелыми компаниями. Награды нам вручили Денис Полянский из Selectel и Илья Ливашвили из Газпромбанка.
Startech.Awards — это премия для стартапов, которая объединяет сотни проектов в технологической сфере. Получение премии показывает, что наш продукт HiveTrace соответствует актуальным задачам рынка и еще сильнее мотивирует нас развивать технологии защиты GenAI-систем.
Startech.Awards — это премия для стартапов, которая объединяет сотни проектов в технологической сфере. Получение премии показывает, что наш продукт HiveTrace соответствует актуальным задачам рынка и еще сильнее мотивирует нас развивать технологии защиты GenAI-систем.
🏆20🔥15❤7👍5
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥21❤6👍1