Forwarded from Евгений Кокуйкин - Raft
Недавно узнал, что существует стрим Securing Artificial Intelligence от Европейского института телекоммуникационных стандартов (ETSI). Узнал про эти документы случайно, когда коллега из OWASP John Sotiropoulos поделился тем, что участвовал в выпуске TS 104 223 «Baseline Cyber Security Requirements». Сейчас у ETSI уже 10 разных документов на тему безопасности ИИ, и неудивительно, что многие из них устарели почти сразу после анонса в 2024 году.
Подробнее про отличия, практическую применимость отчётов и саму организацию ETSI читайте в новой статье на Хабре.
p.s. Тимур Низамов из Security Lab, спасибо за помощь в редактуре.
Подробнее про отличия, практическую применимость отчётов и саму организацию ETSI читайте в новой статье на Хабре.
p.s. Тимур Низамов из Security Lab, спасибо за помощь в редактуре.
Хабр
AI Security с французским привкусом или разбор Securing Artificial Intelligence от ETSI. Часть 1
Технологии искусственного интеллекта стремительно развиваются, но вместе с возможностями появляются и риски. Промпт‑инъекции, злоупотребление инструментами агентов, уязвимости...
🔥2❤1👍1
В ближайшие дни участники нашей лаборатории поделятся своим опытом атак на LLM, примерами небезопасных агентов и способами защиты генеративного ИИ на топовых конференциях 💥
Forwarded from Raft
Анонсируем ближайшие выступления наших коллег 👍
📍21 июня, Екатеринбург. Датазавтрак UDV Group x ML EKB
Доклад Тимура Низамова и Богдана Минко
⚫️ «Худшая база данных, которая стала незаменимой»: безопасность LLM в эпоху агентов»
📍21 июня, Казань. Конференция Татар Сан
Доклад Андрея Носова
⚫️ «Собираем по кубикам: как PM сам прототип делал»
📍23 июня, Санкт-Петербург. Saint HighLoad++
Доклад Андрея Носова
⚫️ «Архитектура высоконагруженных RAG-систем: 10 стратегий оптимизации чанкинга и интеграция с Weaviate, Qwen / Llama / Gemma»
Доклад Никиты Беляевского
⚫️ «Обход защиты LLM при помощи состязательных суффиксов и AutoDAN»
📍25 июня, Москва. GigaConf 2025
Доклад Никиты Грибанова
⚫️ «AI-ассистент как панацея от канцелярских вопросов»
📍27 июня, Санкт-Петербург. Conversations AI
Доклад Тимура Низамова и Дмитрия Чечёткина (Just AI)
⚫️ «Говори как хакер — приемы взлома ИИ агентов»
Дискуссия с участием Евгения Кокуйкина
⚫️ «RnD на стероидах: автономные агенты с суперпамятью, вызовы vibe coding и новая эра кибербезопасности»
До встречи на конференциях!
📍21 июня, Екатеринбург. Датазавтрак UDV Group x ML EKB
Доклад Тимура Низамова и Богдана Минко
📍21 июня, Казань. Конференция Татар Сан
Доклад Андрея Носова
📍23 июня, Санкт-Петербург. Saint HighLoad++
Доклад Андрея Носова
Доклад Никиты Беляевского
📍25 июня, Москва. GigaConf 2025
Доклад Никиты Грибанова
📍27 июня, Санкт-Петербург. Conversations AI
Доклад Тимура Низамова и Дмитрия Чечёткина (Just AI)
Дискуссия с участием Евгения Кокуйкина
До встречи на конференциях!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5❤2
Forwarded from Евгений Кокуйкин - Raft
Вторая часть статьи про ETSI SAI готова: https://habr.com/ru/companies/raft/articles/919026/. Свежие документы не такие пресные, как первые публикации 2022–2024 годов. Обратите внимание на:
• TS 104 223 «Baseline Cyber Security Requirements»
• TR 104 128 «Guide to Cyber Security for AI Systems»
Здесь актуальные рекомендации и, что немаловажно, примеры применения этих рекомендаций в практических сценариях.
• TS 104 223 «Baseline Cyber Security Requirements»
• TR 104 128 «Guide to Cyber Security for AI Systems»
Здесь актуальные рекомендации и, что немаловажно, примеры применения этих рекомендаций в практических сценариях.
Хабр
AI Security с французским привкусом или разбор Securing Artificial Intelligence от ETSI. Часть 2
В прошлой части мы рассмотрели документы: TR 104 066 «Security Testing of AI», TR 104 222 «Mitigation Strategy Report», TR 104 221 «Problem Statement», TR 104 048 «Data Supply Chain Security», TS...
👍3🔥3
Каждый день выходят новые гайды о защите и тестировании ИИ-агентов, однако конкретные примеры небезопасных агентов приводятся крайне редко
Мы с Just AI решили это исправить и запустили открытый русскоязычный репозиторий уязвимых ИИ-агентов: https://github.com/LLAMATOR-Core/ai-agents-security
О том, как мы собираем разнообразные интерактивные примеры уязвимых и вредоносных агентных систем под управлением ИИ, рассказали неделю назад на конференции Conversations. Делимся записью и приглашаем контрибьютить новые кейсы
➡️ RuTube
➡️ Telegram👇
Мы с Just AI решили это исправить и запустили открытый русскоязычный репозиторий уязвимых ИИ-агентов: https://github.com/LLAMATOR-Core/ai-agents-security
О том, как мы собираем разнообразные интерактивные примеры уязвимых и вредоносных агентных систем под управлением ИИ, рассказали неделю назад на конференции Conversations. Делимся записью и приглашаем контрибьютить новые кейсы
Media is too big
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7👍4❤1
Forwarded from Al Talent Hub
В рамках DemoDay прошла секция Дня открытых дверей, где:
#AITalentHub #ITMO #NapoleonIT
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3
Forwarded from Евгений Кокуйкин - Raft
Делюсь заметками с Conversations 2025. Конференция получилась энергичной. Спикеры из разных компаний активно делились кейсами внедрения AI: где-то уже посчитан бизнес-эффект и технология себя показала, в других случаях результат пока больше маркетинговый. Тем не менее динамика есть, и это радует. Было много прикладных докладов про RAG, модели и инструменты GenAI.
Питчил HiveTrace на стартап-треке и мы выиграли грант от i•legal 🎉. Идея со стартап-треком отличная: многие фонды приехали именно ради него, по их количеству площадка не уступала казанскому РВФ.
Поучаствовал в панельной дискуссии о динамике GenAI, кодовых ассистентах и локальных моделях, а в кулуарах обменялись с коллегами идеями по работе с этикой моделей.
Тимур Низамов и Дмитрий Чечёткин показали практические приёмы взлома ИИ-агентов.
На вечерних Awards проекты Raft вышли в финал, а магистерская программа Talent Hub ИТМО выиграла награду.
Команда Conversations и Just AI, спасибо за тёплый приём! 🔥
Питчил HiveTrace на стартап-треке и мы выиграли грант от i•legal 🎉. Идея со стартап-треком отличная: многие фонды приехали именно ради него, по их количеству площадка не уступала казанскому РВФ.
Поучаствовал в панельной дискуссии о динамике GenAI, кодовых ассистентах и локальных моделях, а в кулуарах обменялись с коллегами идеями по работе с этикой моделей.
Тимур Низамов и Дмитрий Чечёткин показали практические приёмы взлома ИИ-агентов.
На вечерних Awards проекты Raft вышли в финал, а магистерская программа Talent Hub ИТМО выиграла награду.
Команда Conversations и Just AI, спасибо за тёплый приём! 🔥
🔥11👍1👏1
Forwarded from Битубитех от Яндекса
Дважды в месяц мы рассказываем о стартапах из России и за её пределами, за которыми интересно наблюдать с точки зрения технологий, продукта или бизнес-модели. Сегодня речь пойдёт о HiveTrace. Это LLM Monitoring для GenAI-приложений.
Подписывайтесь 👉 @yab2btech
Подписывайтесь 👉 @yab2btech
🔥8👏4❤2
Forwarded from Ира в режиме RnD
Media is too big
VIEW IN TELEGRAM
За эти 40 минут вы узнаете:
Ответы на эти и другие вопросы — в видео!
Ссылки от Никиты:
Приятного просмотра!
#Shortcut_Science #AI_agents #AI_Security
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍3🤓1
Forwarded from Raft
Запись доклада уже на YouTube!
Доклад Никиты Беляевского - AI Security инженера в Raft на Saint Highload++ 2025 попал в топ-15 лучших, заняв второе место в рейтинге с оценкой 4,88 из 5⌨️
📌 Из доклада вы узнаете:
🟦 что такое состязательные суффиксы, почему любая LLM им подвержена, как самостоятельно создать такой суффикс
🟦 результаты исследования о переносимости суффиксов между различными моделями и получите советы по тестированию ИИ-приложений на основе LLM
🚀 Высокая оценка содержания доклада и его подачи от участников конференции - еще одно подтверждение, что мы идём в правильном направлении. Делаем то, что любим. И делаем это круто!
⛓️💥 Смотри запись здесь
Доклад Никиты Беляевского - AI Security инженера в Raft на Saint Highload++ 2025 попал в топ-15 лучших, заняв второе место в рейтинге с оценкой 4,88 из 5
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6🔥4👍2
Соскучились по нашим подкастам? Самое время вновь встретиться и обсудить проблемы безопасности ИИ 💥
На этот раз мы поговорим об Интерпретируемости моделей ИИ: как, зачем и насколько это реально?
Обсудим вызовы объяснимости моделей ИИ, рассмотрим актуальные исследования в области интерпретируемости классических моделей и LLM от ведущих команд и вендоров.
Когда: 27 июля, 11:00 (МСК)
Платформа: Zoom, регистрация
Приглашённые гости:
➡️ Максим Костриця – DS Reseacher в Raft, магистр ФКН ВШЭ
➡️ Сабрина Садиех – исследователь XAI, выпускница ПетрГУ
Модератор: Тимур Низамов, разработчик LLAMATOR, студент AI Talent Hub
На этот раз мы поговорим об Интерпретируемости моделей ИИ: как, зачем и насколько это реально?
Обсудим вызовы объяснимости моделей ИИ, рассмотрим актуальные исследования в области интерпретируемости классических моделей и LLM от ведущих команд и вендоров.
Когда: 27 июля, 11:00 (МСК)
Платформа: Zoom, регистрация
Приглашённые гости:
Модератор: Тимур Низамов, разработчик LLAMATOR, студент AI Talent Hub
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4🤯4👍2
Forwarded from Al Talent Hub
ИИ-агенты вошли в топ‑5 на CTF, они решают задачи по безопасности быстрее и точнее, чем большинство участников…но не ты — с этой подборкой ⬇️
📌 Ассистенты и фреймворки для автоматического тестирования и поиска уязвимостей и багов
🔥 Агенты
✔️ Diffblue — генерация юнит–тестов для кода на Java.
✔️ Qod — два агента: один пишет, другой тестирует.
✔️ CodeQL — мощный семантический анализатор уязвимостей от GitHub, open-source.
✔️ Semgrep — кастомный поиск уязвимостей и багов.
✔️ Snyk — ассистент безопасной разработки.
✔️ TestSpark — плагин в IntelliJ: LLM-тесты, EvoSuite и Kex.
✔️ Codiga — code review и безопасность на всех языках.
✔️ Sourcegraph — поддерживает разные LLM и интеграции.
✔️ VulnBuster — агент-помощник от магистрантов AI Talent Hub. Использует 5 MCP-тулзов и выдает отчёт с предложениями по улучшению.
📌 Фреймворки
✔️ MLGym — открытый фреймворк и бенчмарк для агентов в автоматизации ML-задач
✔️ Voice Lab — тестирование голосовых агентов
✔️ AgentOps — мониторинг и бенчмаркинг производительности
✔️ AgentBench — набор тестов для оценки LLM-агентов в окружениях
✔️ LLAMATOR — фреймворк тестирования безопасности LLM-приложений. Продукт AI Security Lab ◾️
➡️ Хочешь находить и анализировать уязвимости с помощью ИИ?
Присоединяйся к AI Security Lab — исследовательской лаборатории AI Talent Hub х Raft. Здесь мы создаём собственные инструменты, участвуем в CTF и прокачиваемся в кибербезе на практике.
🐱 — если узнал рокеров на картинке
#ПолезнаяПодборка
#AITalentHub #ITMO #NapoleonIT
Присоединяйся к AI Security Lab — исследовательской лаборатории AI Talent Hub х Raft. Здесь мы создаём собственные инструменты, участвуем в CTF и прокачиваемся в кибербезе на практике.
#ПолезнаяПодборка
#AITalentHub #ITMO #NapoleonIT
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6❤4
AI Security Lab
Соскучились по нашим подкастам? Самое время вновь встретиться и обсудить проблемы безопасности ИИ 💥 На этот раз мы поговорим об Интерпретируемости моделей ИИ: как, зачем и насколько это реально? Обсудим вызовы объяснимости моделей ИИ, рассмотрим актуальные…
Через 40 минут начинаем обсуждать методы интерпретируемости моделей ИИ, подключайтесь в Zoom 🔬
❤3
В третьем выпуске нашего подкаста мы поговорили об интерпретируемости моделей ИИ. Обсудили актуальные направления в области интерпретируемости классических моделей и LLM.
Приглашённые гости:
➡️ Максим Костриця – DS Researcher в Raft, магистр ФКН ВШЭ
➡️ Сабрина Садиех – исследователь XAI, выпускница ПетрГУ
Модератор: Тимур Низамов, разработчик @LLAMATOR, магистрант AI Talent Hub ИТМО
Предыдущие выпуски:
1️⃣ Как защитить LLM
2️⃣ Как протестировать безопасность AI-приложений?
Приглашённые гости:
Модератор: Тимур Низамов, разработчик @LLAMATOR, магистрант AI Talent Hub ИТМО
Предыдущие выпуски:
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Подкаст AI Security Lab | Выпуск 3: Интерпретируемость моделей ИИ
В третьем выпуске подкаста AI Security Lab мы поговорили об интерпретируемости моделей ИИ: как, зачем и насколько это реально? Обсудили актуальные направления в области интерпретируемости классических моделей и LLM от ведущих исследовательских команд.
Приглашённые…
Приглашённые…
🤩6👍3❤2
Вчера OWASP представил руководство по защите агентных приложений. Работа над ним шла несколько месяцев, большую часть времени заняло рецензирование от специалистов из ведущих организаций: Microsoft, Oracle, NIST, Еврокомиссии, Robust Intelligence, Protect AI и других. Среди авторов – руководитель AI Security Lab и HiveTrace Евгений Кокуйкин.
Инженер нашей лаборатории Тимур Низамов рассказал на Хабре, чем с нами решили поделиться специалисты со всего мира и какие рекомендации они приводят по проектированию, разработке, тестированию и развёртыванию агентных систем.
Инженер нашей лаборатории Тимур Низамов рассказал на Хабре, чем с нами решили поделиться специалисты со всего мира и какие рекомендации они приводят по проектированию, разработке, тестированию и развёртыванию агентных систем.
Хабр
Как разрабатывать AI-агенты безопасными — свежие рекомендации OWASP
28 июля фонд OWASP выпустил руководство по защите агентных приложений . Работа над ним шла несколько месяцев, большую часть времени заняло рецензирование от специалистов из ведущих организаций:...
👍10❤3✍2❤🔥1🔥1
CISO OpenAI заявил о прекращении "небольшого эксперимента, призванного помочь людям открывать полезные диалоги". Такова реакция на новость о том, что Google индексирует чаты, для которых пользователи ChatGPT создавали ссылку.
Наш инженер Никита Беляевский обнаружил в открытых диалогах персональные данные: имена, номера телефонов, адреса – и обсуждение чувствительных тем. Он также выяснил, что подобная уязвимость касается не только ChatGPT, но и Grok. Среди полумиллиона чатов, в которых пользователи запрашивали политические обзоры и мини-игры в стиле аниме, обнаружились переписки с API-ключами.
Напоминаем: будьте внимательны при работе с AI-моделями! Минимизируйте количество чувствительных данных, которыми вы делитесь в чатах. Всегда проверяйте настройки приватности перед тем, как создать ссылку, и будьте готовы к тому, что о ваших частных переписках с ИИ-моделью может узнать весь интернет.
Наш инженер Никита Беляевский обнаружил в открытых диалогах персональные данные: имена, номера телефонов, адреса – и обсуждение чувствительных тем. Он также выяснил, что подобная уязвимость касается не только ChatGPT, но и Grok. Среди полумиллиона чатов, в которых пользователи запрашивали политические обзоры и мини-игры в стиле аниме, обнаружились переписки с API-ключами.
Напоминаем: будьте внимательны при работе с AI-моделями! Минимизируйте количество чувствительных данных, которыми вы делитесь в чатах. Всегда проверяйте настройки приватности перед тем, как создать ссылку, и будьте готовы к тому, что о ваших частных переписках с ИИ-моделью может узнать весь интернет.
🗿5👍2