На PHDays и Датафесте нас часто спрашивали, какие средства защиты LLM-приложений наиболее эффективны, поэтому мы решили провести открытый подкаст

Как защитить LLM от пользователя и пользователя от LLM?

Ответят 1 июня 15:00 – 16:00 МСК (онлайн):
✔️ Данил Капустин – независимый эксперт в сфере безопасности ИИ
✔️ Арсений Пименов - Data Scientist в Raft
✔️ Анна Тищенко - архитектор системы мониторинга LLM-приложений HiveTrace

Обсудим современные зарубежные и российские решения по защите LLM приложений, посмотрим в живую их работу и ответитим на вопросы аудитории

Регистрация: https://aisecuritylab.timepad.ru/event/3387493/

Как отслеживать поведение мультиагентных систем? 🤖

Большинство задач лучше решается не одним ИИ-агентом, а системой из нескольких агентов, заточенных под свои конкретные подзадачи. Конечно же внутри этих систем есть уязвимости: от некорректной фильтрации данных до подверженности моделей промпт-инъекциям.

Участница нашей лаборатории Анна Тищенко рассказала в небольшом видео, как HiveTrace мониторит взаимодействие между агентами. Подробнее защиту ИИ-приложений обсудим на нашем открытом подкасте в воскресенье ⚡️

Стартуем через полчаса! Встречаем первый день лета и обсуждаем, как защищать приложения с LLM здесь: https://us06web.zoom.us/j/86727452325?pwd=EVaBwzagFyOOX8CnyJNFZ5O9zyCrd1.1

🔥 Встречаем первый день лета с атаками на мультимодальные модели, улучшениями датасетов и продвинутыми техниками джейлбрейкинга!

Вышел долгожданный релиз LLAMATOR 3.2.0 — открытого фреймворка для тестирования безопасности ИИ-приложений. Делимся обновлениями:
🚀 5 новых атак! Deceptive Delight, Dialogue Injection Continuation и набор для Vision Language Models: Lowres PDFs, M-Attack и Text Hallucination. Спасибо контрибьюторам с курса Безопасность ИИ в ИТМО ❤️
🛠 В многоступенчатой атаке PAIR (бывший Harmful Behavior Multistage) теперь используется модель-судья для оценки и корректировки стратегии атакующей LLM
🇷🇺 Добавили атакам параметр выбора языка атаки, дополнили датасет Harmbench переводом на русский
🌀 Улучшена интеграция с CI/CD

Ставьте ❤️, если ждали это обновление! Делитесь в комментариях, какие атаки протестируете первыми, и присоединяйтесь в чат ребят @llamator

Друзья! Мы рады поделиться видеозаписями прошедших мероприятий

Открытый подкаст AI Security Lab. Выпуск 1. Как защищать LLM-приложения?
Эксперты в сфере безопасности ИИ Данил Капустин, Арсений Пименов и Анна Тищенко в первом выпуске подкаста нашей лаборатории рассказали о разных методах защиты генеративных моделей, зарубежных решениях и российской платформе hivetrace.ru, поделились рекомендациями и материалами, которые вы можете найти в описании к видео

Al Security Toolkit: тестирование LLM-приложений
На Датафесте в Яндексе Богдан Минко рассказал о подходах к защите и тестированию LLM-приложений, поделился с какими проблемами он столкнулся и как удалось их решить

Как с помощью LLM выявлять реальные уязвимости LLM-приложений
На Positive Hack Days Тимур Низамов рассказал, как с помощью LLM-vs-LLM и LLM-as-a-Judge можно выявлять противоречия в ответах чат-бота и как ребята из команды @LLAMATOR собрали бенчмарк для выбора модели-судьи

Что это? Древняя библиотека или внутренности LLM? 🤔

Приходите завтра на CTO Conf в Москве и попытайтесь отгадать промпт по картинке и защитить пароль в системном промпте – эти и не только активности будут на стенде Raft и AI Security Lab.

Также в программе конференции доклад руководителя AI Security Lab Евгения Кокуйкина «Что нужно знать про безопасность LLM»

Будем рады встречи и новым знакомствам!

Встречаемся в Ярославле! 🔥

В последнее время анализируя множество исследований, статьей по теме - ощущаю нехватку того что меры которые предлагаются для защиты не содержат как правило проактивного характера.

У нас есть классический cyberkillchain. Mitre попытались отобразить его в своём фреймворке Atlas - несколько этапов от начального рекона до эксфильтрации и т.д. Это круто, но как мне кажется - знания о защите должны также быть, не хуже да и вообще быть изложены в структурированном виде. А то всё об угрозах да и об угрозах - а как защищать, когда атака уже идёт ? Говорить "не использовать MLFlow" или другое решение выглядит обсурдным.

Поэтому с начала марта я задумался о том как можно было бы представить anti cyberkillchain, да так чтобы он ещё укладывался в ландшафт ML.

я закомитил свои наработки по теме сюда

https://github.com/wearetyomsmnv/ML-Defense-Matrix

это матрица противодействия разным этапам, как мне самому кажется - это очень верхнеуровневый документ, его определённо надо дорабатывать с коллегами которые строят защиту - поэтому призываю вас принять участие, дать комменты(только обоснованные) - чтобы сделать проактивную защиту ML лучше. Не всегда можно покрыть риски только на этапе разработки. Это печалит.

О чём документ: В нём я изложил меры по защите(очень поверхностно, думаю буду прорабатывать их в соответствии с публикациям на arxiv) которые можно использовать на разных этапах - защита от разведки, защита от исполнения кода и тд. В перспективе добавить тему уже услышанную всеми - это агенты.

Инциденты уже шагают, угрозы уже изучены и задокументированы - но вот защита ... С этим всё слабо кмк. Прошу репост, тех кто заинтересован в развитии такой истории.