Делюсь крутым репозиторием (ну я так думаю 😂) :

🔥🔥🔥"Threat-Actors-use-of-Artifical-Intelligence"🔥🔥🔥

Автор данного репозитория хотел организовать в этом репозитории известные и успешные случаи, когда злоумышленниками был применён ИИ для атаки. Речь не идёт о дипфейках. Речь идёт именно о том, когда сами модели были применены для разработки ВПО или же для получения данных. К каждому инциденту также указаны TTP, которые определяют характер действий злоумышленника. Преимущественно только TTP, которые связанны с ИИ.

➡️Это не репозиторий про атаки на модели и не репозиторий про различные дезинформационные атаки. Но для понимания того, как злоумышленники используют ИИ при атаках - это очень интересное чтиво.

Про AI safety: подоспел первый инструмент от государств для тестирования и оценки безопасности моделей.

В данном случае речь об AI safety institute в Великобритании, которые выпустили инструмент Inspect. Обыгрывается в названии традиционный инструмент Inspect HTML, встроенный в современные браузеры.

🔗Анонс: https://x.com/soundboy/status/1788910977003504010

🔗Опенсорсная платформа: https://ukgovernmentbeis.github.io/inspect_ai/

@ppprompt

⬜️ PHDays - мероприятие, которое совсем скоро заполнит стадион Лужники. В этом году было отобрано огромное количество докладов на совершенно разные темы - от offensive до безопасной разработки, от безопасности LLM до докладов для CISO.

Мы, как одно из множества подразделений в PT, во главе со Светой Газизовой, также представим несколько докладов:

➡️⚡️MLSecOps: как мы делаем тренды?⚡️

В этом докладе Александр Кузьмин и Светлана Газизова рассмотрят - какие важные задачи существуют при защите ML-пайплайна. Частично погрузимся в угрозы а также расскажем вам о том, как и какие практики вы можете внедрить для защиты своего ML-пайплайна. 🔥🔥🔥🔥🔥🔥🔥🔥🔥

ℹ️Фобос, 11:00–12:00, 24 мая


➡️⚡️Сколько стоит безопасная разработка. Подход к расчету экономической эффективности AppSec⚡️

В этом докладе Мария Шеховцова расскажет о том, как можно посчитать - насколько эффективно внедрять различные методы защиты.🔥🔥🔥🔥🔥🔥🔥🔥🔥

ℹ️Метеор, 11:00–11:45, 23 мая


➡️⚡️Кому продавать AppSec. Как безопасность стала союзником финансового и операционного департамента⚡️

Тут Светлана Газизова поведает нам о том, кто все эти люди - которым интересно внедрить "безопасную разработку" и как с ними выстроить эффективный процесс взаимодействия.🔥🔥🔥🔥🔥🔥🔥🔥🔥

ℹ️Галактика, 19:15–20:00, 24 мая

Считаю также стоит сказать, о том что на PHDays будут доклады по тематике применения и безопасности машинного обучения. Для тех кто заинтересован в этом больше всего - я собрал несколько крутых докладов по этой теме, которые обязательно стоит посмотреть и посетить.

➡️ ⚡️Нужны ли будут программисты через 5 лет ?⚡️

В этом докладе Александра Мурзина даст ответ на интересный вопрос "Будут ли люди писать код через пять лет и что тогда будет с информационной безопасностью?". В ходе доклада будут рассмотрена история развития ИИ-помощников и рассказано про развитие no-code решений.

ℹ️Метеор, 11:00–12:00, 26 мая.


➡️⚡️Разрушители легенд: три эксперимента в биометрии⚡️

В ходе доклада Наталья Бессонова разберет несколько популярных утверждений об атаках на биометрические системы и проведет эксперимент, чтобы проверить, насколько они соответствуют реальности.

ℹ️Орион, 13:15–14:00, 23 мая.


➡️⚡️Применение LLM в информационной безопасности: путь к AI-ассистенту⚡️

Докладчики расскажут о том, как их наработки по применению LLM помогли им в улучшении защиты и обнаружении угроз.

ℹ️Орион, 14:00–14:45, 23 мая.


➡️⚡️Уменьшение нагрузки на аналитика SOC⚡️

В этом докладе Николай Прудковский расскажет о разработке и внедрении решения, которое помогает оптимизировать работу аналитиков и снизить alert fatigue, а также о проблемах и подводных камнях при внедрении данного решения.

ℹ️Орион, 15:30–16:15, 23 мая.


➡️⚡️Безопасность распознавания речи⚡️

В этом докладе авторы расскажут нам о рисках связанных с технологией распознавания речи, как злоумышленники могут воспользоваться этими рисками и как от них защитится ?

ℹ️Орион, 17:45–18:30, 23 мая.


➡️⚡️Атаки на чат-ботов: indirect prompt injection в реальном приложении⚡️

В ходе доклада Владислав Тушканов рассмотрит каким образом устроены современные чат-боты и и продемонстрированы его уязвимости к двум атакам, которые могут приводить к отказу в обслуживании из-за неверной обработки сторонних данных.

ℹ️Орион, 18:30–19:15, 23 мая.


Это далеко не все доклады на конференции. Я настоятельно рекомендую ознакомится с опубликованным расписанием и также выбрать из него что-то для себя.

➡️Расписание докладов.

Лично меня вы без проблем сможете обнаружить во все дни конференции на самой площадке, в Лужниках. В эти дни я буду писать сюда помимо основных постов - посты с PHDays.

Приглашаем на AI CTF 2024 🤖

Мир заговорил про AI в конце 2022 года, а на PHDays ещё с 2019 проводится соревнование по безопасности machine learning — AI CTF. В этот раз и мы к нему причастны :)

24 мая 12:00 — 25 мая 23:59 мск
🌐 Jeopardy, индивидуальное участие из любой точки мира
🎁 Топ-3 по очереди забирают себе один из призов:
🔹 Ray-Ban Meta — умные очки в классическом стиле Ray-Ban
🔹 Playdate — портативная игровая консоль в ретро-стиле с чёрно-белым экраном и ручкой-вертушкой
🔹 Quest 3 — просто хорошая Мixed Reality гарнитура

Если будете на PHDays, отметьте при регистрации — трём лучшим участникам c площадки вручим памятные сувениры.

В заданиях будут ML-ные ситуации, в которых нужно что-то хакнуть. Друзей из Data Science, которые интересуются безопасностью систем ИИ, тоже зовите.

👍 Зарегистрироваться → aictf.phdays.fun/
⬜️ Стартуем в пятницу. Устройте себе 36-часовой челлендж!

Какие задания были в прошлые годы: 2019, 2021, 2022

AI Security Framework от Snowflake
#иб_для_ml

Ссылка на статью по системе

О чем документ
Об угрозах, которые существуют для систем с ИИ. Каждая угроза из перечисляемых в отчете имеет свою категорию или ассоциированный актив, область риска (по сути информация или ее свойство, подвергаемые риску) и причины возникновения. Помимо этого, к каждой угрозе они приводят возможный ущерб и примеры, а также дают рекомендации по снижению таких рисков.
Приведены такие угрозы, как, Утечка тренировочных данных (Training Data Leakage), Конфиденциальность данных (Privacy, имеется в виду угроза inference-атаки доступа к обучающим данным через модель), Неточность модели (Bias, то есть способность ошибаться в критичных ситуациях), и еще 16 других.

Даже такое есть
Sponge samples
Угроза возникновения атаки, заключающейся в попадании в модель таких входных данных, что значительно увеличат ее потребление энергии и время на вычисление ответа.
Последствия - значительное падение качества всех ответов мл-сервиса, производительности вплоть до отказа в обслуживании, а также возможность комбинировать эту технику с другими атаками для усиления их эффекта (например, с evasion-атакой)
Пример атаки - чатбот (прим. авт.: например ассистент в банковском приложении) на основе языковой модели, в которого злоумышленник может закинуть что-то очень большое или сложное.
Меры защиты - валидация инпута, троттлинг аппаратуры мл-сервиса, обучение модели на "плохих" примерах.

Плюсы и минусы
➕Формализация угроз, полнота их описаний, наличие примеров и мер предотвращения
➕Легкий "порог вхождения" за счет простой организации документа
➕Наличие ссылок на научные статьи и некоторые кейсы атак на ПО, LLM-модели и данные
➖Все еще отсутствие ссылок на реальные кейсы атак на машинное обучение
➖Ориентировка на конкретные угрозы подвержена устареванию
➖Нет представления способа использования конкретных инструментов хотя бы в рамках своего облака для реализации предлагаемых к каждому риску защитных мер (как в DASF, например)

Мое личное мнение - полезный фреймворк.

⚡️ Machine Learning Attack Series: Backdooring Keras Models and How to Detect It ⚡️

Если вам интересно на практике попробовать реализовать Backdoor ML модели при помощи недостатка в Keras layers то недавно wunderwuzzi выпустил статью-гайд и приложил туда исходники, с которыми вы можете поработать на практике. Он описал step-by-step гайд для настоящих джентльменов и дам.

➡️Помимо этого, он показал как при помощи modelscan обнаружить такую проблему и оставил прикольные референсы по этой теме.

UPD: А ещё сегодня он выпустил гайд в формате видео

▶️ youtube