AI SecOps
1.15K subscribers
71 photos
1 video
37 files
99 links
AI security operations. Материалы, ссылки, мероприятия
Download Telegram
🔸ГОСТ Р 71752-2024 Искусственный интеллект. Техническое задание. Требования к содержанию

Дата введения в действие: 01.01.2025.

🔸ПНСТ 943-2024 Искусственный интеллект. Структура архитектуры систем машинного обучения в будущих сетях, включая IMT-2020

Срок действия: с 01.01.2025 до 01.01.2028.
dipfejki-riski-i-vozmozhnosti-dlya-biznesa1.pdf
2.7 MB
Исследовании "Дипфейки: риски и возможности для бизнеса"
Forwarded from PWN AI (Artyom Semenov)
Спустя несколько месяцев этот документ получил версию 1.1.

И что в ней интересного ?

Во первых это модель угроз для приложения - все угрозы OWASP наложены на архитектуру приложения. Есть всё же же этапы, однако к ним добавились более осмысленные и точные практики для SecOps части. Решений стало невероятно много и к каждому этапу было предложено несколько решений, как для защиты от атак, защиты данных, так и платформы для тестирования и валидации модельки на этапе релиза (Генерация ML BOM) и файрволлы.

https://genai.owasp.org/resource/llm-and-generative-ai-security-solutions-landscape/
👍1
Forwarded from PWN AI (Artyom Semenov)
Databricks, выпустившие один из крутых фреймворков по MlSecOps релизнули вторую версию - DASF v2.0

Они добавили побольше инструментов в свой фреймворк, переработали его с точки зрения соответствия нормативным стандартам типа GDRP и CCPA. А также что ? Они добавили побольше компонентов, на которых они обрисовали риски и новые меры по защите. Определили 62 технических риска безопасности и сопоставили их с 64 рекомендуемыми элементами для управления рисками моделей ИИ.

Они также расширили сопоставления с ведущими отраслевыми фреймворками и стандартами рисков ИИ, включая MITRE ATLAS , OWASP LLM & ML Top 10, NIST 800-53 , NIST CSF , HITRUST , ENISA's Securing ML Algorithms , ISO 42001 , ISO 27001:2022. И доработали рекомендации для облаков.


Помимо этого они сделали AI-ассистента к своему фреймворку.
Сделали версию фреймворка в xlsx.
Сделали курс на 1 час(AI Security Fundamentals). Бесплатный. А также обучающие ролики по DASF.

а pdf-версия фреймворка ниже
1👍1
Forwarded from PWN AI (Artyom Semenov)
databricks-ebook-dasf-2.pdf
4.1 MB
1
Гомоморфное шифрование и ИИ. Интересный пример https://huggingface.co/spaces/zama-fhe/encrypted-anonymization
👍1
Forwarded from white2hack 📚
KPIs for Cyber Security.pdf
28.2 MB
KPIs for Cyber Security: A Journey Through Numbers That Tell Stories! by Hadess, 2025
👍1
Forwarded from PWN AI (Artyom Semenov)
В последнее время я часто пишу тут про агенты. Надеюсь кто-то уже попробовал что-то использовать или возможно реализовать своего агента. Иногда для своего понимания я трачу время на то чтобы дать себе ответ на вопрос "а кто есть сейчас на рынке" и вот если мы берём решения для защиты LLM, то я уже писал о том что есть большой рынок.

Однако что с агентами ? Хоть их уже и много - но как таковой карты решений я не видел раньше пока не наткнулся на пост в блоге Брендона Диксона из Microsoft. В нём он не рассматривает решения для защиты и тестирования агентов... таких компаний мало... Но он приводит обратную сторону - применение агентов в ИБ. И у него получилась очень насыщенная карта(вы можете видеть её в картинке к посту).

Он делает огласку:

Большая часть моего понимания компаний получена из их маркетинговых материалов, ориентированных на внешний рынок.


Карта представляет из собой набор решений. Структурирована она следующим образом. У нас есть задачи: Пентест(решения помечаются красным цветом), Риски(оранжевым) и т.д(вверху справа все цвета. Есть разделение карты:

Если смотреть слева направо то можно увидеть какие решения являются не-автономными, а какие полностью(никаких) или частично автономные ... А если смотреть снизу вверх, то можно понять мол решение будет ориентироваться на работу исходя из задачи или исходя из домена. Как-то так.

В посте он приводит несколько лидеров, которые он для себя отметил(ссылки в посте у автора):

Dropzone.AI и CommandZero - решения для сортировки инцидентов.

Pixee AI и Github Copilot - решения для анализа кода.

Лучшие co-pilot по его мнению - Microsoft Security Copilot и Purple AI.

Для себя я ещё отметил из его карты крутые решения на рынке - напрмер Splx - это решение с агентами для RedTeaming тестирования LLM. Есть ещё shift - они позиционируют себя как "Cursor for hackers", дополнялка для Caido(веб-пентестерам знакомо), чтобы упростить в процессе тестирования генерацию пейлоадов и т.д
👍2
Материалы с конференции "Цифровая устойчивость промышленных систем" https://tsups.ib-bank.ru/materials
😁1
Американский NIST руководство по защите от атак на ИИ-системы, одновременно признав, что «атаки по количеству и мощности превосходят доступные методы их отражения»
🔥62