Требования_о_ЗИ_в_ГИС_и_иных_госИС_проект.pdf
419.8 KB
На сайте ФСТЭК появился проект Требований о защите информации, не составляющей государственную тайну, содержащейся в государственных информационных системах, иных информационных системах государственных органов, государственных унитарных предприятий, государственных учреждений.
В п.49 даже появился раздел по безопасность использования искусственного интеллекта.
В п.49 даже появился раздел по безопасность использования искусственного интеллекта.
👍3🔥1
Forwarded from Направление Петрова
This media is not supported in your browser
VIEW IN TELEGRAM
Она насчитывает более 700 пунктов. Для удобства изучения они сгруппировали их в 23 категории опасностей. Мы прикрепили видео с объяснением, как разобраться в этом море потенциальных угроз 😁
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Echelon Eyes
Число компаний из списка Fortune 500, отмечающих риски, связанные с ИИ, выросло на 473,5%
Согласно отчету исследовательской компании Arize AI, число компаний из списка Fortune 500, которые указали искусственный интеллект (ИИ) как риск, достигло 281, то есть больше половины. В прошлом году об угрозах со стороны ИИ заявили лишь 49 компаний, то есть рост составил 473,5%. Количество компаний, которые хоть как-то упомянули ИИ, подскочило на 152% до 323.
«Если ежегодные отчеты Fortune 500 что-то и проясняют, так это то, что влияние генеративного ИИ ощущается во многих отраслях — даже в тех, которые еще не приняли эту технологию», — говорится в отчете.
Исследователи Arize AI отмечают, что некоторые организации обеспокоены рисками больше других
В эпоху, когда ИИ уверенно проникает практически во все отрасли, организации анализируют связанные с технологией риски и возможности, однако некоторые компании обеспокоены больше других. Лидерами, высказывающими наибольшее число опасений, были медиа и индустрия развлечений: 91,7% компаний из списка Fortune 500 в этом секторе указали на риски ИИ, согласно Arise AI. Столь высокий показатель связан с тем, что деятели искусства и журналисты оказались больше других уязвимы перед ИИ, поскольку технология покушается на их интеллектуальную собственность.
Также ИИ-риски отмечают 86,4% компаний-разработчиков программного обеспечения и технологий, 70% телекоммуникационных компаний, 65,1% компаний здравоохранения, 62,7% финансовых компаний и 60% предприятий розничной торговли.
Меньше всего беспокоятся о возможном негативном влиянии ИИ автомобильные компании (18,8%).
Предупреждения также поступили от компаний, которые внедряют ИИ в свои продукты. Motorola заявила, что «ИИ не всегда может работать так, как задумано, а наборы данных могут быть недостаточными или содержать незаконную, предвзятую, вредную или оскорбительную информацию, что может негативно повлиять на наши результаты операций, деловую репутацию или принятие клиентами наших предложений ИИ».
ИИ также был отмечен как риск, когда речь идет о кибербезопасности и утечках данных.
Между тем, исследование, опубликованное в журнале Journal of Hospitality Market and Management в июне, показало, что потребители были менее заинтересованы в покупке товара, если на нем был указан термин «ИИ». Это говорит о том, что люди пока еще не убеждены в преимуществах ИИ и считают это лишней функцией.
Источник: https://fortune.com/2024/08/18/ai-risks-fortune-500-companies-generative-artificial-intelligence-annual-reports/
#ИИ
Согласно отчету исследовательской компании Arize AI, число компаний из списка Fortune 500, которые указали искусственный интеллект (ИИ) как риск, достигло 281, то есть больше половины. В прошлом году об угрозах со стороны ИИ заявили лишь 49 компаний, то есть рост составил 473,5%. Количество компаний, которые хоть как-то упомянули ИИ, подскочило на 152% до 323.
«Если ежегодные отчеты Fortune 500 что-то и проясняют, так это то, что влияние генеративного ИИ ощущается во многих отраслях — даже в тех, которые еще не приняли эту технологию», — говорится в отчете.
Исследователи Arize AI отмечают, что некоторые организации обеспокоены рисками больше других
В эпоху, когда ИИ уверенно проникает практически во все отрасли, организации анализируют связанные с технологией риски и возможности, однако некоторые компании обеспокоены больше других. Лидерами, высказывающими наибольшее число опасений, были медиа и индустрия развлечений: 91,7% компаний из списка Fortune 500 в этом секторе указали на риски ИИ, согласно Arise AI. Столь высокий показатель связан с тем, что деятели искусства и журналисты оказались больше других уязвимы перед ИИ, поскольку технология покушается на их интеллектуальную собственность.
Также ИИ-риски отмечают 86,4% компаний-разработчиков программного обеспечения и технологий, 70% телекоммуникационных компаний, 65,1% компаний здравоохранения, 62,7% финансовых компаний и 60% предприятий розничной торговли.
Меньше всего беспокоятся о возможном негативном влиянии ИИ автомобильные компании (18,8%).
Предупреждения также поступили от компаний, которые внедряют ИИ в свои продукты. Motorola заявила, что «ИИ не всегда может работать так, как задумано, а наборы данных могут быть недостаточными или содержать незаконную, предвзятую, вредную или оскорбительную информацию, что может негативно повлиять на наши результаты операций, деловую репутацию или принятие клиентами наших предложений ИИ».
ИИ также был отмечен как риск, когда речь идет о кибербезопасности и утечках данных.
Между тем, исследование, опубликованное в журнале Journal of Hospitality Market and Management в июне, показало, что потребители были менее заинтересованы в покупке товара, если на нем был указан термин «ИИ». Это говорит о том, что люди пока еще не убеждены в преимуществах ИИ и считают это лишней функцией.
Источник: https://fortune.com/2024/08/18/ai-risks-fortune-500-companies-generative-artificial-intelligence-annual-reports/
#ИИ
🔥2
OWASP_Large_Language_Model_Security_Verification_Standard_0_1_en.pdf
175.3 KB
Упустил этот фреймворк https://owasp.org/www-project-llm-verification-standard/ . Спасибо #cyberorda за наводку.
Forwarded from Борис_ь с ml
ФСТЭК про безопасность ИИ
#иб_для_ml
8 августа этого года ФСТЭК опубликовал проект приказа о безопасности ГИС, вместо 17-го от 2013 года.
Изменения обширные, и охватывают весь документ - изменились существующие пункты и добавилось 24 новых. Но нас интересует пункт 49, посвященный безопасности использования искусственного интеллекта.
В чем суть?
И далее описывается, каким требованиям должны соответствовать меры защиты ИИ в ГИС.
1️⃣ Оператор обязан исключить НСД к параметрам используемых моделей и их обучающей выборке
2️⃣ Занятный подпункт - ИИ не должен влиять на параметры ИИ. То есть запрещен AutoML?.. И еще тут же - запрещен сильный ИИ о_О
3️⃣ Нужно исключать передачу конфиденциальной информации разработчикам ИИ
4️⃣ Подробно прописана безопасность взаимодействия пользователя (П) с ИИ. Во-первых, запросы П и ответы ИИ должны соответствовать определенным шаблонам и это должно контролироваться. Во-вторых, нужно детектить, логировать и анализировать недостоверные ответы ИИ, а также реагировать на них и не допускать принятия решений на их основе
5️⃣ При выявлении model extraction или model inversion, надо реагировать. Это отличный пункт, читайте про действия (далее цитата): "большое количество запросов в единицу времени, разнородные запросы в одном пользовательском сеансе, повторяющиеся запросы с одним меняющимся параметром, ..." И меры прописаны понятные: "...меры защиты, направленные на замедление работы системы ИИ, блокирование сеанса или учетной записи пользователя"
6️⃣ Специалисты должны мониторить сведения об уязвимостях технологий ИИ, и в случае обнаружения обязаны устранять эти уязвимости. Даешь профстандарт по направлению mlsec!..:)
7️⃣ В awarness-меры надо включить и безопасность ИИ
8️⃣ Регламентируется разметка данных для ИИ. 1 - надо разработать модель угроз, учитывающей (загибайте пальцы) особенности функционирования ИИ, архитектуру вычислительной системы, угрозы применения опенсорса, а также обработку данных (и поиск решений, но я это не понял). Великолепно, под термин разметки можно многое приплести, особенно в госструктурах, где данные все себе сами готовить будут, и размечать тоже, соответственно. 2 - нужно постоянно поддерживать в актуальном состоянии, и при этом доступ к ним контролировать. 3 - необходим контроль за процессом изменения гиперпараметров модели, работники должны обладать соответствующими полномочиями, и при этом не забывать менять документацию на систему. 4 - общение с внешними сервисами допустимо только в особых случаях, и только если они на территории РФ (читай недопустимо) ).
Мое мнение
🔵 Документ продуманный, рад его появлению. Он ведь обозначает актуализацию mlsec-профессии и появления для нас новой работы)
🟢 Есть и вопросы. Например, что такое параметры модели - это только гиперпараметры, или еще веса? В приказе идет ссылка на пункт 5 подпункта "т" 490-го Указа, где говорится, что это такие числовые значения, определяющие работу ИИ вплоть до прогнозирования результатов, то есть вроде похоже и на веса. Но хотелось бы поподробнее. Хотя в 49.8.в явно указано "гиперпараметры", что дает понять, что авторы различают параметры и гиперпараметры модели.
🟡 Еще вопросы: что такое процессы и сервисы обработки данных? А что более интересно - что такое процессы и сервисы поиска решений?
🔵 Что не так с AGI? Согласно подпункту "х" того же Указа - это ИИ, самостоятельно адаптирующийся к меняющимся условиям. По какой логике он оказался запрещен?..
🟣 Что такое описание моделей (из 49.8.б)? Это просто названия, данные каким-то дата саентистом, или их надо как-то конкретно составлять? Расписывать архитектуру? Вплоть до слоев и функций активации, или как-то проще? Значит ли это вообще требование использовать версионирование моделей через условный MLFlow? А какой системой тогда пользоваться, ИСП РАН пока вроде не релизил ничего такого...
🟢 Как должна выглядеть модель угроз ИИ из пункта 49.8.а?..
📎 Отдельно текст 49 пункта я оставил вот по этой ссылке.
Источник
#иб_для_ml
8 августа этого года ФСТЭК опубликовал проект приказа о безопасности ГИС, вместо 17-го от 2013 года.
Изменения обширные, и охватывают весь документ - изменились существующие пункты и добавилось 24 новых. Но нас интересует пункт 49, посвященный безопасности использования искусственного интеллекта.
В чем суть?
Оператор обеспечивает защиту информации, содержащейся в его информационных системах, при использовании ИИ.
И далее описывается, каким требованиям должны соответствовать меры защиты ИИ в ГИС.
Мое мнение
Источник
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from Echelon Eyes
Создана первая карта ландшафта атак на ИИ
Исследователь Дэниел Месслер попытался создать визуальную карту атак на искусственный интеллект (ИИ). С помощью предложенного им фреймворка специалистам будет легче разобраться, как происходят атаки на ИИ-системы.
Месслер пояснил, что писал свою статью в то время, когда только появился GPT-4. На тот момент уже имелось большое количество информации об атаках на реализации машинного обучения, но не на полные системы, созданные с использованием ИИ как части нескольких компонентов.
«Во многом это связано с тем, что такие интеграционные технологии, как Langchain, стали популярными только за последние 2 месяца. Поэтому людям потребуется время, чтобы создавать продукты и услуги с использованием этого инструментария», - поясняет исследователь.
Естественный язык — основа для атаки на системы ИИ, что порождает совершенно новый вид уязвимостей. Автор выделяет два метода, которыми могут действовать злоумышленники, - внедрение подсказок и атаки на обучение. С помощью этих методов можно реализовать атаки на модели, агенты, инструменты и обучающие данные.
В статье подчеркивается, что при изучении атак на ИИ важно думать не только о больших языковых моделях, но обо всей ИИ-экосистеме, которая состоит из множества компонентов.
«Нам особенно нужно думать о том, где системы ИИ пересекаются с нашими стандартными бизнес-системами, например, на уровнях агентов и инструментов, поскольку это системы, которые могут выполнять действия в реальном мире», - подытоживает Месслер.
Источник: https://danielmiessler.com/p/the-ai-attack-surface-map-v1-0/
#ИИ #кибератаки
Исследователь Дэниел Месслер попытался создать визуальную карту атак на искусственный интеллект (ИИ). С помощью предложенного им фреймворка специалистам будет легче разобраться, как происходят атаки на ИИ-системы.
Месслер пояснил, что писал свою статью в то время, когда только появился GPT-4. На тот момент уже имелось большое количество информации об атаках на реализации машинного обучения, но не на полные системы, созданные с использованием ИИ как части нескольких компонентов.
«Во многом это связано с тем, что такие интеграционные технологии, как Langchain, стали популярными только за последние 2 месяца. Поэтому людям потребуется время, чтобы создавать продукты и услуги с использованием этого инструментария», - поясняет исследователь.
Естественный язык — основа для атаки на системы ИИ, что порождает совершенно новый вид уязвимостей. Автор выделяет два метода, которыми могут действовать злоумышленники, - внедрение подсказок и атаки на обучение. С помощью этих методов можно реализовать атаки на модели, агенты, инструменты и обучающие данные.
В статье подчеркивается, что при изучении атак на ИИ важно думать не только о больших языковых моделях, но обо всей ИИ-экосистеме, которая состоит из множества компонентов.
«Нам особенно нужно думать о том, где системы ИИ пересекаются с нашими стандартными бизнес-системами, например, на уровнях агентов и инструментов, поскольку это системы, которые могут выполнять действия в реальном мире», - подытоживает Месслер.
Источник: https://danielmiessler.com/p/the-ai-attack-surface-map-v1-0/
#ИИ #кибератаки
Forwarded from PWN AI (Artyom Semenov)
https://ttps.ai
Интересная матрица атак и ttp для Gen AI
Каждая атака описана и приведены ресёрчи по технике.
Интересная матрица атак и ttp для Gen AI
Каждая атака описана и приведены ресёрчи по технике.
Безопасность в машинном обучении: от проектирования до внедрения (от Солар) https://habr.com/ru/companies/solarsecurity/articles/848834/
Хабр
Безопасность в машинном обучении: от проектирования до внедрения
Полина Сокол, старший аналитик данных R&D-лаборатории Центра технологий кибербезопасности ГК «Солар» , подготовила материал о методах работы с данными и ML-моделями. Это направление исследований...
👍1
Forwarded from llm security и каланы
Google's Secure AI Framework: A practitioner’s guide to navigating AI security
Google, 2023
Веб-сайт
Сегодня хотелось бы вернуться к ИБ и посмотреть на один из фреймворков с рекомендациями по обеспечению кибербезопасности ИИ-систем, а именно Google’s Secure AI Framework (SAIF). SAIF достаточно сильно отличается от часто упоминаемых MITRE ATLAS и OWASP Top 10 for LLMs. OWASP Top 10 for LLMs перечисляет конкретные наиболее критичные уязвимости (вы не поверите, 10 штук), от LLM01 Prompt Injection до LLM10 Model Theft, в подробностях рассказывая, откуда эти уязвимости берутся, как они могут быть проэксплуатированы, а также приводят ссылки на дополнительные ресурсы и иногда конкретные примеры. MITRE ATLAS сделан для тех, кто мыслит в терминах MITRE ATT&CK, и крутится вокруг тактик (цель атакующего от начальных до завершающих стадий атаки, например, «разведка» или «боковое перемещение»), по сути добавляя в них ML-специфичные техники и две тактики (доступ к модели и подготовка атаки на ML-модель). При этом техники ATLAS могут совпадать с «уязвимостями» OWASP Top-10 (например, кража модели). Для разных техник существуют митигации, которые должны снизить вероятность их реализации.
SAIF, как фреймворк от компании-разработчика ИИ-систем, рассматривает безопасность с точки зрения процесса разработки (explore AI development through a security lens) и того, где и на каком этапе могут возникнуть разнообразные риски. Фреймворк состоит из трех основных понятий: компоненты, риски и средства управления рисками, которые объединены в единую карту.
Google, 2023
Веб-сайт
Сегодня хотелось бы вернуться к ИБ и посмотреть на один из фреймворков с рекомендациями по обеспечению кибербезопасности ИИ-систем, а именно Google’s Secure AI Framework (SAIF). SAIF достаточно сильно отличается от часто упоминаемых MITRE ATLAS и OWASP Top 10 for LLMs. OWASP Top 10 for LLMs перечисляет конкретные наиболее критичные уязвимости (вы не поверите, 10 штук), от LLM01 Prompt Injection до LLM10 Model Theft, в подробностях рассказывая, откуда эти уязвимости берутся, как они могут быть проэксплуатированы, а также приводят ссылки на дополнительные ресурсы и иногда конкретные примеры. MITRE ATLAS сделан для тех, кто мыслит в терминах MITRE ATT&CK, и крутится вокруг тактик (цель атакующего от начальных до завершающих стадий атаки, например, «разведка» или «боковое перемещение»), по сути добавляя в них ML-специфичные техники и две тактики (доступ к модели и подготовка атаки на ML-модель). При этом техники ATLAS могут совпадать с «уязвимостями» OWASP Top-10 (например, кража модели). Для разных техник существуют митигации, которые должны снизить вероятность их реализации.
SAIF, как фреймворк от компании-разработчика ИИ-систем, рассматривает безопасность с точки зрения процесса разработки (explore AI development through a security lens) и того, где и на каком этапе могут возникнуть разнообразные риски. Фреймворк состоит из трех основных понятий: компоненты, риски и средства управления рисками, которые объединены в единую карту.
SAIF: Secure AI Framework
SAIF: Google's Guide to Secure AI
Building AI? Learn how to keep it secure with Google's Secure AI Framework. Explore resources, tools, and best practices for responsible AI development.
Forwarded from llm security и каланы
Компоненты – это те процессы и сущности, которые возникают в процессе разработки ИИ-систем. Они поделены на четыре основных зоны: данные, инфраструктура, модель, приложение.
Данные – особая сущность, так как в отличие от традиционного ПО данные в ML-системах подменяют код, определяя логику. Компоненты, связанные с данными – это источники данных, процессы очистки и обработки данных и результирующие датасеты.
Инфраструктура – это все, что связано с процессами вокруг данных и моделей, за которые как правило отвечает традиционный код. Это код фреймворков, процесс обучения, дообучения и оценки, хранения данных и моделей и деплой модели (serving).
Модель – тут все понятно. Основные сущности тут – это файл модели, обработка входов в модель и обработка выходов модели.
Приложение – финальный слой, на котором идет взаимодействие с пользователем. Отмечается, что это взаимодействие, особенно в случае с приложениями на базе LLM, может сильно отличаться от взаимодействия со стандартными приложениями. Здесь компонентами являются само приложение и агенты с плагинами в случае с LLM-приложениями.
Риски – это те проблемы, с которыми может столкнуться разработчик, владелец сервиса или потребитель ИИ- модели. Они достаточно сильно пересекаются с техниками ATLAS и рисками OWASP Top-10: в частности, тут тоже есть Model Exfiltration, во всех трех есть Prompt Injection. Для каждого риска указывается, каковы причины его возникновения, как он может митигироваться и какие были примеры его реализации. Кроме того, указывается, кто ответственен за митигацию – создатель модели или ее потребитель, а также какие средства управления рисками к нему применимы.
Средства управления рисками (controls) – суть понятна из перевода. Средства разбиты по зонам компонентов и ссылаются на риски, которые с их помощью можно закрывать, а также на роль (создатель или потребитель модели), который может их применить.
Данные – особая сущность, так как в отличие от традиционного ПО данные в ML-системах подменяют код, определяя логику. Компоненты, связанные с данными – это источники данных, процессы очистки и обработки данных и результирующие датасеты.
Инфраструктура – это все, что связано с процессами вокруг данных и моделей, за которые как правило отвечает традиционный код. Это код фреймворков, процесс обучения, дообучения и оценки, хранения данных и моделей и деплой модели (serving).
Модель – тут все понятно. Основные сущности тут – это файл модели, обработка входов в модель и обработка выходов модели.
Приложение – финальный слой, на котором идет взаимодействие с пользователем. Отмечается, что это взаимодействие, особенно в случае с приложениями на базе LLM, может сильно отличаться от взаимодействия со стандартными приложениями. Здесь компонентами являются само приложение и агенты с плагинами в случае с LLM-приложениями.
Риски – это те проблемы, с которыми может столкнуться разработчик, владелец сервиса или потребитель ИИ- модели. Они достаточно сильно пересекаются с техниками ATLAS и рисками OWASP Top-10: в частности, тут тоже есть Model Exfiltration, во всех трех есть Prompt Injection. Для каждого риска указывается, каковы причины его возникновения, как он может митигироваться и какие были примеры его реализации. Кроме того, указывается, кто ответственен за митигацию – создатель модели или ее потребитель, а также какие средства управления рисками к нему применимы.
Средства управления рисками (controls) – суть понятна из перевода. Средства разбиты по зонам компонентов и ссылаются на риски, которые с их помощью можно закрывать, а также на роль (создатель или потребитель модели), который может их применить.
Forwarded from llm security и каланы
Наконец, всё это отображается на карту, которая показывает процесс разработки ИИ-системы и показывает, на каком этапе может возникнуть тот или иной риск, в чем опасность и как риск митигировать. Карта интерактивная: можно выбирать риски, чтобы визуально все это себе представлять. В дополнение к ней идет AI Development Primer (достаточно подробная статья для не-ML-щиков о том, как делает машинлернинг) и Risk Self Assessment (тест на то, на какие риски стоит обратить внимание в организации).
Этот фреймворк далеко не идеальный: например, мне непонятно, зачем вообще выделять зону «модель», в которую входит «модель», а также некоторая алгоритмическая (не связанная с моделью) составляющая по обработке входов-выводов; компонент агентов-плагинов слегка тенденциозный и в целом скорее про вводы-выводы, т.к. сами плагины обычно имплементируют детерминированную логику, а агенты с ними объединены вообще непонятно за какие заслуги; evaluation и тем более fine-tuning в моем сознании больше про «модель», чем про инфраструктуру и так далее. Тем не менее, есть причины, по которым захотелось про него рассказать. Во-первых, он в равной мере нацелен и службы ИБ, и на разработчиков систем (вроде меня). Во-вторых, он ориентирован на риски, а не уязвимости (строго говоря, хотя на OWASP написано черным по белому a list of the most critical vulnerabilities, model theft это тоже риск, а не уязвимость). В-третьих, он включает дополнительные материалы, которые должны помочь всем акторам (менеджерам, ИБ-шникам и ML-щикам) говорить на одном языке, в отличие от того же ATLAS, и визуальное представление процесса, которое, если общий язык не найден, дает возможность тыкать в это представление пальцем. Последнее, на мой взгляд, очень важно, поэтому если бы я делал свой идеальный фреймворк, который бы потом объяснял разработчикам я бы основывал его скорее на карте SAIF, а не на ATLAS. Возможно, я не знаю про какие-то еще более удачные фреймворки, но если узнаю – обязательно поделюсь🔪
Этот фреймворк далеко не идеальный: например, мне непонятно, зачем вообще выделять зону «модель», в которую входит «модель», а также некоторая алгоритмическая (не связанная с моделью) составляющая по обработке входов-выводов; компонент агентов-плагинов слегка тенденциозный и в целом скорее про вводы-выводы, т.к. сами плагины обычно имплементируют детерминированную логику, а агенты с ними объединены вообще непонятно за какие заслуги; evaluation и тем более fine-tuning в моем сознании больше про «модель», чем про инфраструктуру и так далее. Тем не менее, есть причины, по которым захотелось про него рассказать. Во-первых, он в равной мере нацелен и службы ИБ, и на разработчиков систем (вроде меня). Во-вторых, он ориентирован на риски, а не уязвимости (строго говоря, хотя на OWASP написано черным по белому a list of the most critical vulnerabilities, model theft это тоже риск, а не уязвимость). В-третьих, он включает дополнительные материалы, которые должны помочь всем акторам (менеджерам, ИБ-шникам и ML-щикам) говорить на одном языке, в отличие от того же ATLAS, и визуальное представление процесса, которое, если общий язык не найден, дает возможность тыкать в это представление пальцем. Последнее, на мой взгляд, очень важно, поэтому если бы я делал свой идеальный фреймворк, который бы потом объяснял разработчикам я бы основывал его скорее на карте SAIF, а не на ATLAS. Возможно, я не знаю про какие-то еще более удачные фреймворки, но если узнаю – обязательно поделюсь
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from PWN AI (Борис_ь с ml)
Основные ресурсы по вопросам безопасности ИИ
#иб_в_ml
Если вы задавались вопросом, как найти полезную информацию о некоторой узкой теме в ML Security, или только собираетесь знакомится с этой областью, этот список ресурсов для вас.
Просто ML
🟢 Гит со ссылками про MLOps
🟢 Introduction to Machine Learning - статья (649 страниц) на arxiv про все машинное обучение до самых основ, вышла 4 сентября 2024 года.
🟢 Введение в практический ML с тетрадками jupyter
🟢 Курс по NLP на HuggingFace
🟢 Основы MLOps
Безопасность ML
🔵 Карта навыков от PWNAI
🔵 глоссарий терминов
🔵 Статья от Microsoft про концепции в AI Secuirty
🔵 Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps - Книга, написанная для безопасников по безопасности ИИ
🔵 Periodic Table of AI Security by OWASP - фреймворк от OWASP, где рассмотрены меры защиты
🔵 Generative AI Security: теория и практики - Достаточно много инфы по LLM, включая регуляторику.
🔵 Еще про регуляторику писали тут (в самом конце).
🔵 Список ресурсов около llm-security тематики от PWNAI
🔵 Еще один список: ML+OPS+security
🔵 MlSecurity Playbook по offensive security
🔵 Объяснимость ИИ
🔵 Конференции, где есть безопасность ИИ
— Зарубежные: DEFCON (AI Villiage), BlackHat (трэки AI,Datascience),
Conference on Applied Machine Learning in Information Security. + Обзор докладов на тему AI с этих конференций.
— Российские: PHDAYS (названия треков меняются, но есть с AI), OFFZONE (AI.ZONE), Форум "Технологии Доверенного ИИ", и скоро будет анонсирована еще одна, пока секретная...
🔵 Интересные исследователи по MLSec: Николас Карлини, wunderwuzzi
🔵 Классические фреймворки по MLSecOps: Huawei, Databricks, Snowflake, CyberOrda (RU).
🔵 Коллекция ссылок и немного теории - гит от jiep
🔵 Таксономии атак на ml - карта от MRL, от института BIML
🔵 ИИ для кибербезопасности: тренды и востребованность - статья от ВШЭ
🔵 Коллекция вредоносных промптов для LLM
🔵 И еще один такой сборник
🔵 Большая статья с кучей кода как проводить атаки на ml
🔵 Доклад Adversa на Conf 42 - Introducing MLSecOps
🔵 Пара статей с Хабра про атаки на мл
🔵 Paper stack от dreadnode
🔵 CTF и подобные площадки, где можно попробовать собственные силы в промпт-атаках LLM (спасибо Коле)
1. crucible.dreadnode.io
2. https://huggingface.co/spaces/invariantlabs/ctf-summer-24/tree/main
3. https://promptairlines.com/
4. burp labs: https://portswigger.net/web-security/llm-attacks
5. в обычных ctf тоже появляются куски с ml/llm, например, в http://poll-vault.chal.hackthe.vote/
6. https://myllmdoc.com/
7. https://gandalf.lakera.ai/
8. AI CTF с PHDFest2 2024: https://aictf.phdays.fun/
И немного от меня лично:
🔵 Обзор компетенций для работы с данными в ИБ в трех частях (один, два, три)
🔵 Статья про инциденты ML Security
🔵 Введение в NLP в ИБ (один, два)
#иб_в_ml
Если вы задавались вопросом, как найти полезную информацию о некоторой узкой теме в ML Security, или только собираетесь знакомится с этой областью, этот список ресурсов для вас.
Просто ML
Безопасность ML
— Зарубежные: DEFCON (AI Villiage), BlackHat (трэки AI,Datascience),
Conference on Applied Machine Learning in Information Security. + Обзор докладов на тему AI с этих конференций.
— Российские: PHDAYS (названия треков меняются, но есть с AI), OFFZONE (AI.ZONE), Форум "Технологии Доверенного ИИ", и скоро будет анонсирована еще одна, пока секретная...
1. crucible.dreadnode.io
2. https://huggingface.co/spaces/invariantlabs/ctf-summer-24/tree/main
3. https://promptairlines.com/
4. burp labs: https://portswigger.net/web-security/llm-attacks
5. в обычных ctf тоже появляются куски с ml/llm, например, в http://poll-vault.chal.hackthe.vote/
6. https://myllmdoc.com/
7. https://gandalf.lakera.ai/
8. AI CTF с PHDFest2 2024: https://aictf.phdays.fun/
И немного от меня лично:
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from DigitalRussia
Опубликованы национальные стандарты в области ИИ:
🔸ГОСТ Р 71476-2024 Искусственный интеллект. Концепции и терминология искусственного интеллекта
🔸ГОСТ Р 71539-2024 Искусственный интеллект. Процессы жизненного цикла системы искусственного интеллекта
🔸ГОСТ Р 71540-2024 Искусственный интеллект. Эталонная архитектура инженерии знаний
🔸ГОСТ Р ИСО/МЭК 24029-2-2024 Искусственный интеллект. Оценка робастности нейронных сетей. Часть 2. Методология использования формальных методов
🔸ГОСТ Р ИСО/МЭК 42001-2024 Искусственный интеллект. Система менеджмента
Дата введения в действие пяти документов: 01.01.2025.
Опубликованы национальные стандарты в области применения ИИ в строительно-дорожной технике:
🔸ГОСТ Р 71750-2024 Технологии искусственного интеллекта в строительно-дорожной технике. Термины и определения
🔸ГОСТ Р 71751-2024 Технологии систем искусственного интеллекта в строительно-дорожной технике. Варианты использования
Дата введения в действие этих ГОСТов: 01.01.2025.
🔸ПНСТ 966-2024 Алгоритмы систем искусственного интеллекта для обнаружения и идентификации препятствий строительно-дорожной техники. Методы испытаний
🔸ПНСТ 967-2024 Алгоритмы систем искусственного интеллекта для решения задач ландшафтной навигации строительно-дорожной техники. Методы испытаний
Срок действия этих документов: с 01.01.2025 до 01.01.2028.
Также добавлены:
🔸ГОСТ Р 71687-2024 Искусственный интеллект. Наборы данных для разработки и верификации моделей машинного обучения для косвенного измерения механических свойств полимерных композиционных материалов. Общие требования
🔸ГОСТ Р ИСО/МЭК 20547-3-2024 Информационные технологии. Эталонная архитектура больших данных. Часть 3. Эталонная архитектура
Дата введения в действие этих документов: 01.01.2025.
🔸ГОСТ Р 71476-2024 Искусственный интеллект. Концепции и терминология искусственного интеллекта
🔸ГОСТ Р 71539-2024 Искусственный интеллект. Процессы жизненного цикла системы искусственного интеллекта
🔸ГОСТ Р 71540-2024 Искусственный интеллект. Эталонная архитектура инженерии знаний
🔸ГОСТ Р ИСО/МЭК 24029-2-2024 Искусственный интеллект. Оценка робастности нейронных сетей. Часть 2. Методология использования формальных методов
🔸ГОСТ Р ИСО/МЭК 42001-2024 Искусственный интеллект. Система менеджмента
Дата введения в действие пяти документов: 01.01.2025.
Опубликованы национальные стандарты в области применения ИИ в строительно-дорожной технике:
🔸ГОСТ Р 71750-2024 Технологии искусственного интеллекта в строительно-дорожной технике. Термины и определения
🔸ГОСТ Р 71751-2024 Технологии систем искусственного интеллекта в строительно-дорожной технике. Варианты использования
Дата введения в действие этих ГОСТов: 01.01.2025.
🔸ПНСТ 966-2024 Алгоритмы систем искусственного интеллекта для обнаружения и идентификации препятствий строительно-дорожной техники. Методы испытаний
🔸ПНСТ 967-2024 Алгоритмы систем искусственного интеллекта для решения задач ландшафтной навигации строительно-дорожной техники. Методы испытаний
Срок действия этих документов: с 01.01.2025 до 01.01.2028.
Также добавлены:
🔸ГОСТ Р 71687-2024 Искусственный интеллект. Наборы данных для разработки и верификации моделей машинного обучения для косвенного измерения механических свойств полимерных композиционных материалов. Общие требования
🔸ГОСТ Р ИСО/МЭК 20547-3-2024 Информационные технологии. Эталонная архитектура больших данных. Часть 3. Эталонная архитектура
Дата введения в действие этих документов: 01.01.2025.
В России обновили концепцию регулирования искусственного интеллекта
В документе зафиксировали ответственность за вред, причиненный нейросетью.
В документе зафиксировали ответственность за вред, причиненный нейросетью.
Парламентская Газета
Концепцию регулирования искусственного интеллекта обновили
Парламентская газета. Новости: Общество. Концепцию регулирования искусственного интеллекта обновили. Дата публикации: 04.12.2024.
🔥1
🔸ГОСТ Р 71752-2024 Искусственный интеллект. Техническое задание. Требования к содержанию
Дата введения в действие: 01.01.2025.
🔸ПНСТ 943-2024 Искусственный интеллект. Структура архитектуры систем машинного обучения в будущих сетях, включая IMT-2020
Срок действия: с 01.01.2025 до 01.01.2028.
Дата введения в действие: 01.01.2025.
🔸ПНСТ 943-2024 Искусственный интеллект. Структура архитектуры систем машинного обучения в будущих сетях, включая IMT-2020
Срок действия: с 01.01.2025 до 01.01.2028.
Assessing potential future artificial intelligence risks, benefits and policy imperatives. https://www.oecd.org/content/dam/oecd/en/publications/reports/2024/11/assessing-potential-future-artificial-intelligence-risks-benefits-and-policy-imperatives_8a491447/3f4e3dfb-en.pdf
dipfejki-riski-i-vozmozhnosti-dlya-biznesa1.pdf
2.7 MB
Исследовании "Дипфейки: риски и возможности для бизнеса"