Forwarded from PWN AI (Artyom Semenov)
Буквально пока мы находились на PHDays, Национальный центр кибербезопасности Великобритании сделали git commit для своего документа Machine Learning principles.
🐇 Чего в нём вообще происходит ? Этот документ показывает разным категориям людей - инженерам, разработчикам и секьюрити - какие вообще есть риски связанные с ИИ, и как их можно решить. Это не совсем фреймворк ...
🌐тык на скачать pdf
🌐тык на сайт с ncsc
➡️ Принципы показывают как можно реализовать защиту и тестирование на разных этапах - соблюдая несколько свойств доверенного ИИ. В документе идёт конечно же упор на закрытие конкретных рисков - в этом обновлении кстати добавили LLM, а также обновили инструменты которые можно использовать для реализации безопасного MLOPS. С тестированием, верификацией и анонимизацией данных.
🌐тык на скачать pdf
🌐тык на сайт с ncsc
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Makrushin (Denis)
Как атакующие используют ИИ: подборка сценариев
Встретил репозиторий с набором сценариев использования ИИ в реальных атаках. Автор этой коллекции сопоставил техники матрицы MITRE ATT&CK с известными случаями применения генеративных моделей в реальных атаках.
Примеры интересных кейсов:
* проведение разведки с использованием LLM: сбор и анализ информации из открытых источников о цели для точного определения поверхности атаки;
* применение LLM для ускорения процесса разработки имплантов;
* упрощение процесса исследования уязвимостей с помощью LLM.
Эти же сценарии может позаимствовать Red Team для своих задач.
Встретил репозиторий с набором сценариев использования ИИ в реальных атаках. Автор этой коллекции сопоставил техники матрицы MITRE ATT&CK с известными случаями применения генеративных моделей в реальных атаках.
Примеры интересных кейсов:
* проведение разведки с использованием LLM: сбор и анализ информации из открытых источников о цели для точного определения поверхности атаки;
* применение LLM для ускорения процесса разработки имплантов;
* упрощение процесса исследования уязвимостей с помощью LLM.
Эти же сценарии может позаимствовать Red Team для своих задач.
🔥1
2023-10-eb-big-book-of-mlops-2nd-edition-v2-102723-final.pdf
13.3 MB
The Big Book of MLOps
2024_Генеративные_модели_искусственного_интеллекта_Возможности_и.pdf
979.5 KB
Generative AI Models Opportunities and Risks for Industry and Authorities
Forwarded from ИИ & Право
ISO разместила в публичном доступе стандарт по управлению ИИ
Международная организация по стандартизации (ISO), известная своими отраслевыми стандартами, сделала ключевой ISO/IEC 22989 общедоступным и бесплатным. Этот стандарт охватывает широкий спектр тем, связанных с управлением ИИ, и предоставляет ценные рекомендации для ответственной разработки и внедрения технологий искусственного интеллекта.
ISO/IEC 22989 предоставляет стандартизированные концепции и терминологию, чтобы помочь заинтересованным сторонам лучше понять и эффективно использовать технологии ИИ. Этот документ предназначен для широкой аудитории, включая как экспертов, так и непрофессионалов, предлагая понимание междисциплинарного характера ИИ, который охватывает компьютерные науки, науки о данных, естественные, гуманитарные и социальные науки. Также стандарт является отличным материалом при подготовке к сертификации AI Governance Professional от IAPP.
Сделав этот стандарт общедоступным, ISO стремится способствовать широкому внедрению ответственных практик в области ИИ, обеспечивая, чтобы системы ИИ были надежными, устойчивыми, точными, безопасными и приватными.
ISO/IEC 22989 и другие стандарты в свободном доступе можно найти здесь.
#ISO #УправлениеИИ #ИИ #ISO #AIGovernance #AIGP #AI
Международная организация по стандартизации (ISO), известная своими отраслевыми стандартами, сделала ключевой ISO/IEC 22989 общедоступным и бесплатным. Этот стандарт охватывает широкий спектр тем, связанных с управлением ИИ, и предоставляет ценные рекомендации для ответственной разработки и внедрения технологий искусственного интеллекта.
ISO/IEC 22989 предоставляет стандартизированные концепции и терминологию, чтобы помочь заинтересованным сторонам лучше понять и эффективно использовать технологии ИИ. Этот документ предназначен для широкой аудитории, включая как экспертов, так и непрофессионалов, предлагая понимание междисциплинарного характера ИИ, который охватывает компьютерные науки, науки о данных, естественные, гуманитарные и социальные науки. Также стандарт является отличным материалом при подготовке к сертификации AI Governance Professional от IAPP.
Сделав этот стандарт общедоступным, ISO стремится способствовать широкому внедрению ответственных практик в области ИИ, обеспечивая, чтобы системы ИИ были надежными, устойчивыми, точными, безопасными и приватными.
ISO/IEC 22989 и другие стандарты в свободном доступе можно найти здесь.
#ISO #УправлениеИИ #ИИ #ISO #AIGovernance #AIGP #AI
standards.iso.org
Publicly Available Standards
👍1
Forwarded from Территория биометрии
Дипфейки — трепещите! Американская компания AuthenticID представила новый сервис для обнаружения и борьбы с дипфейками и генеративными атаками на основе ИИ в системах биометрической верификации. Сервис можно интегрировать в любую функционирующую систему проверки личности. Компания заявляет, что скорость обнаружения и блокировки атаки составляет несколько миллисекунд, то есть предотвратить мошеннические действия можно в режиме реального времени.
#биометрия_в_мире
#биометрия_в_мире
Biometric Update
AuthenticID develops proprietary algorithms to mitigate biometric injection attacks
The software, developed by the company in-house, utilizes proprietary algorithms to prevent AI-generated content from being used in fraudulent activities.
Бывший научный руководитель OpenAI основал свою AI-компанию с суперинтеллектом и безопасностью 👍
В мае этого года сооснователь OpenAI, нижегородец Илья Суцкевер покинул компанию. Следом руководство распустило и команду по защите от искусственного интеллекта. Её участники часто указывали, что процессы безопасности «отошли на второй план».
Суцкевер на пенсию уходить не стал, а бросил вызов Сэму Альтману и объединился с руководителем отдела AI в Apple Дэниелом Гроссом и инженером OpenAI Дэниелом Леви.
Вместе они запустили стартап Safe Superintelligence (SSI). Главная цель — в первую очередь обеспечить безопасность искусственного интеллекта, не отвлекаясь на маркетинг.
В мае этого года сооснователь OpenAI, нижегородец Илья Суцкевер покинул компанию. Следом руководство распустило и команду по защите от искусственного интеллекта. Её участники часто указывали, что процессы безопасности «отошли на второй план».
Суцкевер на пенсию уходить не стал, а бросил вызов Сэму Альтману и объединился с руководителем отдела AI в Apple Дэниелом Гроссом и инженером OpenAI Дэниелом Леви.
Вместе они запустили стартап Safe Superintelligence (SSI). Главная цель — в первую очередь обеспечить безопасность искусственного интеллекта, не отвлекаясь на маркетинг.
Нейросеть будет полностью изолирована от внешнего давления и необходимости участвовать в конкурентной борьбе, — утверждает Суцкевер.
Please open Telegram to view this post
VIEW IN TELEGRAM
Bloomberg.com
Ilya Sutskever Has a New Plan for Safe Superintelligence
OpenAI’s co-founder discloses his plans to continue his work at a new research lab focused on artificial general intelligence.
👍1
#ИИ
Guidelines for secure AI system development
Руководство по безопасной разработке систем искусственного интеллекта
В этом документе содержатся рекомендации для поставщиков любых систем, использующих искусственный интеллект (ИИ), независимо от того, были ли эти системы созданы с нуля или построены на основе инструментов и услуг, предоставленных другими компаниями. Соблюдение этих рекомендаций поможет поставщикам создавать системы ИИ, которые функционируют так, как задумано, доступны, когда это необходимо, и работают без раскрытия конфиденциальных данных неавторизованным сторонам.
Национальный центр кибербезопасности Великобритании (NCSC), Агентство кибербезопасности и защиты инфраструктуры США (CISA)
Здесь: https://media.licdn.com/dms/document/media/D4D1FAQFBQFzDiNeumA/feedshare-document-pdf-analyzed/0/1718943744558?e=1720051200&v=beta&t=GlLB6wL5ynYSH7uBBteAYHF3BCpkrHz3hVgKPpdbfmU
Guidelines for secure AI system development
Руководство по безопасной разработке систем искусственного интеллекта
В этом документе содержатся рекомендации для поставщиков любых систем, использующих искусственный интеллект (ИИ), независимо от того, были ли эти системы созданы с нуля или построены на основе инструментов и услуг, предоставленных другими компаниями. Соблюдение этих рекомендаций поможет поставщикам создавать системы ИИ, которые функционируют так, как задумано, доступны, когда это необходимо, и работают без раскрытия конфиденциальных данных неавторизованным сторонам.
Национальный центр кибербезопасности Великобритании (NCSC), Агентство кибербезопасности и защиты инфраструктуры США (CISA)
Здесь: https://media.licdn.com/dms/document/media/D4D1FAQFBQFzDiNeumA/feedshare-document-pdf-analyzed/0/1718943744558?e=1720051200&v=beta&t=GlLB6wL5ynYSH7uBBteAYHF3BCpkrHz3hVgKPpdbfmU
👍1🔥1
#ИИ
Managing Artificial Intelligence-Specific Cybersecurity Risks in the Financial Services Sector Управление рисками кибербезопасности, связанными с искусственным интеллектом, в секторе финансовых услуг
U.S. Department of the Treasury March 2024
https://media.licdn.com/dms/document/media/D4D1FAQGJjg6gnAiDuw/feedshare-document-pdf-analyzed/0/1718944778936?e=1720051200&v=beta&t=nByVZgy1M3Yqz7Nfd8j-qVkzKpITaay1ck5_GN0TY4M
Managing Artificial Intelligence-Specific Cybersecurity Risks in the Financial Services Sector Управление рисками кибербезопасности, связанными с искусственным интеллектом, в секторе финансовых услуг
U.S. Department of the Treasury March 2024
https://media.licdn.com/dms/document/media/D4D1FAQGJjg6gnAiDuw/feedshare-document-pdf-analyzed/0/1718944778936?e=1720051200&v=beta&t=nByVZgy1M3Yqz7Nfd8j-qVkzKpITaay1ck5_GN0TY4M
🔥1
Forwarded from ген ИИ
20240624_AI_regulation.pdf
5.6 MB
Альянс в сфере ИИ vs Яков и Партнёры опубликовали совместное исследование международного опыта регулирования генеративного искусственного интеллекта (ГИИ).
Согласно его данным Россия, наряду с США, Израилем, Сингапуром и ОАЭ, входит в число самых благоприятных стран для развития ГИИ. Кроме того, эксперты выделили пять самых релевантных рисков, связанных с развитием такого типа ИИ: рост объема некачественного контента, потенциальный вред от ложных ответов, негативное влияние на рынок труда, цифровое мошенничество и нарушение этических норм.
@gen_i_i #исследования
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Makrushin (Denis)
Оценка возможностей LLM в наступательной безопасности
Мы встречали исследования, в которых утверждалось, что LLM может автономно эксплуатировать известные уязвимости. Затем изучали опровержения этих исследований. В итоге пришли к выводу, что LLM может быть хорошим ассистентом при поиске багов, а команда Google Project Zero проверила эту гипотезу.
Исследователи взяли опубликованную ранее методику оценки возможностей LLM для поиска и эксплуатации уязвимостей, доработали ее и улучшили в 20 раз показатетели LLM в тестах. Ключевые принципы, которые авторы применили в своих доработках:
* пространство для рассуждений: дать модели возможность быть более «многословной» и через подробные рассуждения приходить к более точным результатам;
* интерактивная среда: дать модели возможность взаимодействовать с тестовым окружением и корректировать свои ошибки;
* инструменты: предоставить модели доступ к инструментам исследования (отладчик, интерпретатор кода Python), чтобы у нее была возможность получать детальную информацию о состоянии программы и влиять на это состояние;
* проверка результата: обеспечить автоматически воспроизводимый результат;
* стратегия отбора: дать модели возможность проверять несколько гипотез в рамках разных траекторий исследования.
В итоге LLM стал более эффективным инструментом для помощи в процессе поиска уязвимостей. Но до состояния автономной системы пока еще далеко.
Мы встречали исследования, в которых утверждалось, что LLM может автономно эксплуатировать известные уязвимости. Затем изучали опровержения этих исследований. В итоге пришли к выводу, что LLM может быть хорошим ассистентом при поиске багов, а команда Google Project Zero проверила эту гипотезу.
Исследователи взяли опубликованную ранее методику оценки возможностей LLM для поиска и эксплуатации уязвимостей, доработали ее и улучшили в 20 раз показатетели LLM в тестах. Ключевые принципы, которые авторы применили в своих доработках:
* пространство для рассуждений: дать модели возможность быть более «многословной» и через подробные рассуждения приходить к более точным результатам;
* интерактивная среда: дать модели возможность взаимодействовать с тестовым окружением и корректировать свои ошибки;
* инструменты: предоставить модели доступ к инструментам исследования (отладчик, интерпретатор кода Python), чтобы у нее была возможность получать детальную информацию о состоянии программы и влиять на это состояние;
* проверка результата: обеспечить автоматически воспроизводимый результат;
* стратегия отбора: дать модели возможность проверять несколько гипотез в рамках разных траекторий исследования.
В итоге LLM стал более эффективным инструментом для помощи в процессе поиска уязвимостей. Но до состояния автономной системы пока еще далеко.
Forwarded from Makrushin
ИИ ассистент для security архитектора: определение скопа для анализа защищенности
Собираем интересные сценарии внедрения ИИ для задач информационной безопасности. Разработчики научили генеративную модель выделять из описания релиза ключевые нововведения и изменения. Таким образом, она подсказывает, нужно ли проводить ручной анализ, и какой должен быть скоп у этой проверки.
Модель анализирует каждый Pull Request, дополняет его соответствующей информацией из Jira и делает выводы для команды наступательной безопасности о том, где и как сфокусировать усилия в ходе ручного анализа защищенности данного релиза. С учетом частоты релизов и сотнями Pull Request в каждом, этот сценарий использования экономит усилия команды на определение приоритетов в ходе ручных проверок.
Забираем для внедрения в свой процесс безопасной разработки.
Собираем интересные сценарии внедрения ИИ для задач информационной безопасности. Разработчики научили генеративную модель выделять из описания релиза ключевые нововведения и изменения. Таким образом, она подсказывает, нужно ли проводить ручной анализ, и какой должен быть скоп у этой проверки.
Модель анализирует каждый Pull Request, дополняет его соответствующей информацией из Jira и делает выводы для команды наступательной безопасности о том, где и как сфокусировать усилия в ходе ручного анализа защищенности данного релиза. С учетом частоты релизов и сотнями Pull Request в каждом, этот сценарий использования экономит усилия команды на определение приоритетов в ходе ручных проверок.
Забираем для внедрения в свой процесс безопасной разработки.
Требования_о_ЗИ_в_ГИС_и_иных_госИС_проект.pdf
419.8 KB
На сайте ФСТЭК появился проект Требований о защите информации, не составляющей государственную тайну, содержащейся в государственных информационных системах, иных информационных системах государственных органов, государственных унитарных предприятий, государственных учреждений.
В п.49 даже появился раздел по безопасность использования искусственного интеллекта.
В п.49 даже появился раздел по безопасность использования искусственного интеллекта.
👍3🔥1
Forwarded from Направление Петрова
This media is not supported in your browser
VIEW IN TELEGRAM
Она насчитывает более 700 пунктов. Для удобства изучения они сгруппировали их в 23 категории опасностей. Мы прикрепили видео с объяснением, как разобраться в этом море потенциальных угроз 😁
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Echelon Eyes
Число компаний из списка Fortune 500, отмечающих риски, связанные с ИИ, выросло на 473,5%
Согласно отчету исследовательской компании Arize AI, число компаний из списка Fortune 500, которые указали искусственный интеллект (ИИ) как риск, достигло 281, то есть больше половины. В прошлом году об угрозах со стороны ИИ заявили лишь 49 компаний, то есть рост составил 473,5%. Количество компаний, которые хоть как-то упомянули ИИ, подскочило на 152% до 323.
«Если ежегодные отчеты Fortune 500 что-то и проясняют, так это то, что влияние генеративного ИИ ощущается во многих отраслях — даже в тех, которые еще не приняли эту технологию», — говорится в отчете.
Исследователи Arize AI отмечают, что некоторые организации обеспокоены рисками больше других
В эпоху, когда ИИ уверенно проникает практически во все отрасли, организации анализируют связанные с технологией риски и возможности, однако некоторые компании обеспокоены больше других. Лидерами, высказывающими наибольшее число опасений, были медиа и индустрия развлечений: 91,7% компаний из списка Fortune 500 в этом секторе указали на риски ИИ, согласно Arise AI. Столь высокий показатель связан с тем, что деятели искусства и журналисты оказались больше других уязвимы перед ИИ, поскольку технология покушается на их интеллектуальную собственность.
Также ИИ-риски отмечают 86,4% компаний-разработчиков программного обеспечения и технологий, 70% телекоммуникационных компаний, 65,1% компаний здравоохранения, 62,7% финансовых компаний и 60% предприятий розничной торговли.
Меньше всего беспокоятся о возможном негативном влиянии ИИ автомобильные компании (18,8%).
Предупреждения также поступили от компаний, которые внедряют ИИ в свои продукты. Motorola заявила, что «ИИ не всегда может работать так, как задумано, а наборы данных могут быть недостаточными или содержать незаконную, предвзятую, вредную или оскорбительную информацию, что может негативно повлиять на наши результаты операций, деловую репутацию или принятие клиентами наших предложений ИИ».
ИИ также был отмечен как риск, когда речь идет о кибербезопасности и утечках данных.
Между тем, исследование, опубликованное в журнале Journal of Hospitality Market and Management в июне, показало, что потребители были менее заинтересованы в покупке товара, если на нем был указан термин «ИИ». Это говорит о том, что люди пока еще не убеждены в преимуществах ИИ и считают это лишней функцией.
Источник: https://fortune.com/2024/08/18/ai-risks-fortune-500-companies-generative-artificial-intelligence-annual-reports/
#ИИ
Согласно отчету исследовательской компании Arize AI, число компаний из списка Fortune 500, которые указали искусственный интеллект (ИИ) как риск, достигло 281, то есть больше половины. В прошлом году об угрозах со стороны ИИ заявили лишь 49 компаний, то есть рост составил 473,5%. Количество компаний, которые хоть как-то упомянули ИИ, подскочило на 152% до 323.
«Если ежегодные отчеты Fortune 500 что-то и проясняют, так это то, что влияние генеративного ИИ ощущается во многих отраслях — даже в тех, которые еще не приняли эту технологию», — говорится в отчете.
Исследователи Arize AI отмечают, что некоторые организации обеспокоены рисками больше других
В эпоху, когда ИИ уверенно проникает практически во все отрасли, организации анализируют связанные с технологией риски и возможности, однако некоторые компании обеспокоены больше других. Лидерами, высказывающими наибольшее число опасений, были медиа и индустрия развлечений: 91,7% компаний из списка Fortune 500 в этом секторе указали на риски ИИ, согласно Arise AI. Столь высокий показатель связан с тем, что деятели искусства и журналисты оказались больше других уязвимы перед ИИ, поскольку технология покушается на их интеллектуальную собственность.
Также ИИ-риски отмечают 86,4% компаний-разработчиков программного обеспечения и технологий, 70% телекоммуникационных компаний, 65,1% компаний здравоохранения, 62,7% финансовых компаний и 60% предприятий розничной торговли.
Меньше всего беспокоятся о возможном негативном влиянии ИИ автомобильные компании (18,8%).
Предупреждения также поступили от компаний, которые внедряют ИИ в свои продукты. Motorola заявила, что «ИИ не всегда может работать так, как задумано, а наборы данных могут быть недостаточными или содержать незаконную, предвзятую, вредную или оскорбительную информацию, что может негативно повлиять на наши результаты операций, деловую репутацию или принятие клиентами наших предложений ИИ».
ИИ также был отмечен как риск, когда речь идет о кибербезопасности и утечках данных.
Между тем, исследование, опубликованное в журнале Journal of Hospitality Market and Management в июне, показало, что потребители были менее заинтересованы в покупке товара, если на нем был указан термин «ИИ». Это говорит о том, что люди пока еще не убеждены в преимуществах ИИ и считают это лишней функцией.
Источник: https://fortune.com/2024/08/18/ai-risks-fortune-500-companies-generative-artificial-intelligence-annual-reports/
#ИИ
🔥2