Бывший научный руководитель OpenAI основал свою AI-компанию с суперинтеллектом и безопасностью 👍

В мае этого года сооснователь OpenAI, нижегородец Илья Суцкевер покинул компанию. Следом руководство распустило и команду по защите от искусственного интеллекта. Её участники часто указывали, что процессы безопасности «отошли на второй план».

Суцкевер на пенсию уходить не стал, а бросил вызов Сэму Альтману и объединился с руководителем отдела AI в Apple Дэниелом Гроссом и инженером OpenAI Дэниелом Леви.

Вместе они запустили стартап Safe Superintelligence (SSI). Главная цель — в первую очередь обеспечить безопасность искусственного интеллекта, не отвлекаясь на маркетинг.

Нейросеть будет полностью изолирована от внешнего давления и необходимости участвовать в конкурентной борьбе, — утверждает Суцкевер.

❗️ Эксперты назвали главные риски, связанные с развитием генеративного ИИ

Альянс в сфере ИИ vs Яков и Партнёры опубликовали совместное исследование международного опыта регулирования генеративного искусственного интеллекта (ГИИ).

Согласно его данным Россия, наряду с США, Израилем, Сингапуром и ОАЭ, входит в число самых благоприятных стран для развития ГИИ. Кроме того, эксперты выделили пять самых релевантных рисков, связанных с развитием такого типа ИИ: рост объема некачественного контента, потенциальный вред от ложных ответов, негативное влияние на рынок труда, цифровое мошенничество и нарушение этических норм.

🔗 Перейти к статье на Forbes.

@gen_i_i #исследования

ФСТЭК про безопасность ИИ
#иб_для_ml

8 августа этого года ФСТЭК опубликовал проект приказа о безопасности ГИС, вместо 17-го от 2013 года.

Изменения обширные, и охватывают весь документ - изменились существующие пункты и добавилось 24 новых. Но нас интересует пункт 49, посвященный безопасности использования искусственного интеллекта.

В чем суть?

Оператор обеспечивает защиту информации, содержащейся в его информационных системах, при использовании ИИ.

И далее описывается, каким требованиям должны соответствовать меры защиты ИИ в ГИС.
1️⃣ Оператор обязан исключить НСД к параметрам используемых моделей и их обучающей выборке
2️⃣ Занятный подпункт - ИИ не должен влиять на параметры ИИ. То есть запрещен AutoML?.. И еще тут же - запрещен сильный ИИ о_О
3️⃣ Нужно исключать передачу конфиденциальной информации разработчикам ИИ
4️⃣ Подробно прописана безопасность взаимодействия пользователя (П) с ИИ. Во-первых, запросы П и ответы ИИ должны соответствовать определенным шаблонам и это должно контролироваться. Во-вторых, нужно детектить, логировать и анализировать недостоверные ответы ИИ, а также реагировать на них и не допускать принятия решений на их основе
5️⃣ При выявлении model extraction или model inversion, надо реагировать. Это отличный пункт, читайте про действия (далее цитата): "большое количество запросов в единицу времени, разнородные запросы в одном пользовательском сеансе, повторяющиеся запросы с одним меняющимся параметром, ..." И меры прописаны понятные: "...меры защиты, направленные на замедление работы системы ИИ, блокирование сеанса или учетной записи пользователя"
6️⃣ Специалисты должны мониторить сведения об уязвимостях технологий ИИ, и в случае обнаружения обязаны устранять эти уязвимости. Даешь профстандарт по направлению mlsec!..:)
7️⃣ В awarness-меры надо включить и безопасность ИИ
8️⃣ Регламентируется разметка данных для ИИ. 1 - надо разработать модель угроз, учитывающей (загибайте пальцы) особенности функционирования ИИ, архитектуру вычислительной системы, угрозы применения опенсорса, а также обработку данных (и поиск решений, но я это не понял). Великолепно, под термин разметки можно многое приплести, особенно в госструктурах, где данные все себе сами готовить будут, и размечать тоже, соответственно. 2 - нужно постоянно поддерживать в актуальном состоянии, и при этом доступ к ним контролировать. 3 - необходим контроль за процессом изменения гиперпараметров модели, работники должны обладать соответствующими полномочиями, и при этом не забывать менять документацию на систему. 4 - общение с внешними сервисами допустимо только в особых случаях, и только если они на территории РФ (читай недопустимо) ).

Мое мнение
🔵 Документ продуманный, рад его появлению. Он ведь обозначает актуализацию mlsec-профессии и появления для нас новой работы)
🟢 Есть и вопросы. Например, что такое параметры модели - это только гиперпараметры, или еще веса? В приказе идет ссылка на пункт 5 подпункта "т" 490-го Указа, где говорится, что это такие числовые значения, определяющие работу ИИ вплоть до прогнозирования результатов, то есть вроде похоже и на веса. Но хотелось бы поподробнее. Хотя в 49.8.в явно указано "гиперпараметры", что дает понять, что авторы различают параметры и гиперпараметры модели.
🟡 Еще вопросы: что такое процессы и сервисы обработки данных? А что более интересно - что такое процессы и сервисы поиска решений?
🔵 Что не так с AGI? Согласно подпункту "х" того же Указа - это ИИ, самостоятельно адаптирующийся к меняющимся условиям. По какой логике он оказался запрещен?..
🟣 Что такое описание моделей (из 49.8.б)? Это просто названия, данные каким-то дата саентистом, или их надо как-то конкретно составлять? Расписывать архитектуру? Вплоть до слоев и функций активации, или как-то проще? Значит ли это вообще требование использовать версионирование моделей через условный MLFlow? А какой системой тогда пользоваться, ИСП РАН пока вроде не релизил ничего такого...
🟢Как должна выглядеть модель угроз ИИ из пункта 49.8.а?..

📎 Отдельно текст 49 пункта я оставил вот по этой ссылке.

Источник