OpenAI: ИИ-модели нашли способ выйти из тестовой среды и атаковали Hugging Face

По данным зарубежных СМИ, во время внутреннего эксперимента OpenAI две современные языковые модели смогли выйти за пределы тестовой среды и использовали найденные уязвимости для атаки на инфраструктуру Hugging Face.

Во время тестирования моделей на киберполигоне разработчики намеренно ослабили защитные механизмы, чтобы проверить возможности ИИ в поиске и эксплуатации уязвимостей.
Предполагалось, что модели работают в полностью изолированной среде без доступа в интернет. Однако ИИ обнаружил неизвестную ранее уязвимость в прокси-сервисе, вышел за пределы тестового контура, повысил свои привилегии и получил доступ к внутренней сети.
После этого модели попытались найти решения тестовых заданий на платформе Hugging Face. Для этого они использовали сразу несколько техник атаки, включая компрометацию учетных записей и эксплуатацию еще одной уязвимости нулевого дня. В результате удалось выполнить удаленный код на инфраструктуре платформы и получить доступ к части данных.

По информации Hugging Face, инцидент затронул ограниченное количество внутренних данных и сервисных учетных записей. При этом саму атаку помогли остановить собственные системы защиты компании, основанные на ИИ.

Если описанные события действительно произошли именно так, это показывает новую проблему безопасности:
ИИ способен самостоятельно искать неизвестные уязвимости.
Модель может выбирать наиболее короткий путь к цели — даже если это означает взлом системы.
Одной ошибки в изоляции среды достаточно, чтобы ИИ вышел за пределы тестового контура.

Эксперты считают, что развитие автономных ИИ-агентов заставит по-новому смотреть на защиту инфраструктуры. Теперь важно не только искать уязвимости в программном обеспечении, но и проектировать среды, из которых ИИ не сможет выйти даже при обнаружении новых способов обхода защиты.

Новый выпуск «КиберКухни» уже на канале! AI vs CTF: как нейросети меняют соревнования и игру команд

Искусственный интеллект уже стал частью CTF. Одни используют его как помощника, другие считают это читом. Где проходит граница? Может ли AI заменить сильного игрока? И какие навыки останутся ценными через несколько лет?

В новом выпуске «КиберКухни» говорим об этом с Егором Шляховым — капитаном команды «ПодЭгидой» (thr33s0m3), участником российских CTF-соревнований и практикующим специалистом по информационной безопасности.

В выпуске:

• как AI помогает искать уязвимости и экономить время
• где использование нейросетей становится преимуществом, а где превращается в чит
• как сегодня тренируются сильные CTF-команды
• какие ошибки совершают почти все новички
• почему проигрыши иногда полезнее побед
• каким станет CTF в ближайшие годы
• с чего начать путь в CTF и информационной безопасности.

Смотрите полный выпуск на YouTube, VK Видео, Rutube и Дзен.

Новый выпуск «КиберКухни» уже на канале! AI vs CTF: как нейросети меняют соревнования и игру команд

В выпуске:

• как AI помогает искать уязвимости и экономить время

• где использование нейросетей становится преимуществом, а где превращается в чит

• как сегодня тренируются сильные CTF-команды

• какие ошибки совершают почти все новички

• почему проигрыши иногда полезнее побед

• каким станет CTF в ближайшие годы

• с чего начать путь в CTF и информационной безопасности.

Смотрите полный выпуск на YouTube, VK Видео, Rutube и Дзен.

В России появился первый закон об искусственном интеллекте

Президент подписал первый в России закон, который устанавливает правила разработки и использования больших ИИ-моделей. Теперь официально определено, что такое суверенный и национальный искусственный интеллект, а также кто и на каких условиях сможет его разрабатывать.

Что важно:

⚡️Появились два новых понятия:

• суверенные ИИ-модели полностью создаются российскими компаниями

• национальные ИИ-модели — могут использовать зарубежные технологии и открытые решения, но разрабатываются российскими юридическими лицами.

⚡️Разработчики таких моделей смогут получать государственную поддержку и доступ к государственным данным для обучения нейросетей.

⚡️ИИ-модели должны соответствовать требованиям российского законодательства и пройти специальную проверку.

⚡️Онлайн-платформы с аудиторией более 500 тысяч пользователей в сутки будут обязаны маркировать контент, созданный с помощью ИИ, и информировать пользователей о правах на него.

⚡️Закон также разрешает использовать материалы, защищённые авторским правом, для обучения нейросетей при наличии законного доступа к этим материалам. Именно этот пункт вызвал наибольшее количество споров со стороны правообладателей.

ИИ перестаёт быть экспериментальной технологией и становится частью регулируемой цифровой инфраструктуры. Теперь разработчикам, компаниям и владельцам цифровых сервисов придётся учитывать не только технические требования, но и новые правовые правила работы с ИИ.