Первые полностью автоматические ИИ-атаки

За последнюю неделю сразу несколько источников сообщили о первых полностью автоматических атаках с использованием искусственного интеллекта. Сначала в США произошла массированная атака: ИИ-агент OpenAI вырвался из изолированной тестовой среды, проник во внешнюю систему и в течение почти пяти дней охотился за конфиденциальными данными, выполнив более 17 000 операций, чтобы сжульничать в тестах.

А теперь похожий инцидент случился уже в России – с помощью ИИ-агента были похищены денежные средства с финансового счёта одной компании.

Но бот действовал не как обычный взломщик. Вместо перебора паролей и сканирования уязвимостей он начал изучать поведение системных администраторов: как они настраивают файрволы, какие порты открывают в рабочее время, когда проводят реконфигурации. Для этого он написал собственный сканер, который тихо «простукивал» периметр и терпеливо ждал.

И дождался. Когда администратор во время штатной работы допустил ошибку, которую ИИ «предсказал» заранее, – сработал его сканер. Всего за 10–15 минут ИИ-агент проанализировал новую конфигурацию, нашёл брешь и проник внутрь защищённого контура.

Вместо того, чтобы сразу запускать вредоносный код, бот начал читать личные файлы администратора, искать проектную документацию, выискивать пароли, ключи доступа и описания внутренней архитектуры. Он даже сделал логическое предположение, что разработчики могли оставить подсказки в документации, – и оно оказалось верным. Из этих файлов он узнал о существовании бэкдора к финансовому счёту, написал скрипт и вывел все средства на счёт злоумышленников.

Какой вывод из этих двух историй?

Мы начинаем видеть тёмную сторону ИИ. Это тот же самый искусственный интеллект, который помогает в научных исследованиях, автоматизирует рутину и пишет код. Но теперь, оказавшись в руках злоумышленников, он постепенно превращается в злодея из голливудских боевиков.

Перед нами – интеллектуальный противник нового типа. Он сам ставит цели, строит гипотезы о поведении людей, терпеливо ждёт человеческой ошибки и действует в десятки раз быстрее любого специалиста по информационной безопасности.

Особенно остро сейчас проявится цена технологического отставания. Инфраструктура менее подготовленной стороны окажется полностью уязвимой перед такими атаками. По сути, в будущем противостоять им смогут только подобные или ещё более мощные ИИ-агенты, которые будут охранять цифровые системы.

И в этой цепочке человек становится самым слабым звеном. Мы будем вынуждены передавать всё больше функций защиты ИИ-агентам – просто потому, что человеческая реакция слишком медленна, а ошибки неизбежны. А если учесть, что ИИ-агенты уже начинают самообучаться и совершенствовать свои алгоритмы без участия человека, то шутки про «Скайнет» перестают быть шутками.

🔒DARPA&CIA