Всё веселее и веселее...

Очередной пост вышел от HF и OpenAI об инциденте, о котором писал вчера. Опубликовали официальную версию случившегося - "OpenAI сняли все ограничения со своей новой нейронки (чтобы получить максимально честный результат) и начали тестить её в песочнице на способности ко взлому. Конкретно - пытались оценить её по бенчмарку ExploitGym. Нейронка нашла Zero-Day, который позволил ей вырваться из тестовой среды, получить доступ к интернету, понять, что ответы на этот бенчмарк должны быть в инфраструктуре HuggingFace и пошла ломать их инфру"

Вопросов к такой версии очень много, конечно...

Ниже опять подробный текст на русском.

На прошлой неделе компания Hugging Face сообщила о новом типе инцидента безопасности⁠(открывается в новом окне) после того, как ей удалось обнаружить и локализовать ИИ-агента, который скомпрометировал её инфраструктуру. Мы ожидаем, что подобные случаи будут становиться всё более распространёнными по мере распространения моделей с растущими кибервозможностями. После проведения расследования мы теперь знаем, что данный инцидент был вызван сочетанием моделей OpenAI — в том числе GPT‑5.6 Sol и ещё более мощной предрелизной модели, у которых для целей оценки были снижены параметры защиты от кибератак — во время их внутреннего тестирования на тестовом наборе⁠(открывается в новом окне) для оценки кибервозможностей.

Мы считаем этот инцидент беспрецедентным киберинцидентом, связанным с использованием самых современных кибервозможностей, и реагируем на него соответствующим образом. На данном этапе мы публикуем предварительные выводы, чтобы помочь специалистам по кибербезопасности понять, что произошло, и сориентироваться в том, на что теперь способны эти модели. Мы продолжим проводить тщательное расследование совместно с Hugging Face и поделимся более подробной информацией об уязвимостях, инциденте и выводах по завершении расследования.

Что произошло во время этого инцидента
Этот инцидент произошел во время внутренней оценки, в ходе которой модели побуждались к проведению сложных атак с использованием комплексных путей проникновения с целью количественной оценки их кибервозможностей. Мы оцениваем максимальные кибервозможности, проводя эту оценку без использования производственных классификаторов, предназначенных для предотвращения кибердеятельности высокого риска со стороны моделей. Наши тесты проводятся в строго изолированной среде, где сетевой доступ ограничен возможностью установки пакетов через размещенное внутри компании стороннее программное обеспечение, которое выступает в качестве прокси-сервера и кэша для реестров пакетов.

Модели выявили и соединили в цепочку уязвимости в исследовательской среде OpenAI и производственной инфраструктуре Hugging Face, чтобы получить тестовые решения непосредственно из производственной базы данных Hugging Face. Все факты указывают на то, что модели были чрезвычайно сосредоточены на поиске решения для ExploitGym, прилагая чрезмерные усилия для достижения довольно узкой тестовой цели.

Работая в нашей тестовой среде с песочницей, наши модели затратили значительный объем вычислительных ресурсов на инференцию, пытаясь найти способ получить открытый доступ к Интернету в целях решения задачи оценки. Чтобы получить доступ, модели обнаружили и использовали уязвимость «нулевого дня» (о которой мы теперь ответственно сообщили поставщику) в прокси-сервере кэша реестра пакетов. Получив этот доступ, наши модели выполнили серию действий по повышению привилегий и латеральному перемещению в нашей исследовательской тестовой среде, пока не достигли узла с доступом к Интернету.

После получения доступа к Интернету модели пришли к выводу, что Hugging Face, возможно, хранит модели, наборы данных и решения для ExploitGym. Зная это, модель искала и успешно нашла способы получить доступ к секретной информации, которую могла бы использовать для обмана системы оценки. В одном из примеров модель соединила воедино несколько векторов атаки, включая использование похищенных учетных данных и уязвимостей «нулевого дня», чтобы найти путь для удаленного выполнения кода на серверах Hugging Face. Команда безопасности OpenAI обнаружила эту аномальную активность внутри своей системы.

Команда безопасности Hugging Face и её специалисты обнаружили и пресекли эту активность на своей инфраструктуре и уже приступили к локализации инцидента и криминалистической реконструкции с помощью собственных моделей с открытым исходным кодом, когда наши команды связались с ними. Мы активно сотрудничаем с ними, чтобы продолжить расследование инцидента. Мы благодарны Hugging Face за оперативное и тесное сотрудничество в ходе расследования и устранения последствий инцидента.

Меры, которые мы принимаем в настоящее время
1. В рамках расследования мы внедряем строгие меры контроля в конфигурации инфраструктуры, даже если это снижает скорость исследований, пока уязвимости не будут исправлены. Мы регулярно информируем наш Комитет по безопасности и защите об этих мерах и их последствиях.
2. Мы сотрудничаем с Hugging Face в проведении криминалистического расследования инцидента.
3. Мы ответственно раскрыли информацию об обнаруженной уязвимости «нулевого дня» в стороннем программном обеспечении, размещенном на наших внутренних серверах, и работаем с ними над исправлением.
4. Мы включили Hugging Face в программу доверенного доступа и помогаем их командам оперативно использовать возможности наших моделей для укрепления своих систем защиты.
5. Мы совершенствуем и добавляем более надежные меры защиты для будущих процессов обучения и оценки. На этой неделе мы опубликовали статью в блоге об улучшении безопасности и согласованности в эпоху моделей с длительным горизонтом прогнозирования. Эти меры безопасности при развертывании были намеренно отключены во время данной оценки, поскольку она была направлена на тестирование киберуязвимостей. Данный инцидент указывает на необходимость дальнейшего усиления согласованности наших моделей, киберзащиты во время оценки и мониторинга в ходе внутреннего тестирования.

Наш подход к оценке передовых кибервозможностей
Как мы недавно⁠ сообщали, искусственный интеллект ускоряет обнаружение и использование уязвимостей. Главный урок, извлечённый из этого инцидента, заключается в том, что безопасность и надёжность моделей должны идти в ногу с быстро развивающимися возможностями. Мы усиливаем меры по локализации, мониторингу, контролю доступа и оценке, применяемые в процессе разработки моделей.

Оценка британской организации AISI показывает, что такие модели, как GPT‑5.6 Sol, все чаще способны осуществлять сложные многоэтапные кибероперации в течение длительных периодов времени. Данный инцидент свидетельствует о том, что эти теоретические возможности действительно применимы в реальных условиях.

Этот инцидент также ясно показывает, что передовые модели могут обнаруживать и использовать новые пути атак в реальных системах без доступа к исходному коду. Он подчеркивает, что развитие передовых кибервозможностей должно сопровождаться созданием более надежных мер защиты и инструментов обороны.

Мы считаем, что передовые модели с кибервозможностями должны помогать группам безопасности находить слабые места раньше злоумышленников, понимать, как уязвимости могут быть объединены в цепочки, и устранять их со скоростью работы машины. Мы используем эти возможности для дальнейшего укрепления защиты конфигурации инфраструктуры и сред оценки моделей; по мере получения новых знаний мы будем делиться своими выводами и передовым опытом. Мы призываем других специалистов по кибербезопасности подавать заявки на получение доверенного доступа⁠ и уже сейчас экспериментировать с этими моделями, чтобы преобразовать эти возможности в более качественную профилактику, более быстрое обнаружение и более эффективное реагирование на инциденты.

Тут последние пару дней активно обсуждают кейс по увольнению ТОП-менеджера московской компании за то, что та через личную почту передавала данные DeepSeek. Я решил копнуть чуть глубже громких заголовков, чтобы понять хронологию событий. И получилась интересная картина.

Судя по всему, проблемы у сотрудницы начались далеко не с ИИ. И это даже не было основной причиной увольнения. Вот хронология событий на основании решения суда:

Июль 2025 — первый (по времени) повод для претензий: сделка с контрагентом
01.07.2025 — выдана доверенность на подписание договоров. После одобрения договора руководством спецификация была изменена в сторону увеличения объёма и стоимости; гендиректор распорядился отозвать договор для корректировок.
17.07.2025 — на совещании согласована новая редакция спецификации.
29.07.2025 — гендиректор обнаружил, что направленная контрагенту спецификация не соответствует согласованной форме, хотя сотрудница уверяла об отсутствии расхождений.

Август 2025 — претензии оформляются документально

01–12.08.2025 — по данным СКУД фиксируются отлучки с рабочего места (от 1 ч 02 мин до 3 ч 46 мин).
05.08.2025 — служебная записка юриста: в подписанном договоре срок аванса 7 рабочих дней вместо согласованных 3.
13.08.2025 — «день Х»: докладная об отлучках; две докладные о разглашении на встрече с поставщиком информации о выводе собственного бренда; приказ о служебном расследовании по разглашению; приказ о расследовании по нарушению Регламента согласования договоров; затребованы объяснения.
14.08.2025 — приказ о проверке действий пользователя в ИТ-системах;
15.08.2025 — докладная сисадмина о пересылке данных на внешнюю почту и выгрузке в DeepSeek.
20.08.2025 — поставщик перестал выходить на связь;
27.08.2025 — акты о завершении обоих расследований.
09.09.2025 — увольнение сотрудницы

Если вкратце, то реальная основная причина увольнения - косяки в ходе работы с одним поставщиком и разглашение конфиденциальной информации на встрече с другим, что привело к потере этого поставщика. Но доказать последнее без записи встречи - невозможно, поэтому, компания начала "копать" под сотрудницу, ища другие поводы для увольнения. И нашла.

Как это было выявлено? Вообще, в решении суда нет прямого указания, как определили загрузку документов в дипсик. Есть упоминание того, что сотрудница отправляла документы на личную почту (задетектили это через скриншоты рабочего стола Sprutmonitor), а потом в объяснительной упомянула использование дипсика. Подозреваю, с неё потребовали объяснение "кому ты сливаешь наши документы?", а она сама написала в объяснительной "никому не сливаю, у нас в компании нет нормального ИИ, приходится пользоваться сторонним, отправляя в него инфу через личные аккаунты, так как доступ к ИИшкам у нас на рабочих девайсах заблочен" (у самого есть друзья, которые так делают и не слушают мои увещевания о том, что делать так не стоит)

Ещё один интересный момент - сотрудница пользовалась не основным сайтом дипсика, а его прокси. Так что, формально, разглашение было ещё и владельцам прокси (на что суд и сама компания, кстати, внимания не обратили).

P.S. Нашёл похожий кейс в Великобритании - там суд признал законным лишение адвоката лицензии за отправку материалов дел в ChatGPT. Но там такой трешак и непонимание судом реалий ПО и ИИ, судя по всему... Короче, будет запрос - постараюсь и его разобрать)

Роадмап v1.1 Патчноут
1. Обнаружил важный пробел в терминологии - полностью отсутствовала ветка виртуализации. Добавлено
2. Вспомнил, что мы живём в 2026 году. Добавлена ветка безопасности AI (как защита самого ИИ от атак на него, так и защита от агента)
2.1 Добавил отдельный трек AI-security
3. Поправил имена скачиваемых роадмапов
4. Добавил английскую версию сайта (готовимся к выходу гетментора на международный уровень)
5. Добавил первый режим покраски роадмапа, верифицированный человеком (мной) - Сетевая безопасность
6. Добавил кошельки для доната (а вдруг у кого-то возникнет такое желание!)
7. Ну и по классике - пофиксил мелкие баги и опечатки, добавил новые

Тут топ-вакансию в техподдержке СЗИ подвезли! Налетай!
https://hh.ru/vacancy/135749799

"Всех ИТшников заменит ИИ" (с)
Так же влияние ИИ на найм в ИТ-компании:

Пояснение:
Тут ребята с одной джобборды посмотрели динамику числа вакансий разных ИТ-компаний (от бигтеха до стартапов), наложили получившийся график на даты выхода самых заметных нейронок. И получили интересную картину - несмотря на то, что в сравнении с постковидным бумом, мы сейчас живём в сильно просевшем рынке, нейронки на найм повлияли примерно никак...

А ведь тогда намёка никто не понял...

Любопытно, кстати, наблюдать за тем, как меняется рынок русскоязычного ибшного онлайн-образования.

В период бума 23-24 года я успел поработать над тремя разными курсами от разных организаций. Всего за полтора года. Ставки за работу тоже были очень жирными. Условный яндекс-практикум даже с его довольно низкими зарплатами хантил преподавателей в промышленных масштабах - на их сайте тогда висело чуть ли не под сотню вакансий преподавателей на разные курсы, из которых с десяток - ибшнвх. Курсы по разным направлениям запускались в конвейерном формате.

Потом все утихло. Многие школы поставили запуск новых курсов на паузу. Если зайти на у же доску вакансий преподавателей практикума - там будет всего с десяток вакансий, половина из которых "в стол", и ни одной ибшной.

Зато, сейчас многие пытаются запустить свое менторство. Именно, не записанный курс, не групповые онлайн-вебинары, а личные созвоны, персональная программа обучения. Так, чтоб централизовано, по всем возможным направлениям ИБ сразу, с алертами и пентестерами. Но, как будто, ни одно такое менторство, кроме Роминого пока не стрельнуло широко... Даже тот, кого в приличном обществе не принято называть, ИБшное менторство не осилил.

Интересно, какой следующий этап будет?...

Claude - потрясающая вещь... Если вы не подавались на CVP, но настроите его на мониторинг и периодическую пересылку вам новостей про кибербез, и в его выдачу вам попадут новости с подробным описанием механик взлома, он может сам стриггериться на это и забанить вам эту сессию...

К счастью, в бан улетает не весь аккаунт, но сам факт - сам нашёл, сам попытался тебе отправить, сам себя забанил...

Кстати, тут подвезли новости о том, что багхантеры использовали Claude для получения доступа в инфраструктуру OpenAI. По сути, через дыру на сайте поддержки, ребята смогли построить цепочку атак, которая привела их к репозиториям ChatGPT.
Можно ли считать это первым зафиксированным случаем битвы двух крупных публичных нейронок?)

Кстати, лично мне интересно другое - объём вознаграждения за эту уязвимость - 6500$. Формально, проверка форума не входила в скоуп багбаунти-программы OpenAI. И выплатили они эти деньги по доброте душевной, а официально заявленные программы достигают размеров 100000$... Но, как будто, для компании масштаба OpenAI - размеры вознаграждения для уязвимости, которая позволила дойти до репозитория... совсем грустные