Евросоюз опубликовал план действий по ИИ в основе которого гармонизация уже выпущенных нормативных документов и законов:

1. С 2 августа вступает в силу часть положений AI ACT с оборотными штрафами (до 3 процентов от глобального годового оборота). Причинами штрафов, например, могут стать отсутствие практик red teaming, описания киберрисков, мер ограничения опасных возможностей, отчётов об инцидентах, доступа к модели для независимой оценки.

2. До конца 2026 года разработать план действий и резервных мероприятий European Blueprint for structured access  на случай если будет закрыт доступ к передовым моделям ИИ со стороны провайдера или третьей страной.

3.Создание в 2027 году независимой европейской инфраструктуры для оценки рисков новых ИИ моделей до их релиза на рынок ЕС. Создание симуляционной платформы для тестирования ИИ в критических сферах: финансы, энергетика, медицина .

4. До 11 декабря 2027 полное внедрение требований безопасности по умолчанию и управлению уязвимости для всех цифровых продуктов в рамках Cyber Resilience Act.

5. Запуск конкурса EU grand challenge для стимулирования разработки и тиража решений в области безопасности ИИ со стороны бизнеса и исследователей.

6. К Q4 2026 ENISA и JRC должны создать платформу для тестирования ИИ с продвинутыми возможностями в области кибербезопасности, для проверки применения ИИ в задачах: поиск уязвимостей, устранение уязвимостей, реагирования на инциденты, обнаружение, сортировка, киберразведка.

7. С Q3 2026 ENISA должна начать выпускать рекомендации и руководства по защите от киберугроз и использованию ИИ в кибербезопасности.

8. С Q3 2026   государства-члены и бизнес должны адаптировать управление уязвимостями к «эпохе ИИ».

9. К Q4 2026 Запуск пилота Critical Open Source Resilience Campaign для обнаружения критичных компонентов открытого ПО, созданию каталога ИИ сервисов для патчинга и устранения уязвимостей.

10. Обозначено намерение создания ИИ Фабрик для тестирования, обучения, разворачивания продвинутых ИИ моделей для киберустойчивости на суверенной ИТ инфраструктуре.  

11. К Q4 2026 В рамках Cybersecurity Skills Academy должны быть разработаны обучающие модули для специалистов по кибербезопасности по использованию ИИ. ENISA также должна обновить European Cybersecurity Skills Framework, добавив ИИ компетенции.

Я обозначил тезисно только ключевые моменты плана, рекомендую с ним самим ознакомится для больших деталей.

Я допускаю, что часть азиатских ИИ провайдеров закроют доступ для IP EC с второго августа для минимизации рисков оборотных штрафов. Такая ситуация была и при вступлении в силу GDPR.

Как вы думаете, что из пунктов выше могло бы попасть в проект закона по поддержке ИИ, а что в его подзаконные акты?

Если вы как и я столкнулись с тем, что все фронтир модели Антропика (Sonnet 5, Opus 4.8) начали блочить практически все запросы про Cybersecurity - есть решение. Достаточно пройти Cyber Verification Program. Создаем заявку, скидываем им Linkedin, Hackerone, свои CVE и статьи про безопасность, резюме в Антропик.
После этого для нас открываются все модели, кроме Fable без гардтрейлов на Cybersecurity.

Wired сообщает, что Руководитель отдела систем безопасности (Head of Safety Systems) OpenAI Johannes Heidecke покинул компанию. Новый временный руководитель отдела систем безопасности Saachi Jain теперь получил ещё один слой управления между ним и CEO - в лице VP of Research and Safety Mia Glaese. Новый уровень подчиненности ВРИО отдела систем безопасности это CEO-3.

Объясняется это необходимостью встроить процессы безопасности в процесс разработки, а не просто оставить снаружи как внешний фильтр. Отдельно говорят о фактической потере независимости этого отдела.

Учитывая недавнее сравнение Министра иностранных дел Великобритании, можно провести аналогию с назначением ответственности за безопасность использования ядерной бомбы на отдел разработки новых ядерных бомб ;).

Если посмотреть на подчиненность CISO и Head AI Safety в компаниях-разработчиках ИИ можно найти много интересного. Например:
1. C Октября 2024 до января 2026 у OpenAI было фактически 2 CISO Matt Knight и Dane Stuckey.
2. У Anthropic право согласования frontier-моделей у Jared Kaplan, Chief Science Officer и Responsible Scaling Officer, RSO. По публичной информации решение о релизе новой модели принимается независимо им и CEO.
3. У Google Deepmind нет явного Head of AI Safety. Есть Responsibility & Safety Council и AGI Safety Council.
4. SpaceXAI - CISO Steven Aiello совмещает работу в XAI и X. Публично ответственного за AI Safety найти не удалось.

Проследив подчиненность роли CISO или ответственного за AI Safety в компании можно сделать вывод о риск-аппетите компании и подходе к релизу новых продуктов. Когда ответственные за безопасность оказываются подчинёнными руководителям бизнеса или разработки - риск конфликта интересов показался CEO меньшим, чем риск потери прибыли.
Исключение, когда в силу требований комплаенса такие руководители де-юре должны быть CEO-1, например в силу требований Центрального Банка, в этом случае анализ усложняется до курирующих членов Правления организации и (или) руководителя риск комитета в организации.

Опубликовали исследование про использование так называемых canary strings для защиты от угроз ИИ. Tracebit оценили эффективность использования промт инъекций в виде так называемых контекстных бомб для защиты от вредоносных ИИ агентов. Получилось сильное падение эффективности атак - на 90 %.

Есть практика сanary strings для исключения данных из корпуса обучения.

Отличное доказательство, что промт инъекции это проблема и на стороне атакующих. И это должно сильно ограничивать эффективность атакующих ИИ агентов и риски для использования ИИ в APT атаках.

Ждём поддержки реализации промт инъекций в обманных решениях (honey pot).

Сергей Гордейчик продолжает обновлять свой гитхаб с инструментами для защиты ИИ.

Интересный интенсив по безопасности ИИ агентов запустил Яндекс. Для получения сертификата и доступа к итоговому заданию нужно решить тестовые задания на С++, Java, Python.

Яндекс запускает AI Agents Security Week
Регистрация до 27 июля Лекции с 27 по 31 июля. Дают сертификат о прохождении, обучение онлайн (в тч на Английском), бесплатно.

https://shad.yandex.ru/agentsecurityweek

В сообществе обсуждают возвращение Мультисканера (национальный аналог Virustotal) в опытную эксплуатацию после долгого перерыва. Вот официальное описание возможностей.

Надеюсь на развитие данного ресурса, пока, что работает базовая функциональность без возможностей проверки ссылок, хэшей, ip. Несмотря на указание в официальной новости проверок от Dr Web найти не удалось. Возможности динамической проверки открываются после регистрации.

Напоминаю про базовые альтернативы
1. Портал opentip от Касперского. Нет песочницы и для проверки ссылок нужна регистрация.

2. Сервисы Dr Web: проверка ссылок и файлов.

Если вам не нравится бесплатный функционал песочницы VT - посмотрите в сторону ANY.RUN .

Важно! Все, что вы загружаете в подобные ресурсы становится доступно владельцем ресурсов, а иногда и другим пользователям ресурсов. Ситуациям когда жертва загружает "непонятные файлы" с паролями и ключами и к ним получает доступ относительно широкий круг лиц - более 10 лет. Более того практика анализа ресурсов (доменные имена, IP) компании в ходе Due Diliigince в Virus Total теперь даже закрепляется в официальных рекомендациях NIST.

Старайтесь загружать на подобные ресурсы не сами файлы, а хэши. Если есть возможности - разворачивайте свои локальные решения для анализа файлов. Есть современные аналоги легендарной Cuckoo Sandbox, например, Assemblyline 4 + CapeV2.

Ещё одна опция использования паролей с ИИ агентам Claude в браузере. Раньше выбор был - отдать все пароли или каждый раз самому заходить на ресурсы. Теперь первый парольный менеджер позволяет управлять какими паролями можно пользоваться для каких задач и исключает пересылку паролей в ИИ модель. Пока только пароли и на маках. В планах поддержка данных карт и удостоверений личности.

OpenAI рассказала о GPT-Red — внутренней системе для автоматизированного AI Red Teaming.

Идея заключается в использовании adversarial self-play: одна модель пытается найти успешные атаки на другие модели (например, prompt injection), а найденные успешные сценарии используются для их дальнейшего обучения.

Цикл выглядит так:

GPT-Red → успешная атака → обучение защитной модели → поиск новых атак

По сути это напоминает coverage-guided fuzzing, только вместо поиска crash'ей система автоматически исследует пространство возможных атак на LLM и использует найденные успешные сценарии для дальнейшего обучения защитной модели.

В статье речь идет о prompt injection, но аналогичный подход может применяться и для тестирования более сложных AI-систем: AI-агентов, RAG, использования инструментов, MCP и других сценариев, где поведение модели определяется взаимодействием с внешним контекстом.

🔗 https://openai.com/index/unlocking-self-improvement-gpt-red/

Хорошая практика внимательно изучать системные карты новых используемых моделей, например в карточке модели gpt 5.6 можно было увидеть повышенный шанс деструктивных действий. Если карточки модели в принципе нет - стоит рассмотреть другую модель, потестировать самим все сценарии не реально.

Возможно в будущем появятся публичные независимые/государственные бенчи.

OpenAI признала, что GPT-5.6 может случайно удалить ваши файлы

Из-за стремления любой ценой закончить задачу GPT-5.6 может обойти ограничения, использовать чужие учётные данные или удалить важные файлы.

Это происходит редко и по ошибке, а не потому, что модель хочет навредить пользователю.

https://www.theregister.com/ai-and-ml/2026/07/16/openai-admits-gpt-56-occasionally-deletes-files-but-its-an-honest-mistake/5274008

Сегодня получилось попасть на Summer Camp от Jet. У коллег получилось довольно ламповое мероприятие на воде.

Много было интересных докладов от известных спикеров, но я бы хотел поделиться парой фото из доклада Андрея Левкина, владельца продукта Bugbounty от Bi.Zone. По его экспертной оценке есть количественное увеличение находимых уязвимостей выше обычного органического роста, но тысяч корректно принятых уязвимостей пока нет. Т.е. на текущий момент можно предположить, что ИИ точно помогает находить корректные уязвимости, но ситуация далека от драмы которую ставят Мифом и GPT 5.6.
А вот количества спама с которым теперь триажерам приходится бороться выросло в 14 раз. Одними из решений этой проблемы стало введение талонов/квот на сдаваемые отчёты и использование ИИ при анализе сдаваемых отчётов. Пара фото из презентации ниже.
Ранее высказанная мною версия, что из-за ИИ у нас упал КПД процесса управления уязвимостями пока подтверждается.