Интересный вебинар от Gartner по экономике ИИ.
Ряд кибербез вендоров пошли по пути как раз создания специфичных моделей: google sec gemini v1 и sec-palm, Microsoft Security Copilot specialized language model, Cisco Foundation-Sec-8B, Cisco SecureBERT 2.0, PT Molot.

Отдельно стоит упомянуть общие модели типа gpt 5.5-cyber, Mythos 5 как модели в которых максимально убраны ограничения по кибербезопасности и при этом сделан акцент на из возможности именно в Кибериммуности.

На днях погружался в китайский рынок AI Security и своими находками поделился в статье на Хабре. Помимо Alibaba и Tencent, свои решения есть у многих компаний: QAX, Sangfor, Venustech, NSFOCUS. Но эти продукты на англоязычных лендингах вендоров вы не найдете. А еще в Китае очень любят OpenClaw 🦞. Вокруг него уже выросла целая экосистема защиты, появился отдельный стандарт, а название "лобстер" закрепилось у потребителей.

Если модели Qwen, GLM и DeepSeek известны всем за топовые бенчмарки и открытость, то AI Security в Китае сейчас скрыт от лишних глаз. Ссылка на статью: https://habr.com/ru/companies/raft/articles/1056530/

Если вы облачный провайдер или вы используете облачного провайдера на базе виртуализации KVM необходимо оценить риски и компенсирующие меры для свежей уязвимостей типа побег из виртуальной машины - Junuscape.
Компенсируюшим мерам до патчинга могут быть отключение nested virtualization и правила по мониторингу попыток эксплуатации.

https://github.com/V4bel/Januscape

Классификация промт инъекциций от Crowdstrike обновилась 5 новыми техниками с примерами.

Коллеги пишут, что законопроект "О поддержке развития технологий искусственного интеллекта в Российской
Федерации" приняли в 3 чтениях.
Любопытно, что большинство рекомендованных правок на втором чтении, со стороны профильного комитета Госдумы, не прошло.
Правки в основном технические, самой значимой правкой, мне показалось, что удалили из статьи 3 термин "меры государственной поддержки в сфере искусственного интеллекта".
Во вложении документ в режиме рецензирования первоначального проекта и проекта переданного в Совет Федерации. Делал через распознавание, поэтому относитесь как к информационному материалу, требующему отдельной проверки.

Также в мире
Министр иностранных дел Великобритании 6 июля в своей статьей сравнила ИИ с Хиросомой и сказала, что мир не может ждать аналогичной ситуации с ИИ для появления аналога договора о нераспространения Ядерного оружия.

На форуме ООН Global Dialogue on AI Governance 6-7 июля представители России поделились своим видением процессом корпоративного управления ИИ.

Решил оценить, с учётом статистики за 10 лет, какая вероятность принятия закона после 3 чтений Госдумы.

Получилось чуть больше 99 процентов.

Т.е. теперь фактически можно ждать ноября для подзаконных актов, а к самому закону относится как на 99 процентов подписанному к концу июля.

Почти формат вредных советов выбрал регулятор Великобритании NCSC для продвижения лучших практик ИБ.

Регулятор выпустил материал под названием,что нужно сделать, чтобы работа у Пентестеров была сложнее.

Ответ: Безопасность по умолчанию, сетевое сегментирование, ведение журналов и мониторинг.

Европейский центральный банк потребовал от европейских банков до октября разработать планы противодействия атакам на основе передовых ИИ моделей (Mythos и т.д.).

Одновременно Европейская комиссия по системным рискам European Systemic Risk Board (ESRB) отдельным документом отнесла возможности ИИ в кибербезопасности к системным рискам.

Документ от комиссии довольно неплохо описывает актуальные риски с точки зрения кибербезного комплаенса.

Это в общем то, ожидаемые шаги ЕЦБ на фоне возвращения в общий доступ Fable5 и вчерашнего широкого релиза GPT 5.6.
Некоторые бенчмарки отдали преимущество 5.6 перед Fable5 в силу частого срабатывания защитных механизмов откатывющих модель на более слабую версию Opus 4.8

Появились первые слухи о релизе в следующем месяце новой версии GPT версии 6, ожидается релиз Fable 5.1.

Вышли обсуждаемые в сообществе варианты действий США в области прогресса искусственного интеллекта: стоит договорится с Китаем, стоит ли замедлять разработку ИИ в пользу вопросов общей безопасности.

Среди прочего есть оптимистичные цитаты "AI will most likely lead to the end of the world, but in the meantime there will be great companies.” – Sam Altman

Евросоюз опубликовал план действий по ИИ в основе которого гармонизация уже выпущенных нормативных документов и законов:

1. С 2 августа вступает в силу часть положений AI ACT с оборотными штрафами (до 3 процентов от глобального годового оборота). Причинами штрафов, например, могут стать отсутствие практик red teaming, описания киберрисков, мер ограничения опасных возможностей, отчётов об инцидентах, доступа к модели для независимой оценки.

2. До конца 2026 года разработать план действий и резервных мероприятий European Blueprint for structured access  на случай если будет закрыт доступ к передовым моделям ИИ со стороны провайдера или третьей страной.

3.Создание в 2027 году независимой европейской инфраструктуры для оценки рисков новых ИИ моделей до их релиза на рынок ЕС. Создание симуляционной платформы для тестирования ИИ в критических сферах: финансы, энергетика, медицина .

4. До 11 декабря 2027 полное внедрение требований безопасности по умолчанию и управлению уязвимости для всех цифровых продуктов в рамках Cyber Resilience Act.

5. Запуск конкурса EU grand challenge для стимулирования разработки и тиража решений в области безопасности ИИ со стороны бизнеса и исследователей.

6. К Q4 2026 ENISA и JRC должны создать платформу для тестирования ИИ с продвинутыми возможностями в области кибербезопасности, для проверки применения ИИ в задачах: поиск уязвимостей, устранение уязвимостей, реагирования на инциденты, обнаружение, сортировка, киберразведка.

7. С Q3 2026 ENISA должна начать выпускать рекомендации и руководства по защите от киберугроз и использованию ИИ в кибербезопасности.

8. С Q3 2026   государства-члены и бизнес должны адаптировать управление уязвимостями к «эпохе ИИ».

9. К Q4 2026 Запуск пилота Critical Open Source Resilience Campaign для обнаружения критичных компонентов открытого ПО, созданию каталога ИИ сервисов для патчинга и устранения уязвимостей.

10. Обозначено намерение создания ИИ Фабрик для тестирования, обучения, разворачивания продвинутых ИИ моделей для киберустойчивости на суверенной ИТ инфраструктуре.  

11. К Q4 2026 В рамках Cybersecurity Skills Academy должны быть разработаны обучающие модули для специалистов по кибербезопасности по использованию ИИ. ENISA также должна обновить European Cybersecurity Skills Framework, добавив ИИ компетенции.

Я обозначил тезисно только ключевые моменты плана, рекомендую с ним самим ознакомится для больших деталей.

Я допускаю, что часть азиатских ИИ провайдеров закроют доступ для IP EC с второго августа для минимизации рисков оборотных штрафов. Такая ситуация была и при вступлении в силу GDPR.

Как вы думаете, что из пунктов выше могло бы попасть в проект закона по поддержке ИИ, а что в его подзаконные акты?

Если вы как и я столкнулись с тем, что все фронтир модели Антропика (Sonnet 5, Opus 4.8) начали блочить практически все запросы про Cybersecurity - есть решение. Достаточно пройти Cyber Verification Program. Создаем заявку, скидываем им Linkedin, Hackerone, свои CVE и статьи про безопасность, резюме в Антропик.
После этого для нас открываются все модели, кроме Fable без гардтрейлов на Cybersecurity.

Wired сообщает, что Руководитель отдела систем безопасности (Head of Safety Systems) OpenAI Johannes Heidecke покинул компанию. Новый временный руководитель отдела систем безопасности Saachi Jain теперь получил ещё один слой управления между ним и CEO - в лице VP of Research and Safety Mia Glaese. Новый уровень подчиненности ВРИО отдела систем безопасности это CEO-3.

Объясняется это необходимостью встроить процессы безопасности в процесс разработки, а не просто оставить снаружи как внешний фильтр. Отдельно говорят о фактической потере независимости этого отдела.

Учитывая недавнее сравнение Министра иностранных дел Великобритании, можно провести аналогию с назначением ответственности за безопасность использования ядерной бомбы на отдел разработки новых ядерных бомб ;).

Если посмотреть на подчиненность CISO и Head AI Safety в компаниях-разработчиках ИИ можно найти много интересного. Например:
1. C Октября 2024 до января 2026 у OpenAI было фактически 2 CISO Matt Knight и Dane Stuckey.
2. У Anthropic право согласования frontier-моделей у Jared Kaplan, Chief Science Officer и Responsible Scaling Officer, RSO. По публичной информации решение о релизе новой модели принимается независимо им и CEO.
3. У Google Deepmind нет явного Head of AI Safety. Есть Responsibility & Safety Council и AGI Safety Council.
4. SpaceXAI - CISO Steven Aiello совмещает работу в XAI и X. Публично ответственного за AI Safety найти не удалось.

Проследив подчиненность роли CISO или ответственного за AI Safety в компании можно сделать вывод о риск-аппетите компании и подходе к релизу новых продуктов. Когда ответственные за безопасность оказываются подчинёнными руководителям бизнеса или разработки - риск конфликта интересов показался CEO меньшим, чем риск потери прибыли.
Исключение, когда в силу требований комплаенса такие руководители де-юре должны быть CEO-1, например в силу требований Центрального Банка, в этом случае анализ усложняется до курирующих членов Правления организации и (или) руководителя риск комитета в организации.

Опубликовали исследование про использование так называемых canary strings для защиты от угроз ИИ. Tracebit оценили эффективность использования промт инъекций в виде так называемых контекстных бомб для защиты от вредоносных ИИ агентов. Получилось сильное падение эффективности атак - на 90 %.

Есть практика сanary strings для исключения данных из корпуса обучения.

Отличное доказательство, что промт инъекции это проблема и на стороне атакующих. И это должно сильно ограничивать эффективность атакующих ИИ агентов и риски для использования ИИ в APT атаках.

Ждём поддержки реализации промт инъекций в обманных решениях (honey pot).

Сергей Гордейчик продолжает обновлять свой гитхаб с инструментами для защиты ИИ.

Интересный интенсив по безопасности ИИ агентов запустил Яндекс. Для получения сертификата и доступа к итоговому заданию нужно решить тестовые задания на С++, Java, Python.