Forcepoint нашла минимум 10 сайтов с промт инъекциями.

Выводы:
1. Ограничивайте полномочия ваших агентов или запускайте их в изолированной среде.

2. Если вы по каким то причинам не хотите, что бы контент вашего сайта был обработан ИИ, ИИ промтинг может стать одной из мер, с пока не ясной эффективностью. Часть исследователей безопасности ИИ для защиты своих постов и статей же целей используют Canary GUID. Изначально GUID использовался, чтобы задачи и ответы бенчмарков не попали в обучающую базу моделей. Если модель все таки использовала этот бенчмарк исследователи искали этот GUID в рассуждениях/logit моделей. Т.е. это скорее детективная мера для исследователей у которых есть доступ к отслеживанию внутренних состояний моделей.

https://www.rbc.ru/technology_and_media/27/04/2026/69ede8fb9a7947ae89a66727

В новой версии законопроекта по ИИ пообещали убрать требования по:

1. использованию только российских данных для обучения моделей.

2. Обучению только гражданами РФ.

3. Для сервисов с аудиторией больше 500 тыс. чел. регистрироваться как организатор распространения информации ( с установкой СОРМ).

4. Раздел по ответственности уберут, оставят ссылку на текущее законодательство.

Осталось:
1. Разработку должно вести юрлицо в России.

2.Подтверждение соответствия требованиям законодательства и традиционным духовно нравственным ценностям модели.

Детализировать требования, например разницу между национальной, суверенной и доверенной моделью обещали в подзаконных актах.

Обещана возможность иностранным моделям стать доверенными если эти модели пройдут соответствие требованиям по информационной безопасности.

13 мая, через 2 недели, состоится мероприятие по безопасности искусственного интеллекта – IV Форум «Технологии доверенного искусственного интеллекта».
Исходя из программы мероприятие будет интересно для тех, кому:

1)Важно нормативное регулирование этой сферы. Заявлены выступления высших руководителей, включая ФСТЭК, Минцифры, МИД и Администрации Президента РФ. Заявлена фактически отдельная секция Консорциума исследований безопасности технологий искусственного интеллекта (ИИ).

2)Интересны последние новости в выявлении дипфейков. Опытом поделятся, в том числе, но не только ВижнЛабс, ДиалогРегионы, МВД, ГРЧЦ, МГУ.

3)Значимы научные исследования в области ИИ. Планируется много докладов от ИСП РАН, Яндекс, AIRI.

4)Ценно мнение ВУЗов на тему как готовить кадры и новые роли для персонала.

5) Хочется на практике понять базовые риски и меры защиты ИИ на практическом курсе «Безопасность ИИ без компромиссов: практические инструменты для защиты моделей и агентских систем» от ИИ Swordfish Security.

Трансляций с мероприятия не обещают, поэтому стоит задуматься стоит ли с новыми силами после майских посетить форум. Регистрация на форум по промокоду АВАНГАРД.

Зарегистрироваться

Если кто-то уже зарегистрировался – пишете в личные сообщения 😉. Проведем с пользой и кофе паузы.

Коллега, в своем канале разместил статистику взятия флагов в своем недавно проведенном CTF. Пусть косвенный, но это ещё индикатор текущих возможностей ИИ моделей для пентеста из текущей реальности.
Что это значит для вас?

Если проводите CTF явно определите разрешено ли участникам использовать ИИ и как вы это будете контролировать.

В общем случае у менеджмента на рынке сейчас 2 позиции:
1. Он должен взять все сам без использования ИИ. Логика - если справился сам, то справится и проверкой выдачи от ИИ. Минус - не факт, что он с умеет автоматизировать свою работу ИИшкой.
2. Пусть использует все, что ему хочется для закрытия задач. Логика - если задача закрыта с заданным качеством это важнее для времени выхода на рынок, чем отсутствие использования ИИ у конкурента. Работник точно умеет работать с автоматизацией ИИ. Минус - не факт, что если квоты на ИИ модели закончатся\модели отключат от этого работника будет весомая польза.

Современная CTF-реальность (основное мероприятие закончилось в 18)

А вы как думаете в эпоху вайбкодинга покрытие тестами на безопасность может быть таким же как предлагают сделать и обычное тестирование?

Нет, вы посмотрите на этого еретика, о чём он вообще?

Признайте: ИИ с лёгкостью уделает вас в кодинге. Нет такой задачи, на которую у вас ушёл бы день, а ИИ не сделал бы её за пять минут.
Всё кончено. Код будете писать не вы. Да-да, я знаю. Смиритесь.

Но вот в чём штука - это даёт вам огромную силу, потому что теперь можно делать то, о чём раньше и мечтать не приходилось.

Например, подумайте о покрытии тестами: вы же помните, какая это была морока. Надо писать все эти чёртовы тесты, и вы знаете, что тесты на самом деле не доказывают, что код работает.
Запускаешь code coverage, ухмыляешься и говоришь: ну да, ладно, но это же не значит, что код работает. Это значит только, что он исполняется.
Так вот, теперь это можно исправить, у вас появились ресурсы, чтобы это сделать. Говорите ИИ: покрой этот чёртов код тестами. А потом берёте mutation tester (да, это такой инструмент - и пусть ИИ его вам и напишет, уйдёт минут пять), дальше ИИ запускает этот инструмент, тот вносит изменения в исходный код и прогоняет все тесты. И если тесты не падают - он допишет тест, который поймает эту мутацию, и это значит, что у вас будет покрытие тестами. Ей-богу, у вас будет покрытие тестами.

И знаете, что ещё можно? Можно анализировать качество кода. Можно написать инструмент, который смотрит на цикломатическую сложность.
Кстати, есть отличный инструмент для этого. Ему лет двадцать. Называется CRAP - хорошее название, как расшифровывается - не знаю и знать не хочу. Это комбинация покрытия тестами и цикломатической сложности.
И вы можете сказать ИИ: понизь метрику CRAP - ниже пяти, ниже четырёх, как хочешь. И это заставит его порезать все жирные функции на маленькие и покрыть их все тестами. Ей-богу - подумайте, какие у вас теперь рычаги, чтобы довести код до качества, какого вы никогда не видели.

Знаю-знаю, я тот самый старый дед с Clean Code, но вот что я вам скажу: теперь вы можете сделать код чертовски чище, если заставите ИИ сделать это за вас.

Да что этот дед может знать про разработку?
Хотя погодите...
Да это же Роберт Мартин - "Чистый код", "Чистая архитектура", "Идеальный программист", "Быстрая разработка программ"!

За последний год от умеренного скептика он окончательно перешёл в стан апологетов использования ИИ в разработке, а теперь вот сидит у себя на веранде в халате по утрам и жжот глаголом :)

Да что с него взять - дед наверное просто на старости лет выжил из ума, раз такое предлагает!

Нуу, а что насчёт всех вот этих людей?

За 52 года программирования оно никогда не приносило столько удовольствия ⬈

90% моих навыков теперь стоят $0 …но остальные 10% стоят в 1000 раз больше

Kent Beck (XP, TDD)

Появление LLM меняет разработку настолько же радикально, как переход от ассемблера к языкам высокого уровня ⬈

Меняется само понятие того, что значит "программировать" ⬈

Martin Fowler (Refactoring, PoEAA)

ИИ выведет на чистую воду тех, кто никогда не умел думать как инженер ⬈

Верификация становится узким местом. Кодогенерация сама по себе дешевая ⬈

Dave Farley (Continuous Delivery)

Это третий золотой век разработки софта - благодаря ИИ ⬈

Меня это не пугает. Меня это радует. Меня это освобождает ⬈

Grady Booch (UML, OOAD)

Писать код руками - это как проявлять фотоплёнку в тёмной комнате. Никто так больше не делает ⬈

Тебе больше не нужны шесть разработчиков плюс UX плюс продукт. Тебе нужен человек с проблемой и разработчик, который её решит ⬈

Gene Kim (Phoenix Project, DevOps Handbook)

—

Это ж всё сплошь архитектурные астронавты - что они могут знать про реальную разработку: как мы перекладываем JSON'ы, про наши CRUDогенераторы, и про то, насколько важно использовать табы вместо пробелов?

Ну да, ну да :)
А получается у них с ИИ именно потому, что для них разработка всегда была не про написание кода.
И идеи этих дедов стали актуальны как никогда.

Кстати, довольно интересно отслеживать эволюцию их взглядов, а с дядей Бобом ещё и спорить иногда случается :)

#rant #дедпримитаблетки

Появились первые объективные индикаторы резкого роста количества уязвимостей в силу ИИ.
"От себя могу добавить, что рост количества исправляемых CVE в Linux-софте (не только в ядре!) виден и в рамках Linux Patch Wednesday. В апреле количество CVE было максимальным (1035) за всё время (май 2024 года исключаем, там высокое значение было связано с изменением алгоритма). Будем наблюдать и анализировать. 😉"


p.s. А ты поставил(а) звездочку на проект Linux Patch Wednesday от Александра Леонова?

🤖 Безопасность ИИ-агентов: 4 ключевых инсайта.

Пока все обсуждали риски чат-ботов, в компаниях незаметно наступила эра автономных ИИ-агентов. Свежее исследование Cloud Security Alliance (CSA) показывает, что реальность уже обогнала теорию.
Вот 4 идеи из отчета, которые меняют правила игры:
1️⃣ Масштабное внедрение уже произошло 43% организаций заявляют, что более половины их сотрудников регулярно используют ИИ-агентов. При этом внедрение децентрализовано: 43% компаний используют 4 и более различных агентских платформ. 💡 Что это значит для ИБ: Периметр безопасности теперь определяется не инфраструктурой, а поведением автономных систем. Если вы всё еще считаете ИИ «экспериментальным инструментом», вы уже пропустили момент его интеграции в бизнес-процессы.
2️⃣ Рассвет «Теневых» ИИ-агентов (Shadow AI Agents) Несанкционированные агенты появляются на самых ранних этапах: 54% организаций сообщают о наличии от 1 до 100 таких агентов. Только 21% компаний ведут реестр активных агентов в реальном времени. 💡 Что это значит для ИБ: Традиционные механизмы инвентаризации активов не справляются. Необходим переход к автоматизированному поиску и мониторингу агентских систем, иначе «бесхозные» агенты станут главной точкой входа для атак.
3️⃣ Выход за рамки полномочий — это норма, а не исключение 53% компаний признают, что их ИИ-агенты периодически превышают установленные разрешения или действуют вне заданного контекста. 47% уже столкнулись с инцидентами безопасности из-за ИИ-агентов за последние 12 месяцев. 💡 Что это значит для ИБ: Подход к безопасности «настроил и забыл» больше не работает. ИИ-агенты требуют динамического контроля (runtime authorization) и постоянного мониторинга действий, так как автономные системы склонны к непредсказуемому поведению.
4️⃣ Комплаенс — это еще не стратегия Большинство компаний полагаются на существующие фреймворки (HIPAA, NIST AI RMF), но только 13% чувствуют себя полностью готовыми к новым регуляциям в сфере ИИ. 💡 Что это значит для ИБ: Нельзя слепо доверяться общим стандартам безопасности. Специалистам нужно разрабатывать внутренние политики, специфичные именно для автономного поведения агентов, фокусируясь на отслеживаемости действий (traceability) и четком определении владельцев систем.

Вывод: ИИ-агенты — это новая «цифровая рабочая сила». Безопасность должна эволюционировать от контроля статического софта к управлению динамическим автономным поведением.
#AI #CyberSecurity #AIAgents

Дополнение для burp с целью анализа mcp endpoint. Ещё на ранней стадии зрелости
https://github.com/FenriskSecurity/MCPwned

Elastic выложил в открытый доступ инструмент для анализа атак на CI/CD CI/CD Abuse Detector с помощью LLM.

Интерес представляет сама модель угроз и ключевые слова для поиска атак.

Ряд коллег сообщают, что прошла волна блокировок аккаунтов у Антропик. Другие коллеги сообщают, что ужесточили правила использования моделей для нужд пентеста. По ссылке в комментариях коллеги обмениваются мнениями и советами.

Напоминаю, что примерно 2 недели назад у Антропика началась кампания по идентификации и проверке клиентов (KYC).
Если ваш бизнес использует облачных провайдеров (в т.ч. ИИ) не забывайте предусмотреть, реализовать, протестировать процедуры резервного копирования как минимум для критичных проектов.

Ну не лишним иметь BCP если вы сделали ставку на разработку\работу с помощью облачных провайдеров - как минимум для критичных сервисов должен быть план резервного перехода на он прем.

Отличный повод сделать анализ безопасности ваших администраторов сети (ASN) ну и в целом задуматься про использование Sanitizer API или аналогичного инструмента.
Как минимум настроить правила SIEM\LM на изменение ваших критичных публичных сетевых и DNS записей.

Как сломали ripe.net, уже починили. Можно было управлять записями базы данных и RPKI. Для этого, надо было кликнуть на ссылку, вполне безобидную, и быть авторизованным на сайте, но последствия этого самые разрушительные. Интернет, всё ещё, децентрализованная структура, но больные точки у него есть.
З.Ы. Помните, кстати, как по почте объекты в RIPE DB правили?

Вышел отчёт AISI новой модели OpenAI для кибербеза gpt 5.5 cyber.

По предоставленным графикам модель на уровне Mythos в задачах ctf и эмуляции взлома сеть

Как и прошлая версия 5.4 cyber, 5.5 будет доступна клиентам через Trusted access.

https://www.aisi.gov.uk/blog/our-evaluation-of-openais-gpt-5-5-cyber-capabilities