Аветисян Арутюн Ишханович, директор Института системного программирования РАН анонсировал разработанные совместно с Яндекс средства защиты ИИ с помощью средств цифрового водяного знака. Планируется выложить эти средства в открытый доступ.

#форум_доверенный_ИИ

Делюсь с вами презентацией с обзором существующих методов защиты ИИ (Guardrail) от Евгения Кокуйкина из RAFT.
Кроме обзора есть и результаты и ссылки на материалы. Важно, что автор фактически сочетает взгляд как вендора так и человека из науки/разработки.

#форум_доверенный_ИИ

В этой презентации Башарин Антон из Swordfish описал вариант проверки ИИ, по требованиям методики утверждённой 12.04.26 ФСТЭК России. В презентации есть краткое сравнение доступных опенсорс и коммерческих инструментов для автоматизации проверок. Сама методика ФСТЭК от 12.04.2026 распространяется на защиту ГИС, КИИ и систем персональных данных. Антон также поделился в презентации планами по развитию методики тестирования ИИ.

Upd: автор презентации указывает, что их методика проверки ИИ (март) вышла до утверждения методического документа ФСТЭК (апрель).

#форум_доверенный_ИИ

В этой презентации Вартан Падарян поделился деталями по проекту ГОСТ безопасной разработки ИИ в рамках РБПО (Разработка безопасного программного обеспечения), который планируется принять до конца года.

Вартан Андроникович поделился, что рабочей группы по ГОСТ пока не планируется, в связи со сжатыми сроками разработки стандарта, но планируется общественное обсуждение. В ходе разработке стандарта его уже пришлось заметно уточнять в силу быстрого прогресса в области ИИ.

Также в ходе презентации докладчик посетовал, что к предложенному в рамках стандарта SCA (Композиционному анализу) ML BOM у сообщества возникло 0 замечаний, на фоне тысяч замечаний к самому стандарту.

#форум_доверенный_ИИ

Улыбнитесь в начале рабочего дня нашему аналогу Палантира.

#форум_доверенный_ИИ

https://ico.org.uk/about-the-ico/media-centre/news-and-blogs/2026/05/fine-of-nearly-1m-issued-against-south-staffordshire-plc-and-south-staffordshire-water-plc/

Как думаете изменило бы оценку рисков по утечкам персональных данных подобное поведение регулятора в РФ?

Получилось бы после этого улучшить финансирование Кибербезопасности?

Ещё одна оценка по сдвигу влево срока возможного наступления квантового превосходства и резкого упрощения взлома традиционных асимметричных криптографических алгоритмов.

Авторы делают прогноз по срокам от 2030 до 2042. Т.е. в "оптимистичном" сценарии нам уже сейчас на долгосрочные планы нужно закладывать как минимум тестированием гибридных (традиционные+квантовоустойчивые) криптоалгоритмов.

https://report.projecteleven.com/executive-summary

https://openai.com/daybreak/

OpenAI обещает запустить свой аналог проекта Glasswing от Антропика - Daybreak (Рассвет).

Деталей пока нет, только общие планы на тему как помочь защищающимся в кибербезопасности.

Если в вашей организации есть зрелая программа личной безопасности vip клиентов или топ менеджмента не забудьте запланировать тестирование потенциальной безопасной замены СМС - Rich Communications Services (RCS) communication protocol. Поддержка этого протокола появилась в последнем обновлении Apple.

https://arstechnica.com/gadgets/2026/05/ios-macos-and-ipados-26-5-updates-arrive-with-encrypted-rcs-messaging-and-more/

https://securitylab.amnesty.org/latest/2026/05/android-intrusion-logging-as-a-new-source-of-data-for-consensual-forensic-analysis/

Отличный повод ознакомится с режимом расширенной защиты для устройств Android (AAPM). Теперь в этом режиме появилась опция сбора расширенных логов для проведения расследования по итогу взлома.

По ссылке довольно подробное руководство с изображениеми и деталями.

Кроме защиты клиентов и своих пользователей, AAPM и новое логирование пригодится для защиты и ваших терминалов/устройств самообслуживания.

Из значительных ограничений:
1. Требуется Android 16 - вышел в июне 2025.
2. AAPM блокирует установку приложений не из доверенных источников (sideloading).

Канал CISO Алисы и автономного транспорта Яндекса - Бориса Рютина.

Посты выходят не часто, но я по ним ориентируюсь на полезные конференции, точно не стоит пропускать.

Сейчас идёт обновление OWASP Top 10 for LLM Applications, и в сообществе предложили несколько новых кандидатов для добавления и замены пунктов, потерявших актуальность. Наиболее интересными показались четыре проблемы:

Inference-Time Side-Channel Disclosure — атаки на инфраструктуру инференса, при которых наблюдатель за шифрованным сетевым трафиком может с высокой точностью угадывать тематику запросов. Смотрите статью от Microsoft Whisper Leak.

Уязвимости MCP tools: скрытые вредоносные инструкции в description инструмента, tool squatting, rug pull, когда сервер меняет поведение через какое-то время после авторизации. К слову, в OWASP есть аж два документа, где детально расписаны проблемы MCP: Cheat Sheet и Guide for Using Third-Party MCP.

Persistent Memory Poisoning — можно сказать, это замена старому LLM04 (Data and Model Poisoning) про отравления датасетов обучения. За последние пару лет мы не видим кейсов таких отравлений (это не значит, что их нет, конечно), но видим много атак в runtime на межсессионную память. EchoLeak, SpAIware, кейс с Gemini есть в ссылках к этому кандидату.

И Model Misalignment, который заслуживает внимания с развитием reasoning моделей и их широкими возможностями. Пункт о том, что поведение модели расходится с исходной задачей пользователя. Сюда относятся работы про alignment faking, sleeper agents и тп. Текущее описание кандидата требует доработки и даже есть кандидат-дубликат Model Scheming and Deceptive Alignment, но, надеюсь, он всё равно войдёт в итоговый апдейт.

Кстати, до конца дня 18 мая вы можете тоже поддержать выбор новых кандидатов и помочь рабочей группе OWASP оценить, какие из старых пунктов можно исключить, если проголосуете в форме. После голосования из 10 новых кандидатов останется половина, и итоговый выбор Top 10 будет сформирован в июне.

Если ваша организация использует Claude и у вас тариф Enterprise - нужно планировать тестирование нового функционала доступного всем Claude Security. Это поиск уязвимостей в коде пока на Опусе 4.7. Поддержка на тарифах Claude Team and Max пока в планах.

Прошел Google IO 2026.
1. Анонсы по его итогам - самая быстрая модель Google Flash обновилась до 3.5 и теперь соревнуется с версией Pro и GPT 5.5 (оценка Гугл)/ 5.4 (независимая оценка), в том числе по возможностям в кибербезопасности. 3.5 это однозначный лидер по соотношению качество\скорость при относительно низкой стоимости за токен. Это ещё один индикатор того, что ИИ постепенно становится более конкурентен по отношению к человеку. Пока по заявлению в Fortune топа Nvidia люди дешевле ИИ.

2. Gemini Spark, ИИ агент от Google. Тут интересный индикатор - по прежнему основной способ защиты ИИ агентов это их изоляция. В случае со спарком в эфемерных ВМ облака гугл.

3. Гугл как и OpenAI/Anthropic запускает функционал поиска уязвимостей в коде в виде агента CodeMender. Вот тут интересное сравнение возможностей ИИ с классическими практиками безопасности кода SAST\DAST\ ручное ревью и в целом интересная статья про ИИ в КБ.