В этой презентации Вартан Падарян поделился деталями по проекту ГОСТ безопасной разработки ИИ в рамках РБПО (Разработка безопасного программного обеспечения), который планируется принять до конца года.
Вартан Андроникович поделился, что рабочей группы по ГОСТ пока не планируется, в связи со сжатыми сроками разработки стандарта, но планируется общественное обсуждение. В ходе разработке стандарта его уже пришлось заметно уточнять в силу быстрого прогресса в области ИИ.
Также в ходе презентации докладчик посетовал, что к предложенному в рамках стандарта SCA (Композиционному анализу) ML BOM у сообщества возникло 0 замечаний, на фоне тысяч замечаний к самому стандарту.
#форум_доверенный_ИИ
Вартан Андроникович поделился, что рабочей группы по ГОСТ пока не планируется, в связи со сжатыми сроками разработки стандарта, но планируется общественное обсуждение. В ходе разработке стандарта его уже пришлось заметно уточнять в силу быстрого прогресса в области ИИ.
Также в ходе презентации докладчик посетовал, что к предложенному в рамках стандарта SCA (Композиционному анализу) ML BOM у сообщества возникло 0 замечаний, на фоне тысяч замечаний к самому стандарту.
#форум_доверенный_ИИ
https://ico.org.uk/about-the-ico/media-centre/news-and-blogs/2026/05/fine-of-nearly-1m-issued-against-south-staffordshire-plc-and-south-staffordshire-water-plc/
Как думаете изменило бы оценку рисков по утечкам персональных данных подобное поведение регулятора в РФ?
Получилось бы после этого улучшить финансирование Кибербезопасности?
Как думаете изменило бы оценку рисков по утечкам персональных данных подобное поведение регулятора в РФ?
Получилось бы после этого улучшить финансирование Кибербезопасности?
ico.org.uk
Fine of nearly £1m issued against South Staffordshire Plc and South Staffordshire Water Plc following major cyber attack and data…
The Information Commissioner's Office (ICO) has fined South Staffordshire Plc and South Staffordshire Water Plc (together South Staffordshire) £963,900 following a serious cyber attack that resulted in the personal information of 633,887 people being extracted…
https://www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/KI/SBOM-for-AI_minimum-elements.html
Рабочая группа G7 подготовила верхнеуроаневые рекомендации по SBOM для ИИ моделей.
По моей оценке документ скорее будет концептуальной основой для других стандартов на уровне стран или крупных компаний. На практике пока не ясно откуда брать данные для его наполнения.
Рабочая группа G7 подготовила верхнеуроаневые рекомендации по SBOM для ИИ моделей.
По моей оценке документ скорее будет концептуальной основой для других стандартов на уровне стран или крупных компаний. На практике пока не ясно откуда брать данные для его наполнения.
Ещё одна оценка по сдвигу влево срока возможного наступления квантового превосходства и резкого упрощения взлома традиционных асимметричных криптографических алгоритмов.
Авторы делают прогноз по срокам от 2030 до 2042. Т.е. в "оптимистичном" сценарии нам уже сейчас на долгосрочные планы нужно закладывать как минимум тестированием гибридных (традиционные+квантовоустойчивые) криптоалгоритмов.
https://report.projecteleven.com/executive-summary
Авторы делают прогноз по срокам от 2030 до 2042. Т.е. в "оптимистичном" сценарии нам уже сейчас на долгосрочные планы нужно закладывать как минимум тестированием гибридных (традиционные+квантовоустойчивые) криптоалгоритмов.
https://report.projecteleven.com/executive-summary
https://openai.com/daybreak/
OpenAI обещает запустить свой аналог проекта Glasswing от Антропика - Daybreak (Рассвет).
Деталей пока нет, только общие планы на тему как помочь защищающимся в кибербезопасности.
OpenAI обещает запустить свой аналог проекта Glasswing от Антропика - Daybreak (Рассвет).
Деталей пока нет, только общие планы на тему как помочь защищающимся в кибербезопасности.
OpenAI
Daybreak | OpenAI for cybersecurity
Deploy AI for cyber defense with GPT-5.5 and Codex Security to identify threats, generate patches, and verify remediation across code and systems.
Если в вашей организации есть зрелая программа личной безопасности vip клиентов или топ менеджмента не забудьте запланировать тестирование потенциальной безопасной замены СМС - Rich Communications Services (RCS) communication protocol. Поддержка этого протокола появилась в последнем обновлении Apple.
https://arstechnica.com/gadgets/2026/05/ios-macos-and-ipados-26-5-updates-arrive-with-encrypted-rcs-messaging-and-more/
https://arstechnica.com/gadgets/2026/05/ios-macos-and-ipados-26-5-updates-arrive-with-encrypted-rcs-messaging-and-more/
https://securitylab.amnesty.org/latest/2026/05/android-intrusion-logging-as-a-new-source-of-data-for-consensual-forensic-analysis/
Отличный повод ознакомится с режимом расширенной защиты для устройств Android (AAPM). Теперь в этом режиме появилась опция сбора расширенных логов для проведения расследования по итогу взлома.
По ссылке довольно подробное руководство с изображениеми и деталями.
Кроме защиты клиентов и своих пользователей, AAPM и новое логирование пригодится для защиты и ваших терминалов/устройств самообслуживания.
Из значительных ограничений:
1. Требуется Android 16 - вышел в июне 2025.
2. AAPM блокирует установку приложений не из доверенных источников (sideloading).
Отличный повод ознакомится с режимом расширенной защиты для устройств Android (AAPM). Теперь в этом режиме появилась опция сбора расширенных логов для проведения расследования по итогу взлома.
По ссылке довольно подробное руководство с изображениеми и деталями.
Кроме защиты клиентов и своих пользователей, AAPM и новое логирование пригодится для защиты и ваших терминалов/устройств самообслуживания.
Из значительных ограничений:
1. Требуется Android 16 - вышел в июне 2025.
2. AAPM блокирует установку приложений не из доверенных источников (sideloading).
Amnesty International Security Lab
Android Intrusion Logging as a new source of data for consensual forensic analysis - Amnesty International Security Lab
Google has today announced the launch of a new ‘Android Intrusion Logging’ feature as part of Android Advanced Protection Mode (AAPM). The new intrusion logging feature promises to be a major aid to digital forensics researchers undertaking investigations…
Канал CISO Алисы и автономного транспорта Яндекса - Бориса Рютина.
Посты выходят не часто, но я по ним ориентируюсь на полезные конференции, точно не стоит пропускать.
Посты выходят не часто, но я по ним ориентируюсь на полезные конференции, точно не стоит пропускать.
Telegram
dukeBarman'🐉 notes
Ещё одну заметку и спать...
Сайт: https://dukebarman.pro
Сообщество любителей фаззинга: @easy_fuzzing
Сайт: https://dukebarman.pro
Сообщество любителей фаззинга: @easy_fuzzing
🫡3
Forwarded from Евгений Кокуйкин - Raft
Сейчас идёт обновление OWASP Top 10 for LLM Applications, и в сообществе предложили несколько новых кандидатов для добавления и замены пунктов, потерявших актуальность. Наиболее интересными показались четыре проблемы:
Inference-Time Side-Channel Disclosure — атаки на инфраструктуру инференса, при которых наблюдатель за шифрованным сетевым трафиком может с высокой точностью угадывать тематику запросов. Смотрите статью от Microsoft Whisper Leak.
Уязвимости MCP tools: скрытые вредоносные инструкции в description инструмента, tool squatting, rug pull, когда сервер меняет поведение через какое-то время после авторизации. К слову, в OWASP есть аж два документа, где детально расписаны проблемы MCP: Cheat Sheet и Guide for Using Third-Party MCP.
Persistent Memory Poisoning — можно сказать, это замена старому LLM04 (Data and Model Poisoning) про отравления датасетов обучения. За последние пару лет мы не видим кейсов таких отравлений (это не значит, что их нет, конечно), но видим много атак в runtime на межсессионную память. EchoLeak, SpAIware, кейс с Gemini есть в ссылках к этому кандидату.
И Model Misalignment, который заслуживает внимания с развитием reasoning моделей и их широкими возможностями. Пункт о том, что поведение модели расходится с исходной задачей пользователя. Сюда относятся работы про alignment faking, sleeper agents и тп. Текущее описание кандидата требует доработки и даже есть кандидат-дубликат Model Scheming and Deceptive Alignment, но, надеюсь, он всё равно войдёт в итоговый апдейт.
Кстати, до конца дня 18 мая вы можете тоже поддержать выбор новых кандидатов и помочь рабочей группе OWASP оценить, какие из старых пунктов можно исключить, если проголосуете в форме. После голосования из 10 новых кандидатов останется половина, и итоговый выбор Top 10 будет сформирован в июне.
Inference-Time Side-Channel Disclosure — атаки на инфраструктуру инференса, при которых наблюдатель за шифрованным сетевым трафиком может с высокой точностью угадывать тематику запросов. Смотрите статью от Microsoft Whisper Leak.
Уязвимости MCP tools: скрытые вредоносные инструкции в description инструмента, tool squatting, rug pull, когда сервер меняет поведение через какое-то время после авторизации. К слову, в OWASP есть аж два документа, где детально расписаны проблемы MCP: Cheat Sheet и Guide for Using Third-Party MCP.
Persistent Memory Poisoning — можно сказать, это замена старому LLM04 (Data and Model Poisoning) про отравления датасетов обучения. За последние пару лет мы не видим кейсов таких отравлений (это не значит, что их нет, конечно), но видим много атак в runtime на межсессионную память. EchoLeak, SpAIware, кейс с Gemini есть в ссылках к этому кандидату.
И Model Misalignment, который заслуживает внимания с развитием reasoning моделей и их широкими возможностями. Пункт о том, что поведение модели расходится с исходной задачей пользователя. Сюда относятся работы про alignment faking, sleeper agents и тп. Текущее описание кандидата требует доработки и даже есть кандидат-дубликат Model Scheming and Deceptive Alignment, но, надеюсь, он всё равно войдёт в итоговый апдейт.
Кстати, до конца дня 18 мая вы можете тоже поддержать выбор новых кандидатов и помочь рабочей группе OWASP оценить, какие из старых пунктов можно исключить, если проголосуете в форме. После голосования из 10 новых кандидатов останется половина, и итоговый выбор Top 10 будет сформирован в июне.
Google Docs
OWASP Top 10 for LLM Applications 2026 — Sprint 2 Community Vote
Single ballot covering both tracks of the Sprint 2 community vote:
Track A — new candidate entries proposed for the 2026 list
Track B — refreshed existing entries (LLM01–LLM10)
Estimated time: 10 minutes if you score every entry. Less if you skip entries…
Track A — new candidate entries proposed for the 2026 list
Track B — refreshed existing entries (LLM01–LLM10)
Estimated time: 10 minutes if you score every entry. Less if you skip entries…
Если ваша организация использует Claude и у вас тариф Enterprise - нужно планировать тестирование нового функционала доступного всем Claude Security. Это поиск уязвимостей в коде пока на Опусе 4.7. Поддержка на тарифах Claude Team and Max пока в планах.
Claude
Claude Security is now in public beta | Claude
Scan code for vulnerabilities and generate proposed fixes with Opus 4.7, on the Claude Platform, or through technology and services partners building with Claude.
Прошел Google IO 2026.
1. Анонсы по его итогам - самая быстрая модель Google Flash обновилась до 3.5 и теперь соревнуется с версией Pro и GPT 5.5 (оценка Гугл)/ 5.4 (независимая оценка), в том числе по возможностям в кибербезопасности. 3.5 это однозначный лидер по соотношению качество\скорость при относительно низкой стоимости за токен. Это ещё один индикатор того, что ИИ постепенно становится более конкурентен по отношению к человеку. Пока по заявлению в Fortune топа Nvidia люди дешевле ИИ.
2. Gemini Spark, ИИ агент от Google. Тут интересный индикатор - по прежнему основной способ защиты ИИ агентов это их изоляция. В случае со спарком в эфемерных ВМ облака гугл.
3. Гугл как и OpenAI/Anthropic запускает функционал поиска уязвимостей в коде в виде агента CodeMender. Вот тут интересное сравнение возможностей ИИ с классическими практиками безопасности кода SAST\DAST\ ручное ревью и в целом интересная статья про ИИ в КБ.
1. Анонсы по его итогам - самая быстрая модель Google Flash обновилась до 3.5 и теперь соревнуется с версией Pro и GPT 5.5 (оценка Гугл)/ 5.4 (независимая оценка), в том числе по возможностям в кибербезопасности. 3.5 это однозначный лидер по соотношению качество\скорость при относительно низкой стоимости за токен. Это ещё один индикатор того, что ИИ постепенно становится более конкурентен по отношению к человеку. Пока по заявлению в Fortune топа Nvidia люди дешевле ИИ.
2. Gemini Spark, ИИ агент от Google. Тут интересный индикатор - по прежнему основной способ защиты ИИ агентов это их изоляция. В случае со спарком в эфемерных ВМ облака гугл.
3. Гугл как и OpenAI/Anthropic запускает функционал поиска уязвимостей в коде в виде агента CodeMender. Вот тут интересное сравнение возможностей ИИ с классическими практиками безопасности кода SAST\DAST\ ручное ревью и в целом интересная статья про ИИ в КБ.
Google Cloud Blog
Innovations from Google I/O 26 on Google Cloud | Google Cloud Blog
Today at Google I/O, we’re doubling down on our mission to support the Agentic Enterprise by delivering new AI innovations and putting them directly in the hands of enterprises via Gemini Enterprise, Agent Platform, and Google Workspace.
На мой взгляд отличное интервью с одним из топовых экспертов в области управления уязвимостей - Александром Леоновым.
Обсуждаются
1. практические аспекты использования метрик CVSS\EPSS и списка KEV,
2. ИИ для VM.
3. Что такое Exposure management: крутон или гренка? ;) .
4. Баланс ИТ и ИБ для VM.
5. Kaspersky OS как альтернатива Linux kernel для критичных применений.
и другие темы.
Обсуждаются
1. практические аспекты использования метрик CVSS\EPSS и списка KEV,
2. ИИ для VM.
3. Что такое Exposure management: крутон или гренка? ;) .
4. Баланс ИТ и ИБ для VM.
5. Kaspersky OS как альтернатива Linux kernel для критичных применений.
и другие темы.
Forwarded from BELYAEV_SECURITY
🔥[Belyaev_Podcast]🔥 - Выпуск №17: «Почему компании не закрывают уязвимости?»
📺 [Смотреть]
💙 [Смотреть]
🎵 [Слушать]
💬 [Слушать]
📺 [Смотреть] - Нажми кнопку «В ТОП🚀 »
〰️ 〰️ 〰️
📝 Связаться с Дмитрием
〰️ 〰️ 〰️
♥️ [Отзыв гостей]
https://t.me/avleonovrus
https://t.me/sec_devops
〰️ 〰️ 〰️
↘️ [Все проекты]
👹 [Стикеры]
📚 [Менторство]
💰 [Буст BS]
〰️ 〰️ 〰️
💥 Почему нужно попасть на проект [Belyaev_Security]💥
https://t.me/avleonovrus
https://t.me/sec_devops
📚 [Менторство]
💰 [Буст BS]
💥 Почему нужно попасть на проект [Belyaev_Security]💥
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1🔥1👏1
Если у вас есть приватные репозитории в Гитхабе самое время проверить, что там нет кода который вы не апрувили для мерджа
https://socradar.io/blog/teampcp-github-breach-internal-github-repository/
Ждем полноценной новости от Github, а не только твиттер.
https://socradar.io/blog/teampcp-github-breach-internal-github-repository/
Ждем полноценной новости от Github, а не только твиттер.
SOCRadar® Cyber Intelligence Inc.
TeamPCP GitHub Breach: Internal GitHub Repositories Allegedly Accessed
TeamPCP GitHub Breach involves alleged access to internal GitHub repositories as GitHub investigates the developing claim and its impact...
Возможно коллеги которые сейчас делают план по развитию ИИ в России учтут и опыт Японии .
Сейчас, на мой взгляд, в обсуждениях кибербезопасности и safety ИИ на конференциях, в выступлениях и инициативах различных органов есть критическая зона развития. Она заключается в том, что какие бы не были предложены отличные способы регулирования и защиты LLM моделей, Россия не является лидером в области создания своих моделей, не является лидеров в использовании LLM моделей.
Например, принятие законопроекта по ИИ в текущей редакции вряд ли заставит перенести в России разработку моделей Qwen или Kimi.
Согласитесь, было бы довольно странно принимать требования по доверенным операционным системам (ОС) в условиях отсутствия на рынке самих доверенных ОС. Надеюсь и законопроект не будет принят до тех пор пока на рынке не появится как минимум 3 доверенных ИИ (и) или 1 доверенный ИИ от государства.
На мой взгляд гораздо более полезным был бы тех рекомендации посвященные процессу выбора opensource\закрытых моделей.
Надеюсь, проект стандарта ИСП РАН, в том числе, поможет и для этого вызова.
Идея которая лежит на поверхности - образование в РФ объединения по разработке своей 1 модели ИИ, возможно с финансированием государством вспомогательной инфраструктуры, доступности данных и образовательных программ. Объем инвестиций необходимый для создания своей полноценной LLM модели явно превышает текущие возможности Российского бюджета.
Другая очевидная идея - формирование (или дообучение, что гораздо дешевле) специализированных моделей по отраслям где собрано большое количество данных в РФ.
Например - добыча ресурсов, кибербез или финтех. Пример такой модели от Норникеля.
Кибербез компании РФ 10 летиями собирали такие данные для обучения в целом по миру и РФ - Лаборатория Касперского, Позитив Текнолоджиз, F6/F.A.C.C.T/GIB.
У нас функционируют примерно уже 10 лет одни из передовых в мире систем сбора событий уровня страна: ГосСОПКА и FinCert.
Вот тут Денис Батранков описал какие данные из Кибербеза можно использовать для обучения моделей Кибербеза.
Сейчас, на мой взгляд, в обсуждениях кибербезопасности и safety ИИ на конференциях, в выступлениях и инициативах различных органов есть критическая зона развития. Она заключается в том, что какие бы не были предложены отличные способы регулирования и защиты LLM моделей, Россия не является лидером в области создания своих моделей, не является лидеров в использовании LLM моделей.
Например, принятие законопроекта по ИИ в текущей редакции вряд ли заставит перенести в России разработку моделей Qwen или Kimi.
Согласитесь, было бы довольно странно принимать требования по доверенным операционным системам (ОС) в условиях отсутствия на рынке самих доверенных ОС. Надеюсь и законопроект не будет принят до тех пор пока на рынке не появится как минимум 3 доверенных ИИ (и) или 1 доверенный ИИ от государства.
На мой взгляд гораздо более полезным был бы тех рекомендации посвященные процессу выбора opensource\закрытых моделей.
Надеюсь, проект стандарта ИСП РАН, в том числе, поможет и для этого вызова.
Идея которая лежит на поверхности - образование в РФ объединения по разработке своей 1 модели ИИ, возможно с финансированием государством вспомогательной инфраструктуры, доступности данных и образовательных программ. Объем инвестиций необходимый для создания своей полноценной LLM модели явно превышает текущие возможности Российского бюджета.
Другая очевидная идея - формирование (или дообучение, что гораздо дешевле) специализированных моделей по отраслям где собрано большое количество данных в РФ.
Например - добыча ресурсов, кибербез или финтех. Пример такой модели от Норникеля.
Кибербез компании РФ 10 летиями собирали такие данные для обучения в целом по миру и РФ - Лаборатория Касперского, Позитив Текнолоджиз, F6/F.A.C.C.T/GIB.
У нас функционируют примерно уже 10 лет одни из передовых в мире систем сбора событий уровня страна: ГосСОПКА и FinCert.
Вот тут Денис Батранков описал какие данные из Кибербеза можно использовать для обучения моделей Кибербеза.
❤2
Независимый исследователь Камиль Ван Хоффелен (Camille Van Hoffelen) запустил PII Masking Benchmark Leaderboard на Hugging Face в апреле 2026 года. Приятно, что модель из России в нем заняла первое место.
Ждём теперь новостей про внедрение в прод.
Ждём теперь новостей про внедрение в прод.
Forwarded from AI Security Lab
GLiNER Guard omni был добавлен в PII Masking Leaderboard
Лидерборд включает четыре датасета:
➡️ Ai4Privacy OpenPII 1M - мультиязычный датасет с ПД на 23 языка
➡️ NVIDIA Nemotron-PII - датасет, на котором Nvidia тренировала свой GLiNER PII
➡️ Gretel PII Masking EN v1 - синтетический датасет от Gretel AI
➡️ Privy - датасет с PII в контексте API/логов.
По среднему F2 на всех четырёх бенчмарках мы на 9-м месте, но обходим заметных конкурентов: privacy-filter от OpenAI, privacy-filter-nemotron от OpenMed и GLiNER2-large
Основные выводы:
➡️ Обучение на русском и английском не сломало мультиязычный претрен модели (OpenPII Sota)
➡️ Обобщаемая модель, которая умеет и детекцию ПД и Safety классификацию - конкурирует со специализированными
PII Masking Leaderboard - внешний бенчмарк, который оценивает способность моделей маскировать персональные данные из коробки, без дообучения.
Лидерборд включает четыре датасета:
На OpenPII наш gliner-guard-omni занял 1-е место с F2 = 0.930, обойдя не только privacy-filter от OpenAI, но и GLiNER PII от Nvidia, и обе модели OpenMed SuperClinical.
По среднему F2 на всех четырёх бенчмарках мы на 9-м месте, но обходим заметных конкурентов: privacy-filter от OpenAI, privacy-filter-nemotron от OpenMed и GLiNER2-large
Основные выводы:
PII Masking Leaderboard - внешний бенчмарк, который оценивает способность моделей маскировать персональные данные из коробки, без дообучения.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM