Вышел новый Опус 5.0 от Антропика. По заявлениям - ищет уязвимости в исходном коде на уровне Мифов, но вот эксплойты писать все равно не должен =)
👍1
Логичный ответ на нейрослоп в отчётах дают заказчики bugbounty - расширение частных программ. Пример - github.
The GitHub Blog
Next chapter: Restructuring GitHub's bug bounty program
GitHub is making some significant changes to its bug bounty program, shifting its focus to give researchers a better experience.
Совет PCI выпустил документ транслирующий требования PCI DSS 4.0.1 в NIST CSF 2.0. Полезный документ для комплаенса финсектора если их внутренний стандарт построен на NIST CSF 2.0
Forwarded from Сиолошная
Появилось чуть больше деталей по поводу инцидента со взломом HuggingFace агентом OpenAI.
Reuters постарались установить таймлайн событий, по их источникам внутри компаний выходит так:
— Агент пытался вырваться из изолированной тестовой среды OpenAI примерно c 9 июля.
— Вторжение в системы Hugging Face началось через два дня, 11 июля, и продолжалось до 13 июля.
— OpenAI потребовалось еще несколько дней, чтобы понять, что за взломом стоит её агент, и обе компании впервые связались по этому поводу лишь примерно 20 июля.
— По ходу работы агент оставлял записи для своих будущих копий. Скорее всего речь про простые текстовые инструкции на случай, если другие инстансы модели смогут выйти из окружения (чтобы им было легче получить доступ к интернету).
— Пресс-секретарь OpenAI заявила, что в публикации Reuters допущено "несколько неточностей", но не пояснила, каких именно.
— Где-то между этим HuggingFace подали обращение в ФБР для расследования инцидента.
То есть агент буянил в интернете неделю или даже больше. Что ж, зато compaction (инструмент сжатия контекста для долгих задач, которые не помещаются в контекстное окно LLM) работает хорошо👨🦳
CEO HuggingFace съездил в офис OpenAI и обсуждал дальнейшие шаги. Он просит:
— Радикальной прозрачности: опубликовать логи «вышедших из-под контроля» агентов, чтобы всё исследовательское сообщество смогло изучить, что произошло.
— Больше возможностей для защитников, например, чтобы OpenAI выделили $100 миллионов, чтобы помочь сообществу разработать мощные средства киберзащиты с использованием лучших открытых и закрытых моделей.
OpenAI буквально пару часов назад выпустили обновление к своему заявлению:
«Мы понимаем, что вокруг инцидента с Hugging Face циркулирует множество вопросов и неподтвержденных домыслов.
Это беспрецедентный случай, и мы считаем, что он знаменует собой важный момент для сферы безопасности ИИ.
Мы все еще проводим тщательное расследование совместно с внешними консультантами.
Как только проверка будет завершена, в ближайшие недели мы планируем опубликовать технический отчет с извлечёнными уроками».
Хорошо, что к аудиту привлечены внешние консультанты. Но я сомневаюсь, что в ближайшие недели мы увидим точное описание обнаруженных уязвимостей — это бы означало угрозу для всех пользователей затронутых программ, которые не обновились до версии с исправлением. Однако вот тут в твиттере два эксперта по кибербезопасности выражают уверенность, что смогли найти софт + указание на уязвимость в JFrog Artifactory.
Reuters постарались установить таймлайн событий, по их источникам внутри компаний выходит так:
— Агент пытался вырваться из изолированной тестовой среды OpenAI примерно c 9 июля.
— Вторжение в системы Hugging Face началось через два дня, 11 июля, и продолжалось до 13 июля.
— OpenAI потребовалось еще несколько дней, чтобы понять, что за взломом стоит её агент, и обе компании впервые связались по этому поводу лишь примерно 20 июля.
— По ходу работы агент оставлял записи для своих будущих копий. Скорее всего речь про простые текстовые инструкции на случай, если другие инстансы модели смогут выйти из окружения (чтобы им было легче получить доступ к интернету).
— Пресс-секретарь OpenAI заявила, что в публикации Reuters допущено "несколько неточностей", но не пояснила, каких именно.
— Где-то между этим HuggingFace подали обращение в ФБР для расследования инцидента.
То есть агент буянил в интернете неделю или даже больше. Что ж, зато compaction (инструмент сжатия контекста для долгих задач, которые не помещаются в контекстное окно LLM) работает хорошо
CEO HuggingFace съездил в офис OpenAI и обсуждал дальнейшие шаги. Он просит:
— Радикальной прозрачности: опубликовать логи «вышедших из-под контроля» агентов, чтобы всё исследовательское сообщество смогло изучить, что произошло.
— Больше возможностей для защитников, например, чтобы OpenAI выделили $100 миллионов, чтобы помочь сообществу разработать мощные средства киберзащиты с использованием лучших открытых и закрытых моделей.
OpenAI буквально пару часов назад выпустили обновление к своему заявлению:
«Мы понимаем, что вокруг инцидента с Hugging Face циркулирует множество вопросов и неподтвержденных домыслов.
Это беспрецедентный случай, и мы считаем, что он знаменует собой важный момент для сферы безопасности ИИ.
Мы все еще проводим тщательное расследование совместно с внешними консультантами.
Как только проверка будет завершена, в ближайшие недели мы планируем опубликовать технический отчет с извлечёнными уроками».
Хорошо, что к аудиту привлечены внешние консультанты. Но я сомневаюсь, что в ближайшие недели мы увидим точное описание обнаруженных уязвимостей — это бы означало угрозу для всех пользователей затронутых программ, которые не обновились до версии с исправлением. Однако вот тут в твиттере два эксперта по кибербезопасности выражают уверенность, что смогли найти софт + указание на уязвимость в JFrog Artifactory.
Please open Telegram to view this post
VIEW IN TELEGRAM
А вот и закон, теперь в РФ закрепили термины ИИ. Ждем подзаконных актов которые определят когда нужно использовать суверенные ИИ модели, а когда национальные. Вероятность меньше процента не сработала, как я и прогнозировал, закон подписали в конце июля. Увы в плане сроков закон по ИИ не отличился от других законов.
Telegram
VP Cybersecurity Brief
Решил оценить, с учётом статистики за 10 лет, какая вероятность принятия закона после 3 чтений Госдумы.
Получилось чуть больше 99 процентов.
Т.е. теперь фактически можно ждать ноября для подзаконных актов, а к самому закону относится как на 99 процентов…
Получилось чуть больше 99 процентов.
Т.е. теперь фактически можно ждать ноября для подзаконных актов, а к самому закону относится как на 99 процентов…
Forwarded from Листок бюрократической защиты информации
Официально опубликован Федеральный закон от 26.07.2026 № 243-ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации».
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Вы бы хотели видеть на канале новости про самые опасные критические уязвимости в популярном ПО? Например
Обнаружена критическая уязвимость CVE-2026-16723 с оценкой 9,0 по шкале CVSS 3.1 в библиотеке Java Fastjson 1.x. В уязвимых версиях 1.2.68–1.2.83 внешний злоумышленник при определённых условиях эксплуатации Spring Boot (выключен safemode и запущено как executable fat-JAR) Опубликован эксплойт, уже фиксируются попытки эксплуатации.
Экспертно, площадь атаки около 1% от всех инсталяций Java.
Нужно проверить используете ли вы уязвимую библиотеку и если да у язвимой ли конфигурации.
Обнаружена критическая уязвимость CVE-2026-16723 с оценкой 9,0 по шкале CVSS 3.1 в библиотеке Java Fastjson 1.x. В уязвимых версиях 1.2.68–1.2.83 внешний злоумышленник при определённых условиях эксплуатации Spring Boot (выключен safemode и запущено как executable fat-JAR) Опубликован эксплойт, уже фиксируются попытки эксплуатации.
Экспертно, площадь атаки около 1% от всех инсталяций Java.
Нужно проверить используете ли вы уязвимую библиотеку и если да у язвимой ли конфигурации.
fearsoff.org
FastJson 1.2.83 Remote Code Execution
Turning fastjson 1.2.83 into remote code execution with AutoType off and no gadget on the classpath: an SSRF inside checkAutoType, the @JSONType bypass, and a /proc/self/fd trick that carries it from JDK 8 to 25. By FearsOff.
🥱2
Очень необычное исследование от известного британского центра исследования безопаcности ИИ AISI. AISI утверждают, что топовые американские модели увеличивают разрыв в кибервозможностях с китайскими моделями.
При этом:
1. Модели из США и их конкретные результаты не называются, в отличии от китайских.
2. Kimi 3 доступна пока только в облачном решении без понимания какие она использует меры безопасности. А если тестировали Mythos - у него меры безопасности отключены.
При этом в этом году один американский университет опубликовал прямо противоположный вывод на основе бенча Арена - китайские модели сокращают разрыв.
Вывод - относитесь к любым материалам по проверке ИИ моделей, как требующим верификации в ваших условиях.
p.s. В конце отчета вывод на основе бенча Cyber Range: The Last Ones (TLO) - все больше моделей приближаются к возможности автономного взлома организаций.
При этом:
1. Модели из США и их конкретные результаты не называются, в отличии от китайских.
2. Kimi 3 доступна пока только в облачном решении без понимания какие она использует меры безопасности. А если тестировали Mythos - у него меры безопасности отключены.
При этом в этом году один американский университет опубликовал прямо противоположный вывод на основе бенча Арена - китайские модели сокращают разрыв.
Вывод - относитесь к любым материалам по проверке ИИ моделей, как требующим верификации в ваших условиях.
p.s. В конце отчета вывод на основе бенча Cyber Range: The Last Ones (TLO) - все больше моделей приближаются к возможности автономного взлома организаций.
Практики по безопасности ИИ агентов от регулятора Австралии ASD:
"
1.Limiting agent permissions to the minimum level required to perform approved tasks.
2.Maintaining human oversight and approval for high-impact or sensitive actions.
3.Continuously monitoring agent behaviour, decisions and tool usage.
4.Implementing comprehensive logging, auditing and accountability mechanisms.
5.Conducting regular red teaming, adversarial testing and security assessments.
6.Validating third-party tools, integrations and dependencies before deployment.
7.Deploying capabilities progressively, with autonomy increasing only as confidence and assurance measures mature.
8.Isolating agents and enforcing strict controls over interactions between systems and environments.
"
"
1.Limiting agent permissions to the minimum level required to perform approved tasks.
2.Maintaining human oversight and approval for high-impact or sensitive actions.
3.Continuously monitoring agent behaviour, decisions and tool usage.
4.Implementing comprehensive logging, auditing and accountability mechanisms.
5.Conducting regular red teaming, adversarial testing and security assessments.
6.Validating third-party tools, integrations and dependencies before deployment.
7.Deploying capabilities progressively, with autonomy increasing only as confidence and assurance measures mature.
8.Isolating agents and enforcing strict controls over interactions between systems and environments.
"
Gonzo GPT - Безопасность LLM моделей
Яндекс запускает AI Agents Security Week Регистрация до 27 июля Лекции с 27 по 31 июля. Дают сертификат о прохождении, обучение онлайн (в тч на Английском), бесплатно. https://shad.yandex.ru/agentsecurityweek
Презентаций интенсива ШАД Яндекса AI Agents Security Week 2026 легко ищутся в поисковике https://www.youtube.com/watch?v=O8hy7q6JGqI
Видео, видимо, будут выкладывать как и планировали на этой неделе.
Видео, видимо, будут выкладывать как и планировали на этой неделе.
YouTube
AI Agents Security Week 2026 | Лекция 1. AI security and vulnerability landscape
Спикер: Сергей Нестерук, руководит командой в Yandex Cloud, которая делает ИИ безопасным, а безопасность умной
На лекции обсудим:
- кейсы уязвимости ИИ-систем,
- карту угроз и фреймворки разбора,
- ограничения и природа ошибок LLM,
- безопасное использование…
На лекции обсудим:
- кейсы уязвимости ИИ-систем,
- карту угроз и фреймворки разбора,
- ограничения и природа ошибок LLM,
- безопасное использование…
👍2
Forwarded from The Oleg 1337
Безопасный ИИ.
На Летней школе по искусственному интеллетку «Лето с AIRI» в рамках трека SafeAI одну из лекций читает Антон Дмитриевич Митрофанов, Исполнительный директор, Управление экспертизы кибербезопасности Сбера.
Он расскажет про стратегию и подходы применения генеративного искусственного интеллекта в кибербезопасности.
Антон Дмитриевич выступает сегодня в 16:45. Будет трансляция — можно посмотреть онлайн: [ссылка].
🌐 The Oleg
На Летней школе по искусственному интеллетку «Лето с AIRI» в рамках трека SafeAI одну из лекций читает Антон Дмитриевич Митрофанов, Исполнительный директор, Управление экспертизы кибербезопасности Сбера.
Он расскажет про стратегию и подходы применения генеративного искусственного интеллекта в кибербезопасности.
Антон Дмитриевич выступает сегодня в 16:45. Будет трансляция — можно посмотреть онлайн: [ссылка].
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from ML&|Sec Feed
OWASP_LLMSVS_v2_0_RU_неофициальный_перевод.docx
69.1 KB
OWASP LLMSVS v2.0 - практический стандарт проверки безопасности систем на основе LLM, охватывающий жизненный цикл моделей, данные и память, RAG, интеграции, AI-агентов, инструменты, зависимости и мониторинг. Его главная польза - набор из 70 требований КБ трех уровней строгости.
https://owasp.org/www-project-llm-verification-standard/LLMSVS-v2.0-en.html
https://owasp.org/www-project-llm-verification-standard/LLMSVS-v2.0-en.html
Forwarded from Борис_ь с ml
Please open Telegram to view this post
VIEW IN TELEGRAM
The Oleg 1337
Безопасный ИИ. На Летней школе по искусственному интеллетку «Лето с AIRI» в рамках трека SafeAI одну из лекций читает Антон Дмитриевич Митрофанов, Исполнительный директор, Управление экспертизы кибербезопасности Сбера. Он расскажет про стратегию и подходы…
У Антона Митрофанова получилось интересное выступление:
1. У Сбера уже есть ханипоты для ИИ агентов.
2. В 4 сценариях кибербеза ИИ агенты устойчиво сократили время на типовые операции: анализ релизов на безопасность, анализ фишинговых ресурсов, первичная форензика, анализ новых фич в релизе для принятия рисков. Подробности обещаны на оффзон.
3.Практика выделения разных моделей под разные уровни конфиденциальности.
4. Созданная внутри новая команда безопасности самой модели.
5. Обзорные цифры рисков из внешних источников.
6. Люди уйдут и со стороны защиты и со стороны атакующих на первой линии- требования к времени реакции не позволят им быть на первой линии.
Пара интересных слайдов выше. По ссылке доступна запись выступления.
1. У Сбера уже есть ханипоты для ИИ агентов.
2. В 4 сценариях кибербеза ИИ агенты устойчиво сократили время на типовые операции: анализ релизов на безопасность, анализ фишинговых ресурсов, первичная форензика, анализ новых фич в релизе для принятия рисков. Подробности обещаны на оффзон.
3.Практика выделения разных моделей под разные уровни конфиденциальности.
4. Созданная внутри новая команда безопасности самой модели.
5. Обзорные цифры рисков из внешних источников.
6. Люди уйдут и со стороны защиты и со стороны атакующих на первой линии- требования к времени реакции не позволят им быть на первой линии.
Пара интересных слайдов выше. По ссылке доступна запись выступления.
Forwarded from GPT/ChatGPT/AI Central Александра Горного
Microsoft выпустил модель для поиска уязвимостей
MAI-Cyber-1-Flash ищет уязвимости в кодовых базах и помогает готовить исправления. Модель встроили в MDASH — систему из более чем 100 специализированных AI-агентов.
Компактная модель выполняет до 90% задач. Самые сложные случаи MDASH передает GPT-5.4. Система набрала 96% на бенчмарке CyberGym и оказалась на 50% дешевле предыдущей связки GPT 5.4 + 5.4 mini + 5.3 codex.
Параллельно Microsoft запускает Perception — команды агентов для постоянного мониторинга корпоративной инфраструктуры.
https://microsoft.ai/news/introducing-mai-cyber-1-flash-inside-mdash/
MAI-Cyber-1-Flash ищет уязвимости в кодовых базах и помогает готовить исправления. Модель встроили в MDASH — систему из более чем 100 специализированных AI-агентов.
Компактная модель выполняет до 90% задач. Самые сложные случаи MDASH передает GPT-5.4. Система набрала 96% на бенчмарке CyberGym и оказалась на 50% дешевле предыдущей связки GPT 5.4 + 5.4 mini + 5.3 codex.
Параллельно Microsoft запускает Perception — команды агентов для постоянного мониторинга корпоративной инфраструктуры.
https://microsoft.ai/news/introducing-mai-cyber-1-flash-inside-mdash/
Основные механизмы контентной фильтрации для ИИ агентов, например для поиска персданных в выводе модели, по мнению Яндекса.
Такое решение может помочь некотjрым компаниям с высокими требованиями по защите от нескольких сценариев атак - перехват BGP, ошибки в конфигурации если вы получаете IP сразу и от RIPE и от ARIN, не допускаете риск компрометации своих ROA в RIPE. Требования к настройке своего RPKI высокие, поэтому подойдут или крупным компаниям или наоборот больше для обучения и изучения технологии в своих нуждах.