Американский регулятор CISA в партнерстве с другими регуляторами выпустил рекомендации по созданию своей программы ответственного раскрытия уязвимостей. Это полезно в первую очередь компаниям со своей разработкой или компаниям предоставляющим услуги bugbounty. Само руководство больше про общие подходы, есть полезные ссылки на материалы других регуляторов, где уже есть чуть больше технических примеров.
Напоминаю, что в России действия по поиску уязвимостей со стороны третьих лиц могут быть классифицированы как деяние по статье 272 УК РФ (Неправомерный доступ к информации). Законопроект о легализации действия белых хакеров был отклонен в 3 чтении Госдумой в 2025 году. Поэтому в Российских программах раскрытия должен быть блок с "явным заявление владельца системы/программного обеспечения о том, что при соблюдении исследователем правил действия считаются санкционированными и организация не обращается в правоохранительные органы". Это снимает часть рисков.
Напоминаю, что в России действия по поиску уязвимостей со стороны третьих лиц могут быть классифицированы как деяние по статье 272 УК РФ (Неправомерный доступ к информации). Законопроект о легализации действия белых хакеров был отклонен в 3 чтении Госдумой в 2025 году. Поэтому в Российских программах раскрытия должен быть блок с "явным заявление владельца системы/программного обеспечения о том, что при соблюдении исследователем правил действия считаются санкционированными и организация не обращается в правоохранительные органы". Это снимает часть рисков.
👍1
Самый близкий эквивалент этой рекомендации CISA в России это регламент включения уязвимостей в БДУ ФСТЭК России.
Одним из основных сценариев ряда экспертов отвечающих за безопасность ИИ моделей является замедление разработки новых ИИ моделей. Меры по кибербезопасности и общей безопасности ИИ моделей и агентов сильно отстают от прогресса самих ИИ моделей и агентов.
Одним из фундаментальных факторов для прогнозов по замедлению разработки ИИ моделей является исчерпание объема данных для обучения новых ИИ моделей.
Что с одной стороны приводит к резкому спросу на покупку компаний банкротов, где ничего нет кроме данных, а с другой стороны создает новый тип угрозы - кражи любых структурированных данных с целью дальнейшего использования для обучения ИИ моделей. Другой попыткой решить эту проблему является создание разных средств трекинга для записи действий - от разработчиков Meta до ручных операций работниками развивающихся стран.
Ситуация с исчерпанием данных для обучения новых версией модели стала широкоизвестна около 1 года назад, но сильных признаков резкого замедления разработки моделей ИИ пока не видно.
За 11 календарных дней июля вышло 9 (девять!) новых передовых моделей ИИ: 3 модели GPT 5.6 (Sol, Terra, Luna), Meta Muse Spark 1.1, GigaChat 3.5 Ultra, Thinking Machines Inkling, Grok 4.5, Kimi K3, Alibaba Qwen3.8-Max-Preview. На замедление не сильно похоже, у всех моделей значительный рост по их возможностям, снижению стоимости за токен или скорости.
У GPT, Muse, Grok, Thinking Machines Lab Inkling - есть публичные системные карточки и публичная информация о тестировании разработчиками вопросов кибербезопасности и общей безопасности. По опыту прошлых релизов, от GigaChat, Kimi, Qwen - стоит ждать максимум технический отчет, без полноценной карточки модели и без полных отчетов тестирования на безопасность.
p.s. Thinking Machines Lab Inkling - новая модель с открытыми весами из США.
Одним из фундаментальных факторов для прогнозов по замедлению разработки ИИ моделей является исчерпание объема данных для обучения новых ИИ моделей.
Что с одной стороны приводит к резкому спросу на покупку компаний банкротов, где ничего нет кроме данных, а с другой стороны создает новый тип угрозы - кражи любых структурированных данных с целью дальнейшего использования для обучения ИИ моделей. Другой попыткой решить эту проблему является создание разных средств трекинга для записи действий - от разработчиков Meta до ручных операций работниками развивающихся стран.
Ситуация с исчерпанием данных для обучения новых версией модели стала широкоизвестна около 1 года назад, но сильных признаков резкого замедления разработки моделей ИИ пока не видно.
За 11 календарных дней июля вышло 9 (девять!) новых передовых моделей ИИ: 3 модели GPT 5.6 (Sol, Terra, Luna), Meta Muse Spark 1.1, GigaChat 3.5 Ultra, Thinking Machines Inkling, Grok 4.5, Kimi K3, Alibaba Qwen3.8-Max-Preview. На замедление не сильно похоже, у всех моделей значительный рост по их возможностям, снижению стоимости за токен или скорости.
У GPT, Muse, Grok, Thinking Machines Lab Inkling - есть публичные системные карточки и публичная информация о тестировании разработчиками вопросов кибербезопасности и общей безопасности. По опыту прошлых релизов, от GigaChat, Kimi, Qwen - стоит ждать максимум технический отчет, без полноценной карточки модели и без полных отчетов тестирования на безопасность.
p.s. Thinking Machines Lab Inkling - новая модель с открытыми весами из США.
OpenAI
GPT-5.6: Передовой искусственный интеллект, соразмерный вашим амбициям
Больше интеллектуальных возможностей из каждого токена, более высокая производительность на каждый доллар и больше возможностей по запросу для ваших самых сложных задач.
Исследование про плохие реализации практики изоляции ИИ агентов. Кратко описаны основные проблемы таких практик как черный список команд, написание конфигов для приложений вне песочницы, использование "безопасных" команд, запуск сервиса песочницы в привилегированном режиме.
👍1
Отличный пример специализированной модели для поиска известных уязвимостей в коде от Cisco - Antares. Напомню, по мнению gartner за специализированными моделями лежит возможность заметного повышения экономической эффективности средств ИИ.
Выложено 2 модели на 0.3 и 1 млрд параметров. Планируется релиз на 3 млрд параметров.
По оценке самой Cisco, разница в стоимости может достигать до 172 раз если сравнивать с gpt 5.5.
Антарес можно запускать на обычных компьютерах от 8 ГБ ОЗУ на модель. Для запуска сравниваемой ближайшей по бенчу Cisco glm- 5.2 модели потребуется минимум сервер с кластером H200.
Выложено 2 модели на 0.3 и 1 млрд параметров. Планируется релиз на 3 млрд параметров.
По оценке самой Cisco, разница в стоимости может достигать до 172 раз если сравнивать с gpt 5.5.
Антарес можно запускать на обычных компьютерах от 8 ГБ ОЗУ на модель. Для запуска сравниваемой ближайшей по бенчу Cisco glm- 5.2 модели потребуется минимум сервер с кластером H200.
👍1
Несмотря на, то что нельзя отрицать вероятность, что все недавние побеги из песочниц и непроизвольные атаки моделей в ходе тестирования это пиар перед IPO, есть один важный момент.
Придется пересмотреть риск и реализовывать митигирующие меры для такого сценария как "атака вашей моделью третьей стороны" или иные действия которые могут повлечь за собой юридические последствия в силу действий ваших ИИ агентов.
Почему это вызов? В большинстве организаций защита строится исходя из нахождения злоумышленника за периметром защиты или как минимум нахождения его со стороны внешних интерфейсов. В модели угроз внутренних нарушителей часто рассматривают с заметно меньшим потенциалом, чем внешних.
Например, сколько вы знаете организаций которые проверяют на вирусы свой исходящий почтовый трафик? А просто интернет трафик? А в ваших правилах межсетевого экрана ограничивается подключение к сторонним сервисам по привилегированным портам?
Следующий вопрос, пока ещё будущего, в ваших средствах должны использоваться как минимум разные семейства моделей, в силу того, что модель сама себя любит необъективно оценивать (self bias).
И отдельно стоит оценить риск, того что можно назвать segregation of models. Например, если у вас одна и таже модель помогает в составлении платежных поручений и помогает в их проверке перед оплатой или составляет заявки на получение доступов и согласовывает - логично, что и тут будет как минимум 2 разных семейства моделей.
Эти вопросы должны себе задать все использующие ИИ модели, особенно разработчики SOTA моделей.
Придется пересмотреть риск и реализовывать митигирующие меры для такого сценария как "атака вашей моделью третьей стороны" или иные действия которые могут повлечь за собой юридические последствия в силу действий ваших ИИ агентов.
Почему это вызов? В большинстве организаций защита строится исходя из нахождения злоумышленника за периметром защиты или как минимум нахождения его со стороны внешних интерфейсов. В модели угроз внутренних нарушителей часто рассматривают с заметно меньшим потенциалом, чем внешних.
Например, сколько вы знаете организаций которые проверяют на вирусы свой исходящий почтовый трафик? А просто интернет трафик? А в ваших правилах межсетевого экрана ограничивается подключение к сторонним сервисам по привилегированным портам?
Следующий вопрос, пока ещё будущего, в ваших средствах должны использоваться как минимум разные семейства моделей, в силу того, что модель сама себя любит необъективно оценивать (self bias).
И отдельно стоит оценить риск, того что можно назвать segregation of models. Например, если у вас одна и таже модель помогает в составлении платежных поручений и помогает в их проверке перед оплатой или составляет заявки на получение доступов и согласовывает - логично, что и тут будет как минимум 2 разных семейства моделей.
Эти вопросы должны себе задать все использующие ИИ модели, особенно разработчики SOTA моделей.
Вышел новый Опус 5.0 от Антропика. По заявлениям - ищет уязвимости в исходном коде на уровне Мифов, но вот эксплойты писать все равно не должен =)
👍1
Логичный ответ на нейрослоп в отчётах дают заказчики bugbounty - расширение частных программ. Пример - github.
The GitHub Blog
Next chapter: Restructuring GitHub's bug bounty program
GitHub is making some significant changes to its bug bounty program, shifting its focus to give researchers a better experience.
Совет PCI выпустил документ транслирующий требования PCI DSS 4.0.1 в NIST CSF 2.0. Полезный документ для комплаенса финсектора если их внутренний стандарт построен на NIST CSF 2.0
Forwarded from Сиолошная
Появилось чуть больше деталей по поводу инцидента со взломом HuggingFace агентом OpenAI.
Reuters постарались установить таймлайн событий, по их источникам внутри компаний выходит так:
— Агент пытался вырваться из изолированной тестовой среды OpenAI примерно c 9 июля.
— Вторжение в системы Hugging Face началось через два дня, 11 июля, и продолжалось до 13 июля.
— OpenAI потребовалось еще несколько дней, чтобы понять, что за взломом стоит её агент, и обе компании впервые связались по этому поводу лишь примерно 20 июля.
— По ходу работы агент оставлял записи для своих будущих копий. Скорее всего речь про простые текстовые инструкции на случай, если другие инстансы модели смогут выйти из окружения (чтобы им было легче получить доступ к интернету).
— Пресс-секретарь OpenAI заявила, что в публикации Reuters допущено "несколько неточностей", но не пояснила, каких именно.
— Где-то между этим HuggingFace подали обращение в ФБР для расследования инцидента.
То есть агент буянил в интернете неделю или даже больше. Что ж, зато compaction (инструмент сжатия контекста для долгих задач, которые не помещаются в контекстное окно LLM) работает хорошо👨🦳
CEO HuggingFace съездил в офис OpenAI и обсуждал дальнейшие шаги. Он просит:
— Радикальной прозрачности: опубликовать логи «вышедших из-под контроля» агентов, чтобы всё исследовательское сообщество смогло изучить, что произошло.
— Больше возможностей для защитников, например, чтобы OpenAI выделили $100 миллионов, чтобы помочь сообществу разработать мощные средства киберзащиты с использованием лучших открытых и закрытых моделей.
OpenAI буквально пару часов назад выпустили обновление к своему заявлению:
«Мы понимаем, что вокруг инцидента с Hugging Face циркулирует множество вопросов и неподтвержденных домыслов.
Это беспрецедентный случай, и мы считаем, что он знаменует собой важный момент для сферы безопасности ИИ.
Мы все еще проводим тщательное расследование совместно с внешними консультантами.
Как только проверка будет завершена, в ближайшие недели мы планируем опубликовать технический отчет с извлечёнными уроками».
Хорошо, что к аудиту привлечены внешние консультанты. Но я сомневаюсь, что в ближайшие недели мы увидим точное описание обнаруженных уязвимостей — это бы означало угрозу для всех пользователей затронутых программ, которые не обновились до версии с исправлением. Однако вот тут в твиттере два эксперта по кибербезопасности выражают уверенность, что смогли найти софт + указание на уязвимость в JFrog Artifactory.
Reuters постарались установить таймлайн событий, по их источникам внутри компаний выходит так:
— Агент пытался вырваться из изолированной тестовой среды OpenAI примерно c 9 июля.
— Вторжение в системы Hugging Face началось через два дня, 11 июля, и продолжалось до 13 июля.
— OpenAI потребовалось еще несколько дней, чтобы понять, что за взломом стоит её агент, и обе компании впервые связались по этому поводу лишь примерно 20 июля.
— По ходу работы агент оставлял записи для своих будущих копий. Скорее всего речь про простые текстовые инструкции на случай, если другие инстансы модели смогут выйти из окружения (чтобы им было легче получить доступ к интернету).
— Пресс-секретарь OpenAI заявила, что в публикации Reuters допущено "несколько неточностей", но не пояснила, каких именно.
— Где-то между этим HuggingFace подали обращение в ФБР для расследования инцидента.
То есть агент буянил в интернете неделю или даже больше. Что ж, зато compaction (инструмент сжатия контекста для долгих задач, которые не помещаются в контекстное окно LLM) работает хорошо
CEO HuggingFace съездил в офис OpenAI и обсуждал дальнейшие шаги. Он просит:
— Радикальной прозрачности: опубликовать логи «вышедших из-под контроля» агентов, чтобы всё исследовательское сообщество смогло изучить, что произошло.
— Больше возможностей для защитников, например, чтобы OpenAI выделили $100 миллионов, чтобы помочь сообществу разработать мощные средства киберзащиты с использованием лучших открытых и закрытых моделей.
OpenAI буквально пару часов назад выпустили обновление к своему заявлению:
«Мы понимаем, что вокруг инцидента с Hugging Face циркулирует множество вопросов и неподтвержденных домыслов.
Это беспрецедентный случай, и мы считаем, что он знаменует собой важный момент для сферы безопасности ИИ.
Мы все еще проводим тщательное расследование совместно с внешними консультантами.
Как только проверка будет завершена, в ближайшие недели мы планируем опубликовать технический отчет с извлечёнными уроками».
Хорошо, что к аудиту привлечены внешние консультанты. Но я сомневаюсь, что в ближайшие недели мы увидим точное описание обнаруженных уязвимостей — это бы означало угрозу для всех пользователей затронутых программ, которые не обновились до версии с исправлением. Однако вот тут в твиттере два эксперта по кибербезопасности выражают уверенность, что смогли найти софт + указание на уязвимость в JFrog Artifactory.
Please open Telegram to view this post
VIEW IN TELEGRAM
А вот и закон, теперь в РФ закрепили термины ИИ. Ждем подзаконных актов которые определят когда нужно использовать суверенные ИИ модели, а когда национальные. Вероятность меньше процента не сработала, как я и прогнозировал, закон подписали в конце июля. Увы в плане сроков закон по ИИ не отличился от других законов.
Telegram
VP Cybersecurity Brief
Решил оценить, с учётом статистики за 10 лет, какая вероятность принятия закона после 3 чтений Госдумы.
Получилось чуть больше 99 процентов.
Т.е. теперь фактически можно ждать ноября для подзаконных актов, а к самому закону относится как на 99 процентов…
Получилось чуть больше 99 процентов.
Т.е. теперь фактически можно ждать ноября для подзаконных актов, а к самому закону относится как на 99 процентов…
Forwarded from Листок бюрократической защиты информации
Официально опубликован Федеральный закон от 26.07.2026 № 243-ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации».
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Вы бы хотели видеть на канале новости про самые опасные критические уязвимости в популярном ПО? Например
Обнаружена критическая уязвимость CVE-2026-16723 с оценкой 9,0 по шкале CVSS 3.1 в библиотеке Java Fastjson 1.x. В уязвимых версиях 1.2.68–1.2.83 внешний злоумышленник при определённых условиях эксплуатации Spring Boot (выключен safemode и запущено как executable fat-JAR) Опубликован эксплойт, уже фиксируются попытки эксплуатации.
Экспертно, площадь атаки около 1% от всех инсталяций Java.
Нужно проверить используете ли вы уязвимую библиотеку и если да у язвимой ли конфигурации.
Обнаружена критическая уязвимость CVE-2026-16723 с оценкой 9,0 по шкале CVSS 3.1 в библиотеке Java Fastjson 1.x. В уязвимых версиях 1.2.68–1.2.83 внешний злоумышленник при определённых условиях эксплуатации Spring Boot (выключен safemode и запущено как executable fat-JAR) Опубликован эксплойт, уже фиксируются попытки эксплуатации.
Экспертно, площадь атаки около 1% от всех инсталяций Java.
Нужно проверить используете ли вы уязвимую библиотеку и если да у язвимой ли конфигурации.
fearsoff.org
FastJson 1.2.83 Remote Code Execution
Turning fastjson 1.2.83 into remote code execution with AutoType off and no gadget on the classpath: an SSRF inside checkAutoType, the @JSONType bypass, and a /proc/self/fd trick that carries it from JDK 8 to 25. By FearsOff.
🥱2
Очень необычное исследование от известного британского центра исследования безопаcности ИИ AISI. AISI утверждают, что топовые американские модели увеличивают разрыв в кибервозможностях с китайскими моделями.
При этом:
1. Модели из США и их конкретные результаты не называются, в отличии от китайских.
2. Kimi 3 доступна пока только в облачном решении без понимания какие она использует меры безопасности. А если тестировали Mythos - у него меры безопасности отключены.
При этом в этом году один американский университет опубликовал прямо противоположный вывод на основе бенча Арена - китайские модели сокращают разрыв.
Вывод - относитесь к любым материалам по проверке ИИ моделей, как требующим верификации в ваших условиях.
p.s. В конце отчета вывод на основе бенча Cyber Range: The Last Ones (TLO) - все больше моделей приближаются к возможности автономного взлома организаций.
При этом:
1. Модели из США и их конкретные результаты не называются, в отличии от китайских.
2. Kimi 3 доступна пока только в облачном решении без понимания какие она использует меры безопасности. А если тестировали Mythos - у него меры безопасности отключены.
При этом в этом году один американский университет опубликовал прямо противоположный вывод на основе бенча Арена - китайские модели сокращают разрыв.
Вывод - относитесь к любым материалам по проверке ИИ моделей, как требующим верификации в ваших условиях.
p.s. В конце отчета вывод на основе бенча Cyber Range: The Last Ones (TLO) - все больше моделей приближаются к возможности автономного взлома организаций.
Практики по безопасности ИИ агентов от регулятора Австралии ASD:
"
1.Limiting agent permissions to the minimum level required to perform approved tasks.
2.Maintaining human oversight and approval for high-impact or sensitive actions.
3.Continuously monitoring agent behaviour, decisions and tool usage.
4.Implementing comprehensive logging, auditing and accountability mechanisms.
5.Conducting regular red teaming, adversarial testing and security assessments.
6.Validating third-party tools, integrations and dependencies before deployment.
7.Deploying capabilities progressively, with autonomy increasing only as confidence and assurance measures mature.
8.Isolating agents and enforcing strict controls over interactions between systems and environments.
"
"
1.Limiting agent permissions to the minimum level required to perform approved tasks.
2.Maintaining human oversight and approval for high-impact or sensitive actions.
3.Continuously monitoring agent behaviour, decisions and tool usage.
4.Implementing comprehensive logging, auditing and accountability mechanisms.
5.Conducting regular red teaming, adversarial testing and security assessments.
6.Validating third-party tools, integrations and dependencies before deployment.
7.Deploying capabilities progressively, with autonomy increasing only as confidence and assurance measures mature.
8.Isolating agents and enforcing strict controls over interactions between systems and environments.
"
Gonzo GPT - Безопасность LLM моделей
Яндекс запускает AI Agents Security Week Регистрация до 27 июля Лекции с 27 по 31 июля. Дают сертификат о прохождении, обучение онлайн (в тч на Английском), бесплатно. https://shad.yandex.ru/agentsecurityweek
Презентаций интенсива ШАД Яндекса AI Agents Security Week 2026 легко ищутся в поисковике https://www.youtube.com/watch?v=O8hy7q6JGqI
Видео, видимо, будут выкладывать как и планировали на этой неделе.
Видео, видимо, будут выкладывать как и планировали на этой неделе.
YouTube
AI Agents Security Week 2026 | Лекция 1. AI security and vulnerability landscape
Спикер: Сергей Нестерук, руководит командой в Yandex Cloud, которая делает ИИ безопасным, а безопасность умной
На лекции обсудим:
- кейсы уязвимости ИИ-систем,
- карту угроз и фреймворки разбора,
- ограничения и природа ошибок LLM,
- безопасное использование…
На лекции обсудим:
- кейсы уязвимости ИИ-систем,
- карту угроз и фреймворки разбора,
- ограничения и природа ошибок LLM,
- безопасное использование…
👍2
Forwarded from The Oleg 1337
Безопасный ИИ.
На Летней школе по искусственному интеллетку «Лето с AIRI» в рамках трека SafeAI одну из лекций читает Антон Дмитриевич Митрофанов, Исполнительный директор, Управление экспертизы кибербезопасности Сбера.
Он расскажет про стратегию и подходы применения генеративного искусственного интеллекта в кибербезопасности.
Антон Дмитриевич выступает сегодня в 16:45. Будет трансляция — можно посмотреть онлайн: [ссылка].
🌐 The Oleg
На Летней школе по искусственному интеллетку «Лето с AIRI» в рамках трека SafeAI одну из лекций читает Антон Дмитриевич Митрофанов, Исполнительный директор, Управление экспертизы кибербезопасности Сбера.
Он расскажет про стратегию и подходы применения генеративного искусственного интеллекта в кибербезопасности.
Антон Дмитриевич выступает сегодня в 16:45. Будет трансляция — можно посмотреть онлайн: [ссылка].
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from ML&|Sec Feed
OWASP_LLMSVS_v2_0_RU_неофициальный_перевод.docx
69.1 KB
OWASP LLMSVS v2.0 - практический стандарт проверки безопасности систем на основе LLM, охватывающий жизненный цикл моделей, данные и память, RAG, интеграции, AI-агентов, инструменты, зависимости и мониторинг. Его главная польза - набор из 70 требований КБ трех уровней строгости.
https://owasp.org/www-project-llm-verification-standard/LLMSVS-v2.0-en.html
https://owasp.org/www-project-llm-verification-standard/LLMSVS-v2.0-en.html