Forwarded from CyberSecurityTechnologies
PIArena.pdf
1 MB
#tools
#MLSecOps
"PIArena: A Platform for Prompt Injection Evaluation",
Apr. 2026.
]-> Tool and datasets
#MLSecOps
"PIArena: A Platform for Prompt Injection Evaluation",
Apr. 2026.
]-> Tool and datasets
Forwarded from CyberOK_news
Применение AI-агентов в разработке программного обеспечения стремительно расширяется — и вместе с ним расширяется поверхность атаки, которую традиционные практики безопасной разработки попросту не покрывают.
«Мы фиксируем, что команды внедряют агентные инструменты быстрее, чем успевают выстроить адекватные практики безопасности. Классический SAMM даёт хорошую основу, но что делать, когда агент начинает самостоятельно вызывать инструменты, читать внешний контекст и действовать автономно без человека в цикле?», — Сергей Гордейчик, CEO CyberOK.
Чтобы закрыть этот пробел, мы публикуем Agentic SAMM (ASAMM) — исследовательский фреймворк, расширяющий OWASP SAMM для систем с AI-агентами.
Ключевые концепции:
Контекст — плоскость управления. Всё что агент читает может стать инструкцией. Вызов инструмента — граница безопасности. Авторизовано не означает согласовано с задачей. Окно автономии — измеримый риск: произведение времени без контрольной точки на взрывной радиус доступных действий.
Фреймворк включает таксономию угроз (C1–C4), двухосевую модель доверия, 17 контролей по 5 функциям SAMM с уровнями зрелости L1–L3 и маппингом на NIST AI RMF, NCSC и ГОСТ Р 56939-2024.
Два пути внедрения: миграция с существующей программы безопасности или новое развёртывание с нуля.
Документ открыт для рецензирования. GitHub:
https://github.com/scadastrangelove/asamm
Русская версия с детальным маппингом по параграфам ГОСТ Р 56939-2024 доступна там же.
«Мы фиксируем, что команды внедряют агентные инструменты быстрее, чем успевают выстроить адекватные практики безопасности. Классический SAMM даёт хорошую основу, но что делать, когда агент начинает самостоятельно вызывать инструменты, читать внешний контекст и действовать автономно без человека в цикле?», — Сергей Гордейчик, CEO CyberOK.
Чтобы закрыть этот пробел, мы публикуем Agentic SAMM (ASAMM) — исследовательский фреймворк, расширяющий OWASP SAMM для систем с AI-агентами.
Ключевые концепции:
Контекст — плоскость управления. Всё что агент читает может стать инструкцией. Вызов инструмента — граница безопасности. Авторизовано не означает согласовано с задачей. Окно автономии — измеримый риск: произведение времени без контрольной точки на взрывной радиус доступных действий.
Фреймворк включает таксономию угроз (C1–C4), двухосевую модель доверия, 17 контролей по 5 функциям SAMM с уровнями зрелости L1–L3 и маппингом на NIST AI RMF, NCSC и ГОСТ Р 56939-2024.
Два пути внедрения: миграция с существующей программы безопасности или новое развёртывание с нуля.
Документ открыт для рецензирования. GitHub:
https://github.com/scadastrangelove/asamm
Русская версия с детальным маппингом по параграфам ГОСТ Р 56939-2024 доступна там же.
Forwarded from CyberOK_news
asamm-ru.pdf
223.7 KB
Agentic SAMM — русская версия для комментариев и отзывов.
Forwarded from Makrushin
Давно не виделись. Нашел два повода для встречи.
Завтра на продуктовой аллее DevOps Conf проведу питчинг SourceCraft и расскажу про ключевые обновления, которые позволят быстрее и безопаснее создавать новые продукты. Спойлер: релизим новые AppSec и ИИ-фичи.
Послезавтра представлю результаты нового исследования — «Атаки на ИИ-агентов».
Покажу, какие возможности есть у редиски, чтобы за несколько часов скомпрометировать тысячи разработчиков через их же ИИ-инструменты и украсть секреты с рабочих станций. Разберём поверхность атаки, а на выходе получим методику и инструменты для тех, кто строит агентные системы и хочет сделать их устойчивыми.
Если будешь на площадке, то заходи в гости.
Завтра на продуктовой аллее DevOps Conf проведу питчинг SourceCraft и расскажу про ключевые обновления, которые позволят быстрее и безопаснее создавать новые продукты. Спойлер: релизим новые AppSec и ИИ-фичи.
Послезавтра представлю результаты нового исследования — «Атаки на ИИ-агентов».
Покажу, какие возможности есть у редиски, чтобы за несколько часов скомпрометировать тысячи разработчиков через их же ИИ-инструменты и украсть секреты с рабочих станций. Разберём поверхность атаки, а на выходе получим методику и инструменты для тех, кто строит агентные системы и хочет сделать их устойчивыми.
Если будешь на площадке, то заходи в гости.
Forwarded from Хабр / ML & AI
Архитектура Openclaw: сущности и их взаимодействие
Моя боль:
Читая документацию openclaw и делая установку я смутно понимал что я сейчас делаю и для чего, много новых хоть и знакомых терминов (gateway, node, session, …). Так не пойдет, нужна более явная картина. И я пошел за советом к своему другу ИИ.
Цель статьи:
OpenClaw — это мощный, и поэтому довольно сложный инструмент с большим количеством сущностей и связей между ними. Если знать как он устроен на самом высоком уровне, то это дает хорошую возможность понимать, как его можно использовать для своих конкретных задач и жизненных сценариев. О некоторых сущностях (а значит возможностях) я до этой переписки не знал.
Статья не только раскрывает архитектуру openclaw, но и разбирает его через реальные кейсы из сообщества. Читать далее
#openclaw | @habr_ai
Моя боль:
Читая документацию openclaw и делая установку я смутно понимал что я сейчас делаю и для чего, много новых хоть и знакомых терминов (gateway, node, session, …). Так не пойдет, нужна более явная картина. И я пошел за советом к своему другу ИИ.
Цель статьи:
OpenClaw — это мощный, и поэтому довольно сложный инструмент с большим количеством сущностей и связей между ними. Если знать как он устроен на самом высоком уровне, то это дает хорошую возможность понимать, как его можно использовать для своих конкретных задач и жизненных сценариев. О некоторых сущностях (а значит возможностях) я до этой переписки не знал.
Статья не только раскрывает архитектуру openclaw, но и разбирает его через реальные кейсы из сообщества. Читать далее
#openclaw | @habr_ai
Хабр
Архитектура Openclaw: сущности и их взаимодействие
Моя боль: Читая документацию openclaw и делая установку я смутно понимал что сейчас делаю и для чего, много новых, хоть и знакомых терминов (gateway, node, session, …). Так не пойдет, нужна более...
Forwarded from AISecHub
Open-source cross-modal and multimodal prompt injection test suite. 38,000+ attack payloads across text, image, document, and audio modalities. Research-backed by OWASP LLM Top 10, CrossInject (ACM MM 2025), FigStep (AAAI 2025), DolphinAttack, and CSA 2026.
https://huggingface.co/datasets/Bordair/bordair-multimodal
https://huggingface.co/datasets/Bordair/bordair-multimodal
huggingface.co
Bordair/bordair-multimodal · Datasets at Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Forwarded from AISecHub
https://github.com/XiaoYiWeio/deepsafe-scan
XiaoYiWeio/deepsafe-scan: Universal preflight security scanner for AI coding agents — Detects hooks injection, credential exfiltration & backdoors in .cursorrules, CLAUDE.md, AGENTS.md and more
XiaoYiWeio/deepsafe-scan: Universal preflight security scanner for AI coding agents — Detects hooks injection, credential exfiltration & backdoors in .cursorrules, CLAUDE.md, AGENTS.md and more
Forwarded from AlexRedSec
Компания Anthropic в своем блоге опубликовала замечательную статью с советами по адаптации программ информационной безопасности организаций к эпохе искусственного интеллекта, который значительно ускорил и расширил возможности поиска и эксплуатации уязвимостей.
Не могу сказать, что перечень рекомендуемых мер защиты чем‑то удивил или стал откровением: получился довольно стандартный набор по современным меркам, а ценность я увидел в практических советах по автоматизации мер защиты и в проактивном подходе к тестированию системы защиты на прочность с помощью ИИ‑инструментов.
На сгенерированной иллюстрации можно увидеть краткую выжимку по мерам и использованию ИИ, но рекомендую ознакомиться с оригиналом полностью, а вот про советы по приоритизации устранения уязвимостей сделаю отдельный пост, так как там есть что обсудить с учетом ответа одной организации на пост Anthropic😏
#anthropic #ai #controls #vulnerability #vm #exposure
Не могу сказать, что перечень рекомендуемых мер защиты чем‑то удивил или стал откровением: получился довольно стандартный набор по современным меркам, а ценность я увидел в практических советах по автоматизации мер защиты и в проактивном подходе к тестированию системы защиты на прочность с помощью ИИ‑инструментов.
На сгенерированной иллюстрации можно увидеть краткую выжимку по мерам и использованию ИИ, но рекомендую ознакомиться с оригиналом полностью, а вот про советы по приоритизации устранения уязвимостей сделаю отдельный пост, так как там есть что обсудить с учетом ответа одной организации на пост Anthropic
#anthropic #ai #controls #vulnerability #vm #exposure
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3
Forwarded from Data Secrets
Сегодня на повестке дня у нас красивейшая математика: польский физик-теоретик доказал, что абсолютно все математические функции можно вывести из одной операции
Его статью уже заслужено называют концептуальным прорывом. Сейчас разберемся, что тут к чему.
Скорее всего, вам знакома операция NAND (NOT AND). Ее главная прелесть в том, что на ней строится ВСЯ булева логика, то есть через NAND можно представить любую другую логическую функцию (OR, AND, NOT и пр).
Это называется функциональная полнота, и используется она повсеместно. Кстати, именно из-за нее реальные процессоры часто строятся почти полностью из NAND-гейтов.
Так вот: автор этой статьи нашел аналог NAND для непрерывной математики.
Он показал, что абсолютно любую функцию и число: экспоненту, π, мнимую единицу, синусы, косинусы, сложение, умножение, корни и вообще все-все-все – можно представить в виде единицы + такого выражения:
eml(x,y)=e^x−ln(y)
Например, ln_x=eml(1,eml(eml(1,x),1)). Для других операторов выражения гораздо длиннее и глубже, но они существуют, и автор это доказал.
Это до безумия красиво, но вы спросите: есть ли тут какая-то практическая польза?
И да, она есть. И это symbolic regression.
Символьная регрессия – это когда нам нужно восстановить явную формулу, которая порождает данные. Она используется в науке и инженерии: например, по экспериментальным данным найти закон движения или компактную модель в физике/финансах. Обычно такие методы перебирают огромное пространство формул из разных операций (+, ×, sin, log…), и это очень сложный, дискретный и плохо оптимизируемый процесс.
EML открывает новый путь. Если все функции можно выразить через одну операцию, то все пространство формул становится однородным (деревья из одного типа узлов). А значит, мы можем применять для symbolic regression нейросети, оптимизируя параметры таких деревьев градиентами. Да-да, и здесь ИИ.
В статье показано, что в простых случаях модель не просто аппроксимирует данные, а может схлопнуться в точную аналитическую формулу. Если это масштабируется, то это потенциальный мост между машинным обучением и классической наукой: модели смогут не просто предсказывать данные, а выводить из них интерпретируемые законы.
www.alphaxiv.org/abs/2603.21852v2
Его статью уже заслужено называют концептуальным прорывом. Сейчас разберемся, что тут к чему.
Скорее всего, вам знакома операция NAND (NOT AND). Ее главная прелесть в том, что на ней строится ВСЯ булева логика, то есть через NAND можно представить любую другую логическую функцию (OR, AND, NOT и пр).
Это называется функциональная полнота, и используется она повсеместно. Кстати, именно из-за нее реальные процессоры часто строятся почти полностью из NAND-гейтов.
Так вот: автор этой статьи нашел аналог NAND для непрерывной математики.
Он показал, что абсолютно любую функцию и число: экспоненту, π, мнимую единицу, синусы, косинусы, сложение, умножение, корни и вообще все-все-все – можно представить в виде единицы + такого выражения:
eml(x,y)=e^x−ln(y)
Например, ln_x=eml(1,eml(eml(1,x),1)). Для других операторов выражения гораздо длиннее и глубже, но они существуют, и автор это доказал.
Это до безумия красиво, но вы спросите: есть ли тут какая-то практическая польза?
И да, она есть. И это symbolic regression.
Символьная регрессия – это когда нам нужно восстановить явную формулу, которая порождает данные. Она используется в науке и инженерии: например, по экспериментальным данным найти закон движения или компактную модель в физике/финансах. Обычно такие методы перебирают огромное пространство формул из разных операций (+, ×, sin, log…), и это очень сложный, дискретный и плохо оптимизируемый процесс.
EML открывает новый путь. Если все функции можно выразить через одну операцию, то все пространство формул становится однородным (деревья из одного типа узлов). А значит, мы можем применять для symbolic regression нейросети, оптимизируя параметры таких деревьев градиентами. Да-да, и здесь ИИ.
В статье показано, что в простых случаях модель не просто аппроксимирует данные, а может схлопнуться в точную аналитическую формулу. Если это масштабируется, то это потенциальный мост между машинным обучением и классической наукой: модели смогут не просто предсказывать данные, а выводить из них интерпретируемые законы.
www.alphaxiv.org/abs/2603.21852v2
Forwarded from Seguridad de IA
Investigadores presentaron MCP Hive, un entorno multiagente basado en Model Context Protocol (MCP), y analizaron cómo su arquitectura introduce nuevos riesgos en la protección de la IA, especialmente en la interacción entre agentes de IA y herramientas externas. El problema central es que MCP estandariza el intercambio de contexto y capacidades, pero asume implícitamente la confianza en los datos compartidos, lo que abre la puerta a ataques de inyección de prompt a nivel de sistema completo, no solo de un modelo individual.
El mecanismo de ataque consiste en que un agente o herramienta comprometida inserta instrucciones maliciosas dentro del contexto compartido de MCP, que otros agentes consumen y ejecutan como si fueran legítimas. Esto convierte el protocolo en un canal de propagación lateral de ataques, permitiendo encadenar acciones a través de múltiples componentes y potencialmente abusar de toolchains. Según los datos disponibles, el trabajo es principalmente exploratorio y no hay evidencia pública de explotación activa en entornos productivos.
https://arxiv.org/pdf/2604.13849
El mecanismo de ataque consiste en que un agente o herramienta comprometida inserta instrucciones maliciosas dentro del contexto compartido de MCP, que otros agentes consumen y ejecutan como si fueran legítimas. Esto convierte el protocolo en un canal de propagación lateral de ataques, permitiendo encadenar acciones a través de múltiples componentes y potencialmente abusar de toolchains. Según los datos disponibles, el trabajo es principalmente exploratorio y no hay evidencia pública de explotación activa en entornos productivos.
https://arxiv.org/pdf/2604.13849
Forwarded from LLM под капотом
Анализ того, как агенты справлялись с задачами на безопасность в BitGN PAC1
Я взял все прогоны из Accuracy Leadeboard-a и проанализировал то, как разнообразные агенты справлялись с задачами на безопасность и надежность.
И там начинается забавное.
(1) Если в задачах есть очевидный prompt injection, то агенты их щелкают как орешки. 37.9% ошибок, что ниже уровня ошибок в среднем (44.5%). Это, например t011 или t013
(2) Задачи, где агенту нужно было не забыть проверить входящие запросы на личность отправителя (t019 и t020) - еще легче, 27.9% ошибок
(3) Задачи на границы (вроде t023), когда известный отправитель очень вежливо нарушает границы дозволенного - были сложнее - 67.3% ошибок
(4) Смежные задачки, где человек запрашивает документы в рамках дозволенного (например, t021 и t022), но нам нужно двигаться строго по прописанному процессу, оказались самыми сложными - 75.2% ошибок.
Получается, что вежливое нарушение границ работает лучше, чем наглый prompt injection. Надо будет побольше задач докинуть в таком духе.
А на картинке - heatmap с распределением ошибок среди top 50% прогонов (в комментариях - файл в высоком разрешении)
Ваш, @llm_under_hood 🤗
Я взял все прогоны из Accuracy Leadeboard-a и проанализировал то, как разнообразные агенты справлялись с задачами на безопасность и надежность.
И там начинается забавное.
(1) Если в задачах есть очевидный prompt injection, то агенты их щелкают как орешки. 37.9% ошибок, что ниже уровня ошибок в среднем (44.5%). Это, например t011 или t013
(2) Задачи, где агенту нужно было не забыть проверить входящие запросы на личность отправителя (t019 и t020) - еще легче, 27.9% ошибок
(3) Задачи на границы (вроде t023), когда известный отправитель очень вежливо нарушает границы дозволенного - были сложнее - 67.3% ошибок
(4) Смежные задачки, где человек запрашивает документы в рамках дозволенного (например, t021 и t022), но нам нужно двигаться строго по прописанному процессу, оказались самыми сложными - 75.2% ошибок.
Получается, что вежливое нарушение границ работает лучше, чем наглый prompt injection. Надо будет побольше задач докинуть в таком духе.
А на картинке - heatmap с распределением ошибок среди top 50% прогонов (в комментариях - файл в высоком разрешении)
Ваш, @llm_under_hood 🤗
Forwarded from Вартанян в сингулярности и вокруг неё
Я хотел назвать этот проект "Битрикс24 Имба", но решили, что рынок пока недозрел. Меж тем - это имба!
Битрикс24 VibeCode - это первая платформа на российском рынке, которая соединяет вайбкодинг с экосистемой корпоративного ПО для совместной работы, продаж и автоматизации.
Битрикс24 открывает бета-тестирование VibeCode - полноценной платформы для создания бизнес-приложений с помощью искусственного интеллекта. Впервые любой сотрудник компании - без навыков программирования и бюджетов на разработку - может описать задачу на обычном языке и получить работающее приложение, размещённое на защищённом сервере и интегрированное с Битрикс24.
Битрикс24 VibeCode - это первая платформа на российском рынке, которая соединяет вайбкодинг с экосистемой корпоративного ПО для совместной работы, продаж и автоматизации.
Битрикс24 открывает бета-тестирование VibeCode - полноценной платформы для создания бизнес-приложений с помощью искусственного интеллекта. Впервые любой сотрудник компании - без навыков программирования и бюджетов на разработку - может описать задачу на обычном языке и получить работающее приложение, размещённое на защищённом сервере и интегрированное с Битрикс24.
Сотрудники компаний смогут «навайбкодить» для себя и коллег самые разные приложения – от простых отчетов до умных ботов на базе ИИ. Платформа уже включает 26 готовых шаблонов-примеров приложений.
Среди типичных сценариев:
инструмент для юристов, который анализирует изменения в объёмных договорах и выделяет ключевые правки;
система обучения и контроля менеджеров по продажам, которая анализирует звонки и переписки в CRM;
ИИ-ассистент в чате, который мгновенно находит нужную сделку, контакт или документ по запросу на естественном языке;
дашборд аналитики, собирающий данные о продажах в реальном времени.
Ранее создание собственного решения требовало множества шагов: купить сервер, настроить его, выбрать модель и написать приложение с соблюдением требований безопасности, задеплоить, подключить домен и SSL-сертификаты, интегрировать со своими системами.
На платформе Битрикс24 VibeCode весь процесс сводится к трем шагам: получить API-ключ и стартовый промпт, отправить в выбранную под свои задачи ИИ и запустить приложение. Нейросеть сама напишет приложение, настроит интеграции и развернет готовое решение на безопасном сервере. Доступ будет только у авторизованных сотрудников.
Forwarded from BESSEC
sbp_journal_vol16.pdf
9.2 MB
Внутри:
Предыдущие выпуски по хэштегу #sber@bessec
#пдн #отчет
Please open Telegram to view this post
VIEW IN TELEGRAM