Forwarded from AISecHub
PromptShield: Prompt-Injection Detection with Wazuh SIEM Integration
Useful pattern: treat prompt-injection attempts as security telemetry—detect and route them into SIEM workflows (alerts, triage, correlation) instead of relying on prompt-only mitigations inside the model.
#PromptInjection #LLMSecurity #AISecurity #Tool
https://github.com/nourSOC/PromptShield
Useful pattern: treat prompt-injection attempts as security telemetry—detect and route them into SIEM workflows (alerts, triage, correlation) instead of relying on prompt-only mitigations inside the model.
#PromptInjection #LLMSecurity #AISecurity #Tool
https://github.com/nourSOC/PromptShield
GitHub
GitHub - nourSOC/PromptShield: AI Prompt Injection Detection & Wazuh SIEM Integration
AI Prompt Injection Detection & Wazuh SIEM Integration - nourSOC/PromptShield
Forwarded from OK ML
Мультиагентные системы, роевой интеллект и эпоха AI-агентов
Индустрия постепенно движется к мультиагентным системам🤩 — архитектурам, где работает не один AI, а сразу несколько агентов, взаимодействующих между собой. Уже настоящая команда 🫱🫲 .
Особенно интересно наблюдать, как в AI оживают идеи роевого интеллекта🐟 🐟 🐟 — те самые принципы, которые мы видим у муравьев, пчел, косяка рыб или стай птиц. У них ведь нет центрального мозга, который управляет каждым движением, но за счет постоянного обмена сигналами и локальных взаимодействий возникает удивительно сложное коллективное поведение. Сейчас похожие вещи начинают происходить и в системах AI-агентов. Отдельный агент может ошибаться, терять контекст, галлюцинировать или заходить в тупик. Но когда агентов несколько, они начинают компенсировать слабости друг друга. Один замечает ошибку второго. Второй предлагает гипотезу, третий пытается ее опровергнуть. Четвертый собирает дополнительные данные. Итог получается заметно сильнее, чем если бы задачу решала одна большая модель.
👽 Мне кажется, это важный сдвиг в самом понимании AI. Раньше основное внимание было сосредоточено на размерах моделей и качестве промптов. Теперь все чаще становится важна именно архитектура взаимодействия, как агенты координируются, как обмениваются памятью, как принимают коллективные решения, как проверяют выводы друг друга.
💐 Возможно, если когда-нибудь появится настоящий AGI, он будет больше похож как раз на сложный коллективный интеллект?
Но это были мои мысли, а что же почитать про МАС, АИ-агентов и роевой интеллект?
Если хочется нормально погрузиться в тему, то сейчас знания разбросаны между несколькими областями: МАС, роевой интеллект, распределенные системы RL и современными LLM-агентными фреймворками (шерсти этот канал!). Но есть несколько работ и направлений, с которых действительно стоит начать и про которые мы не говорили.
Важной стала статья "ReAct: Synergizing Reasoning and Acting in Language Models". Она сильно повлияла на современную архитектуру агентов, где модель не просто отвечает текстом, а чередует reasoning и actions. Многие современные автономные агенты — это развитие ReAct.
Еще одна интересная работа — "CAMEL: Communicative Agents for Mind Exploration". Она исследует, как агенты могут общаться между собой для решения задач. Сейчас это направление развивается очень быстро: agent-to-agent протоколы, self-play (без шуток, пошерсти канал!), collaborative reasoning.
Делаю ставку на репу Generative Agents: Interactive Simulacra of Human Behavior — 🦾! Там моделируются целые общества AI-агентов с памятью, социальным и эмерджентными поведением. Насколько быстро агенты вообще могут эволюционировать в сложные автономные среды…
База! Читаем!
И вообще есть ощущение, что в ближайшие годы разработчику AI-систем придется понимать не только модели, но и распределенные системы, теорию игр, отказоустойчивость, графы, координацию, память и самоорганизующиеся системы.
Все!
🦔
Индустрия постепенно движется к мультиагентным системам
Особенно интересно наблюдать, как в AI оживают идеи роевого интеллекта
Но это были мои мысли, а что же почитать про МАС, АИ-агентов и роевой интеллект?
Если хочется нормально погрузиться в тему, то сейчас знания разбросаны между несколькими областями: МАС, роевой интеллект, распределенные системы RL и современными LLM-агентными фреймворками (шерсти этот канал!). Но есть несколько работ и направлений, с которых действительно стоит начать и про которые мы не говорили.
Важной стала статья "ReAct: Synergizing Reasoning and Acting in Language Models". Она сильно повлияла на современную архитектуру агентов, где модель не просто отвечает текстом, а чередует reasoning и actions. Многие современные автономные агенты — это развитие ReAct.
Еще одна интересная работа — "CAMEL: Communicative Agents for Mind Exploration". Она исследует, как агенты могут общаться между собой для решения задач. Сейчас это направление развивается очень быстро: agent-to-agent протоколы, self-play (без шуток, пошерсти канал!), collaborative reasoning.
Делаю ставку на репу Generative Agents: Interactive Simulacra of Human Behavior — 🦾! Там моделируются целые общества AI-агентов с памятью, социальным и эмерджентными поведением. Насколько быстро агенты вообще могут эволюционировать в сложные автономные среды…
База! Читаем!
И вообще есть ощущение, что в ближайшие годы разработчику AI-систем придется понимать не только модели, но и распределенные системы, теорию игр, отказоустойчивость, графы, координацию, память и самоорганизующиеся системы.
Все!
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡1
Forwarded from AISecHub
О построении МАС - требования к модулю-оркестратору и к мультиагентскому взаимодействию в Cisco Foundry Security Spec
5.1 Orchestrator
8.3 Inter-agent communication
5.1 Orchestrator
8.3 Inter-agent communication
GitHub
foundry-security-spec/spec.md at main · CiscoDevNet/foundry-security-spec
An open specification for agentic AI security evaluation and testing, from Cisco. - CiscoDevNet/foundry-security-spec
Как управлять доступом, привлекая внимание итальянцев
https://github.com/rescrv/libmacaroons
https://github.com/rescrv/libmacaroons
macaroons can limit when, where, and by whom the delegated authority can be exercised (e.g., within one minute, from a machine that holds a certain key, or by a certain logged-in user), by using attenuation and third-party caveats.
GitHub
GitHub - rescrv/libmacaroons: Macaroons are flexible authorization credentials that support decentralized delegation, attenuation…
Macaroons are flexible authorization credentials that support decentralized delegation, attenuation, and verification. - rescrv/libmacaroons
Еще один аналог куки
https://doc.biscuitsec.org/getting-started/introduction.html
https://doc.biscuitsec.org/getting-started/introduction.html
Forwarded from Похек AI (Сергей Зыбнев)
Cryptex OSS: локальный стенд для prompt security
Cryptex OSS — открытая браузерная лаборатория для проверки LLM на устойчивость к кодировкам, мутациям и промпт инъекциям. В репозитории заявлены 159 трансформеров, 25 поверхностей инструментов и BYOK-шлюз. Живой инстанс доступен без регистрации; ключи провайдеров хранятся в браузерном
Главная ценность — в нормальной рабочей среде для повторяемых экспериментов. Есть Transform/Decode для кодировок и Unicode-трюков, Tokenizer и Tokenade для токенизации и «тяжёлых» входов, Fuzzer, PromptCraft с 36 мутациями и оркестраторами TAP/PAIR/Crescendo/Many-Shot, плюс лаборатории HarmBench, StrongREJECT, JBB, indirect injection, Markdown Exfil, OCR Injection, Fingerprinter и Watermark.
Разработчик честно помечает heuristic scoring: результаты бенчмарк-лабораторий — сигнал для итераций, а не вердикт о безопасности модели. Это важное ограничение: Cryptex удобен для ресерча, подготовки тест-кейсов и сравнения поведения провайдеров, но не заменяет полноценную методологию оценки.
Архитектурно проект выглядит практично: SvelteKit/Svelte 5, статический деплой без бэкенда, история в
Главное — не путать мутацию промпта с доказанным exploit chain: ценность Cryptex именно в быстрой, прозрачной итерации.
🔗 Источники:
Репозиторий / live site
🌚 @poxek_ai / Чат канала
Cryptex OSS — открытая браузерная лаборатория для проверки LLM на устойчивость к кодировкам, мутациям и промпт инъекциям. В репозитории заявлены 159 трансформеров, 25 поверхностей инструментов и BYOK-шлюз. Живой инстанс доступен без регистрации; ключи провайдеров хранятся в браузерном
localStorage, а AI-запросы идут напрямую к выбранному провайдеру.Главная ценность — в нормальной рабочей среде для повторяемых экспериментов. Есть Transform/Decode для кодировок и Unicode-трюков, Tokenizer и Tokenade для токенизации и «тяжёлых» входов, Fuzzer, PromptCraft с 36 мутациями и оркестраторами TAP/PAIR/Crescendo/Many-Shot, плюс лаборатории HarmBench, StrongREJECT, JBB, indirect injection, Markdown Exfil, OCR Injection, Fingerprinter и Watermark.
Разработчик честно помечает heuristic scoring: результаты бенчмарк-лабораторий — сигнал для итераций, а не вердикт о безопасности модели. Это важное ограничение: Cryptex удобен для ресерча, подготовки тест-кейсов и сравнения поведения провайдеров, но не заменяет полноценную методологию оценки.
Архитектурно проект выглядит практично: SvelteKit/Svelte 5, статический деплой без бэкенда, история в
localStorage/IndexedDB, тяжёлые трансформации через Web Workers, Docker/GHCR для быстрого self-host. Можно поднять локально одной командой, а можно пользоваться hosted-версией.Главное — не путать мутацию промпта с доказанным exploit chain: ценность Cryptex именно в быстрой, прозрачной итерации.
Репозиторий / live site
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from The Engine Room
The Engine Room
AI Cybersecurity Careers 2026
Карьерный обзор рынка AI Security на 2026 год
Документ “AI Cybersecurity Careers 2026” от SANS. Рассказывают о том, какие AI Security роли уже востребованы, как ИИ меняет кибербезопасность и почему ближайшие 2–3 года станут ключевыми для специалистов в области AI Security.
Незаметка
#ai #cybersecurity #sans #aisecurity #незаметки
The Engine Room👾
Незаметка
#ai #cybersecurity #sans #aisecurity #незаметки
The Engine Room
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from GitHub Community
AgentScope — это готовая к использованию в продакшене простая в применении платформа для агентов с базовыми абстракциями, которые работают с растущими возможностями моделей и имеют встроенную поддержку тонкой настройки.
Мы разрабатываем все более автономные большие языковые модели. Наш подход основан на использовании способностей моделей к логическому мышлению и использованию инструментов, а не на ограничении их возможностей с помощью строгих подсказок и шаблонных сценариев.
🐱 GitHub
Мы разрабатываем все более автономные большие языковые модели. Наш подход основан на использовании способностей моделей к логическому мышлению и использованию инструментов, а не на ограничении их возможностей с помощью строгих подсказок и шаблонных сценариев.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Seguridad de IA
OWASP publicó AIUC-1 Crosswalks, un marco que adapta el OWASP Top 10 al contexto de aplicaciones agentic, destacando que los riesgos clásicos cambian significativamente cuando un agente de IA puede razonar, usar herramientas y ejecutar acciones autónomas. El documento identifica vectores como inyección de prompt, abuso de toolchains, manipulación de memoria y escalada de privilegios a través de integraciones externas, señalando que los agentes no deben tratarse como simples interfaces conversacionales, sino como sistemas con capacidad operativa directa sobre infraestructuras y datos sensibles.
El análisis subraya que muchas amenazas en aplicaciones agentic emergen de relaciones implícitas de confianza entre modelos, herramientas y fuentes de contexto. En particular, OWASP destaca que una inyección indirecta de prompt puede propagarse a través de workflows completos y derivar en exfiltración de datos o ejecución de acciones no autorizadas sin explotar vulnerabilidades tradicionales de software. El objetivo del framework es mapear controles defensivos y modelos de amenaza específicos para arquitecturas agentic, donde las barreras de protección del LLM por sí solas ya no son suficientes para garantizar la protección de la IA.
https://genai.owasp.org/resource/aiuc-1-crosswalks-owasp-top-10-for-agentic-applications/
El análisis subraya que muchas amenazas en aplicaciones agentic emergen de relaciones implícitas de confianza entre modelos, herramientas y fuentes de contexto. En particular, OWASP destaca que una inyección indirecta de prompt puede propagarse a través de workflows completos y derivar en exfiltración de datos o ejecución de acciones no autorizadas sin explotar vulnerabilidades tradicionales de software. El objetivo del framework es mapear controles defensivos y modelos de amenaza específicos para arquitecturas agentic, donde las barreras de protección del LLM por sí solas ya no son suficientes para garantizar la protección de la IA.
https://genai.owasp.org/resource/aiuc-1-crosswalks-owasp-top-10-for-agentic-applications/
OWASP Gen AI Security Project
AIUC-1: Crosswalks OWASP Top 10 For Agentic Applications
The AIUC-1 Crosswalk of the OWASP Top 10 for Agentic Applications provides a bidirectional mapping between AIUC-1 requirements and the OWASP Agentic Security Initiative’s Top 10 risks for autonomous and agentic AI systems. It helps organizations understand…