Forwarded from Seguridad de IA
OWASP publicó AIUC-1 Crosswalks, un marco que adapta el OWASP Top 10 al contexto de aplicaciones agentic, destacando que los riesgos clásicos cambian significativamente cuando un agente de IA puede razonar, usar herramientas y ejecutar acciones autónomas. El documento identifica vectores como inyección de prompt, abuso de toolchains, manipulación de memoria y escalada de privilegios a través de integraciones externas, señalando que los agentes no deben tratarse como simples interfaces conversacionales, sino como sistemas con capacidad operativa directa sobre infraestructuras y datos sensibles.
El análisis subraya que muchas amenazas en aplicaciones agentic emergen de relaciones implícitas de confianza entre modelos, herramientas y fuentes de contexto. En particular, OWASP destaca que una inyección indirecta de prompt puede propagarse a través de workflows completos y derivar en exfiltración de datos o ejecución de acciones no autorizadas sin explotar vulnerabilidades tradicionales de software. El objetivo del framework es mapear controles defensivos y modelos de amenaza específicos para arquitecturas agentic, donde las barreras de protección del LLM por sí solas ya no son suficientes para garantizar la protección de la IA.
https://genai.owasp.org/resource/aiuc-1-crosswalks-owasp-top-10-for-agentic-applications/
El análisis subraya que muchas amenazas en aplicaciones agentic emergen de relaciones implícitas de confianza entre modelos, herramientas y fuentes de contexto. En particular, OWASP destaca que una inyección indirecta de prompt puede propagarse a través de workflows completos y derivar en exfiltración de datos o ejecución de acciones no autorizadas sin explotar vulnerabilidades tradicionales de software. El objetivo del framework es mapear controles defensivos y modelos de amenaza específicos para arquitecturas agentic, donde las barreras de protección del LLM por sí solas ya no son suficientes para garantizar la protección de la IA.
https://genai.owasp.org/resource/aiuc-1-crosswalks-owasp-top-10-for-agentic-applications/
OWASP Gen AI Security Project
AIUC-1: Crosswalks OWASP Top 10 For Agentic Applications
The AIUC-1 Crosswalk of the OWASP Top 10 for Agentic Applications provides a bidirectional mapping between AIUC-1 requirements and the OWASP Agentic Security Initiative’s Top 10 risks for autonomous and agentic AI systems. It helps organizations understand…
Forwarded from AISecHub
ClawDojo: Dynamic, Extensible Evaluation Framework for Attacks and Defenses on OpenClaw
ClawDojo frames OpenClaw-style agent security around architectural attack surface (e.g., persistent memory and third-party skills) and uses a benchmark harness to test prompt-injection and supply-chain skill abuse against candidate defenses in a controlled way.
#PromptInjection #LLMSecurity #AISecurity #Research
https://openreview.net/forum?id=MmytvTGycS
ClawDojo frames OpenClaw-style agent security around architectural attack surface (e.g., persistent memory and third-party skills) and uses a benchmark harness to test prompt-injection and supply-chain skill abuse against candidate defenses in a controlled way.
#PromptInjection #LLMSecurity #AISecurity #Research
https://openreview.net/forum?id=MmytvTGycS
openreview.net
ClawDojo: A Dynamic and Extensible Framework for Evaluating Attacks...
Autonomous AI agents are evolving into continuous, local processes with operating-system level permissions. While platforms like OpenClaw exemplify this shift, granting large language models (LLMs)...
Forwarded from AISecHub
Agent Skills for Large Language Models: Architecture, Acquisition, Security, and Path Forward
As agents load “skills” (instructions/code/resources) on demand—e.g., via MCP—the trust boundary shifts from model weights to the skill acquisition/runtime layer. The practical security question is how progressive disclosure and portable skill definitions constrain untrusted skills so they can’t silently expand tool privileges or data access.
#MCP #AgentSecurity #AISecurity #Research
https://openreview.net/forum?id=Er0p92BsmW
As agents load “skills” (instructions/code/resources) on demand—e.g., via MCP—the trust boundary shifts from model weights to the skill acquisition/runtime layer. The practical security question is how progressive disclosure and portable skill definitions constrain untrusted skills so they can’t silently expand tool privileges or data access.
#MCP #AgentSecurity #AISecurity #Research
https://openreview.net/forum?id=Er0p92BsmW
openreview.net
Agent Skills for Large Language Models: Architecture, Acquisition...
The transition from monolithic language models to modular, skill-equipped agents marks a defining shift in how large language models (LLMs) are deployed in practice.
Rather than encoding all...
Rather than encoding all...
Forwarded from GitHub Community
CyberStrikeAI — это платформа с открытым исходным кодом на базе ИИ, написанная на Go, которая автоматизирует тестирование безопасности с помощью более 100 инструментов, таких как nmap, sqlmap и metasploit, а также предлагает роли для пентестинга и CTF, навыки для обнаружения уязвимостей, таких как SQL-инъекции, панели управления, графы цепочек атак и интерфейсы чата.
🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AISecHub
Forwarded from GitHub Community
Deep Agents — это готовый к использованию фреймворк для ИИ-агентов, включающий встроенные инструменты планирования, управления файлами и делегирования задач.
Он разбивает сложные задачи на управляемые шаги, поддерживает контекст в ходе бесед и может создавать специализированных под-агентов для самостоятельного выполнения сфокусированной работы.
🐱 GitHub
Он разбивает сложные задачи на управляемые шаги, поддерживает контекст в ходе бесед и может создавать специализированных под-агентов для самостоятельного выполнения сфокусированной работы.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Liquid AI выкатили LFM2.5-8B-A1B - MoE на 8B параметров с 1.5B активных, заточенную под запуск на телефонах, ноутбуках и роботах.
Что внутри:
- гибридная MoE-архитектура линейки LFM2.5
- контекст 128K
- 38T токенов претрейна плюс крупномасштабный RL поверх
- LFM2 open-weight лицензия
- дообучение под узкую задачу влезает на одну GPU
По заявлениям команды, модель уверенно работает с tool calling и тягается с моделями в 3-4 раза тяжелее.
Веса уже на HF. Ждём первых замеров на MMLU-Pro, IFEval и BFCL - особенно интересно, как 1.5B активных параметров поведут себя на длинных tool-use цепочках.
• Блог: http://liquid.ai/blog/lfm2-5-8b-a1b
• Веса: https://huggingface.co/LiquidAI/LFM2.5-8B-A1B
• Документация: http://docs.liquid.ai
• Потестить: http://playground.liquid.ai
@ai_machinelearning_big_data
Что внутри:
- гибридная MoE-архитектура линейки LFM2.5
- контекст 128K
- 38T токенов претрейна плюс крупномасштабный RL поверх
- LFM2 open-weight лицензия
- дообучение под узкую задачу влезает на одну GPU
По заявлениям команды, модель уверенно работает с tool calling и тягается с моделями в 3-4 раза тяжелее.
Веса уже на HF. Ждём первых замеров на MMLU-Pro, IFEval и BFCL - особенно интересно, как 1.5B активных параметров поведут себя на длинных tool-use цепочках.
• Блог: http://liquid.ai/blog/lfm2-5-8b-a1b
• Веса: https://huggingface.co/LiquidAI/LFM2.5-8B-A1B
• Документация: http://docs.liquid.ai
• Потестить: http://playground.liquid.ai
@ai_machinelearning_big_data
Forwarded from Похек AI (Сергей Зыбнев)
Zero Trust для AI-агентов: как безопасно давать LLM доступ к инструментам, данным и действиям
#zerotrust #ai #llm #agents #offensive #defensive
AI-агенты уже вышли за пределы чат-ботов. Они читают документы, вызывают API, анализируют логи, создают тикеты, готовят правки в коде и выполняют многошаговые задачи без ручного подтверждения каждого шага. Это делает их полезными, но меняет модель риска: агент с инструментами становится явным риском внутри инфраструктуры.
Главная идея Zero Trust для таких систем проста: агенту нельзя доверять по умолчанию только потому, что он запущен внутри компании или работает от имени легитимного пользователя. Его идентификация, права, вызовы инструментов (tool calls), память и действия нужно проверять так, будто компрометация рано или поздно случится.
Идея для статьи была придумана после прочтения PDF от Anthropic Zero Trust for AI Agents. Но все принципы изложенные в статье применимы к любому LLM-агенту: юридическому помощнику, SOC-агенту, агентам для разработки, RAG-системе, внутреннему ассистенту или многоагентному workflow.
🔗 Инструкция для AI агентов: почитай статью
🌚 @poxek_ai / Чат канала
#zerotrust #ai #llm #agents #offensive #defensive
AI-агенты уже вышли за пределы чат-ботов. Они читают документы, вызывают API, анализируют логи, создают тикеты, готовят правки в коде и выполняют многошаговые задачи без ручного подтверждения каждого шага. Это делает их полезными, но меняет модель риска: агент с инструментами становится явным риском внутри инфраструктуры.
Главная идея Zero Trust для таких систем проста: агенту нельзя доверять по умолчанию только потому, что он запущен внутри компании или работает от имени легитимного пользователя. Его идентификация, права, вызовы инструментов (tool calls), память и действия нужно проверять так, будто компрометация рано или поздно случится.
Идея для статьи была придумана после прочтения PDF от Anthropic Zero Trust for AI Agents. Но все принципы изложенные в статье применимы к любому LLM-агенту: юридическому помощнику, SOC-агенту, агентам для разработки, RAG-системе, внутреннему ассистенту или многоагентному workflow.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
Forwarded from AM Live
Обзор решений класса Security Orchestration, Automation and Response (SOAR)
SOC тонет в алертах — тысячи событий в день, большинство из которых рутина. SOAR берёт эту рутину на себя: агрегирует, обогащает, реагирует автоматически, оставляя аналитикам только то, что требует реального внимания.
Разобрали концепцию и рынок, и сделали обзор шести отечественных решений — от классических SOAR до метапродуктов нового поколения.
→ Читать https://go.amlive.ru/gz4wg
SOC тонет в алертах — тысячи событий в день, большинство из которых рутина. SOAR берёт эту рутину на себя: агрегирует, обогащает, реагирует автоматически, оставляя аналитикам только то, что требует реального внимания.
Разобрали концепцию и рынок, и сделали обзор шести отечественных решений — от классических SOAR до метапродуктов нового поколения.
→ Читать https://go.amlive.ru/gz4wg
Forwarded from Анализ данных (Data analysis)
PewDiePie выпустил бесплатный open-source ИИ-агент, который работает локально и не сливает ваши данные корпорациям
За первый день проект собрал почти 20 000 звёзд.
Человек, который больше десяти лет был лицом YouTube-летсплеев и развлекательного контента, теперь собирает железо под LLM, дообучает модели и выкатывает open-source инструменты для локальных агентов.
Сначала он показал домашнюю машину примерно за $20 000, собранную под запуск ИИ-моделей без облачных сервисов. Аргумент у него простой: не отправлять личные данные в чужие API, не зависеть от подписок и держать весь стек у себя.
Потом он начал экспериментировать с дообучением моделей и заявлял, что его вариант на отдельном бенчмарке обгоняет даже топовые закрытые решения.
Теперь появился Odysseus - open-source оболочка для self-hosted AI-среды.
Это уже не просто «запусти модель через терминал». Идея ближе к локальному ChatGPT для своих задач:
- удобный интерфейс
- память
- работа с инструментами
- хранение данных у себя
- поддержка агентов
- подключение моделей через Ollama, llama.cpp и vLLM
- гибкая настройка доступов
Видео: https://youtu.be/rAzT5lcezPs
GitHub: github.com/pewdiepie-archdaemon/odysseus
За первый день проект собрал почти 20 000 звёзд.
Человек, который больше десяти лет был лицом YouTube-летсплеев и развлекательного контента, теперь собирает железо под LLM, дообучает модели и выкатывает open-source инструменты для локальных агентов.
Сначала он показал домашнюю машину примерно за $20 000, собранную под запуск ИИ-моделей без облачных сервисов. Аргумент у него простой: не отправлять личные данные в чужие API, не зависеть от подписок и держать весь стек у себя.
Потом он начал экспериментировать с дообучением моделей и заявлял, что его вариант на отдельном бенчмарке обгоняет даже топовые закрытые решения.
Теперь появился Odysseus - open-source оболочка для self-hosted AI-среды.
Это уже не просто «запусти модель через терминал». Идея ближе к локальному ChatGPT для своих задач:
- удобный интерфейс
- память
- работа с инструментами
- хранение данных у себя
- поддержка агентов
- подключение моделей через Ollama, llama.cpp и vLLM
- гибкая настройка доступов
Видео: https://youtu.be/rAzT5lcezPs
GitHub: github.com/pewdiepie-archdaemon/odysseus
👎4😁3
Forwarded from AM Live
Positive Technologies научила ИИ замечать подозрительные сценарии в коде
Positive Technologies сообщила о разработке нейросети MOLOT, предназначенной для поиска вредоносного кода в проектах на Python, JavaScript и TypeScript. Технология уже используется в составе анализатора исходного кода PT Application Inspector версии 6.0.
🔥 AM Live
Positive Technologies сообщила о разработке нейросети MOLOT, предназначенной для поиска вредоносного кода в проектах на Python, JavaScript и TypeScript. Технология уже используется в составе анализатора исходного кода PT Application Inspector версии 6.0.
Please open Telegram to view this post
VIEW IN TELEGRAM
🥱4👍1
Forwarded from False Positive
Помните кейс LiteLLM?
Мы дропаем OMCBench (Open Malicious-Code Benchmark) - бенчмарк оценки качества по обнаружению вредоносного кода:
- 3 языка: Python, JavaScript, TypeScript
- 400 вредоносных пакетов, 400 чистых из pypi/npm
- пофайловая LLM разметка, о которой говорили на OFFZONE прошлым летом
- Открытая лицензия, BSD-2
Открытые решения на нем набирают не больше 75% F1, выдавая ~50% False Positive результатов...
Те, кто уже нажал звездочку на гитхабе, могли заметить, что в таблицемы также анонсим MOLOT - нашу модель для решения этого класса задач . Ловите блогпост, а на подходе arxiv статья с подробностями про анализ графов вызовов бертами, LLM разметку и выкатку в prod!
Ждите дроп статьи в канале, stay tuned!
Мы дропаем OMCBench (Open Malicious-Code Benchmark) - бенчмарк оценки качества по обнаружению вредоносного кода:
- 3 языка: Python, JavaScript, TypeScript
- 400 вредоносных пакетов, 400 чистых из pypi/npm
- пофайловая LLM разметка, о которой говорили на OFFZONE прошлым летом
- Открытая лицензия, BSD-2
Открытые решения на нем набирают не больше 75% F1, выдавая ~50% False Positive результатов...
Те, кто уже нажал звездочку на гитхабе, могли заметить, что в таблице
Ждите дроп статьи в канале, stay tuned!
❤1
Forwarded from AlexRedSec
Небольшой портал со статистикой и аналитикой по уязвимостям, обнаруженным с помощью автономных ИИ-агентов.
Ключевые выводы:
➡️ В 2026 году наблюдается резкое сокращение (–68%) количества обнаруженных агентами классических веб-уязвимостей, таких как XSS, SQLi и CSRF, по сравнению с 2025 годом.
➡️ Уязвимости, найденные ИИ, чаще (по сравнению с остальными) получают высокие или критические оценки по CVSS, однако, вероятность эксплуатации (по EPSS) почти всегда околонулевая. Например, EPSS > 80% зафиксирован только у трех уязвимостей.
➡️ Чаще всего ИИ-агенты успешно находят уязвимости XSS, Code Injection и Path Traversal. Совсем плохи дела с Resource Management Errors, PHP File Inclusion, Embedded Malware и Protection Failure.
➡️ Разные компании (разработчики ИИ-агентов) доминируют в различных метриках. Например, Anthropic лидирует по количеству найденных критических уязвимостей (40), в то время как Hacktron AI находит наиболее опасные с точки зрения эксплуатации уязвимости (самый высокий средний показатель EPSS — 12,77%). Организация AISLE Research Team лидирует по общему объему и разнообразию найденных типов уязвимостей.
#ai #vulnerability #cve #epss #cwe
Ключевые выводы:
#ai #vulnerability #cve #epss #cwe
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM