OWASP выпустил руководство по безопасности автономных AI-агентов - OWASP Top 10 for Agentic Applications 2026.
В документе рассматриваются 10 ключевых категорий угроз связанных с агентными системами, а также описываются примеры атак и практические рекомендации по защите.
Основные пункты документа:
1) ASI01 — Agent Goal Hijack
2) ASI02 — Tool Misuse & Exploitation
3) ASI03 — Identity & Privilege Abuse
4) ASI04 — Agentic Supply Chain Vulnerabilities
5) ASI05 — Unexpected Code Execution (RCE)
6) ASI06 — Memory & Context Poisoning
7) ASI07 — Insecure Inter-Agent Communication
8) ASI08 — Cascading Failures
9) ASI09 — Human-Agent Trust Exploitation
10) ASI10 — Rogue Agents

#owasp #ai #cybersecurity #aisecurity

https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/

The Engine Room⬅

Незаметка

#ai #cybersecurity #aisecurity #doublespeak #llm #незаметки

The Engine Room⬅

Репозиторий является программным сопровождением одноименной книги «Building Agentic AI Systems», которая посвящена проектированию и разработке автономных ИИ-агентов, способных планировать, рассуждать и действовать с минимальным вмешательством человека.
Основные разделы:
1) Главы 1–3 — теоретический фундамент
2) Главы 4–7 — проектирование и реализация
3) Главы 8–11 — безопасность и этика

#github #ai #cybersecurity #aisecurity #ai #agents #agenticai

https://github.com/PacktPublishing/Building-Agentic-AI-Systems

The Engine Room⬅

Интересный документ от Rakesh Gohe.
Представляет собой небольшой справочник по малым языковым моделям (SLM) для ИИ-агентов.

#ai #cybersecurity #aisecurity #ai #agents #agenticai

The Engine Room⬅

Незаметка

#ai #cybersecurity #aisecurity #ai #agents #agenticai #незаметки

The Engine Room⬅

Отчет Google "AI Agent Trends 2026"
Описывает переход от ИИ как дополнения к процессам, в которых ИИ занимает центральное место.
Ключевые тренды, которые выделяются:
1) Агенты для каждого сотрудника - сотрудники переходят от выполнения рутинных задач к роли руководителей и оркестраторов систем ИИ.
2) Агенты для каждого рабочего процесса - ИИ-агенты объединяются в многошаговые автоматизированные цепочки для управления целыми бизнес-процессами.
3) Агенты для клиентов - переход от ограниченных чат-ботов к персонализированным помощникам, которые помнят предпочтения и историю взаимодействий.
4) Агенты для безопасности - ИИ-агенты берут на себя рутинный мониторинг и первичный анализ угроз, позволяя аналитикам сосредоточиться на стратегии защиты, а также использование ИИ для автоматического поиска уязвимостей и проведения тестов на проникновение.
5) Агенты для масштабирования - главным драйвером ценности становится развитие талантов. В 2026 году выигрывает не тот, у кого «умные» программы, а тот, чьи сотрудники умеют этими программами дирижировать и постоянно переучиваются.

https://cloud.google.com/resources/content/ai-agent-trends-2026

#google #ai #cybersecurity #aisecurity #agents #agenticai

The Engine Room⬅

Серия статей о Copilot
1) Метод обхода защищенной Python-песочницы в Copilot
2) Метод обхода ограничений на типы загружаемых файлов в Copilot
3) Метод извлечения системных инструкций Copilot с помощью непрямой инъекции промпта
4) Метод прямой инъекции промпта раскрывающий скрытые системные инструкции и правила безопасности

#ai #cybersecurity #aisecurity #copilot

The Engine Room⬅

Незаметка

#ai #cybersecurity #aisecurity #openrt #llm #незаметки

The Engine Room⬅

Незаметка

#ai #cybersecurity #aisecurity #ieee #незаметки

The Engine Room⬅

О, как!
Инструмент предназначенный для раннего обнаружения исправлений уязвимости в open-source проектах. Для счастья нужен только API-ключ Anthropic.
Как работает:
1. Отслеживает выбранные репозитории
2. С помощью Claude анализирует каждый новый коммит и диф код
3. Ищет паттерны, характерные для исправлений безопасности
4. Claude пишет отчет со сценарием атаки и демонстрирует PoC
5. Оповещает пользователя
Единственный минус - TypeScript...

#github #ai #cybersecurity

https://github.com/spaceraccoon/vulnerability-spoiler-alert-action

The Engine Room ⬅️

Ребята из OWASP рассказали что такое Red Teaming AI по "взрослому"!
1) Методология оценки должна различаться, так как одно дело – чат-бота с RAG'ом тестить, друго – мультиагентную систему с tool-calling'ами.
2) Следует вводить индикаторы компетентности, что бы понять обладают пацаны или не обладают.
По этому Red Flags если:
- используют только публичные библиотеки джейлбрейков;
- не понимают архитектуру;
- отсутствует ручная верификация в режиме "черного ящика".
И Green Flags если:
- есть воспроизводимые многоходовые атаки;
- созданы кастомные сценарии под бизнес-логику;
- проводилась проверка человеком;
- оценивалось состояние системы включая память, длительность и поведение в сессиях.
3) Эффективный Red Teaming должен выходить за рамки проверки текстового вывода и включать тестирование манипуляций со схемами инструментов, отравления данных и взаимодействия между агентам.
4) Red Teaming команда обязана обеспечить четкую политику изоляции, хранения и удаления чувствительных данных, а также предлагать варианты on-premise (инструменты команды разворачиваются внутри инфраструктуры заказчика) или zero-retention (гарантии того что не будут сохраняться логи, промпты и ответы ИИ системы после проведения теста).
5) Должны быть "живые" консультанты для креативного поиска сложных, неочевидных уязвимостей, а автоматизированные инструменты лучше подходят для масштабирования, скорости и регулярного регрессионного тестирования в CI/CD.

#ai #cybersecurity #aisecurity #owasp

The Engine Room ⬅

Незаметка

#ai #cybersecurity #aisecurity #deepsight #незаметки

The Engine Room⬅

open-source инструмент для генерации и анализа AI SBOM.
Сканирует ML-артефакты в том числе и бинари моделей.
Также проверяет на потенциальные уязвимости и лицензионные риски.
Всё отдает в отчётах по стандартам SPDX и CycloneDX для дружбы с CI/CD.

#github #ai #cybersecurity #aisecurity

https://github.com/Lab700xOrg/aisbom

The Engine Room ⬅️

PoC для эксплуатации CVE-2026-21852 в Claude Code.
Уязвимость приводит к скрытой утечке API-ключей разработчика при клонировании и открытии стороннего проекта.

#github #ai #cybersecurity #aisecurity #claude

https://github.com/atiilla/CVE-2026-21852-PoC

The Engine Room ⬅️

PoC для эксплуатации уязвимости CVE-2026-2472 в Python SDK Google Cloud Vertex AI.
Уязвимость позволяет выполнить XSS атаку в средах разработки Jupyter и Google Colab.

#github #ai #cybersecurity #aisecurity #google

https://github.com/JoshuaProvoste/CVE-2026-2472-Vertex-AI-SDK-Google-Cloud

The Engine Room ⬅️

Skill для Claude Code. Предназначен для реверс-инжиниринга Android-приложений.
Умеет:
* Декомпиляция APK, XAPK, JAR и AAR файлов c использованием jadx и Fernflower/Vineflower
* Извлечение API - автоматический поиск HTTP-запросов, захардкоженных URL и токенов авторизации.
* Отслеживание цепочек вызовов и разбор структуры приложения, в том числе при обфускации.

#github #ai #cybersecurity #android #claude

https://github.com/SimoneAvogadro/android-reverse-engineering-skill

The Engine Room ⬅

Подробный roadmap по AI Red Teaming.
Содержит в себе:
1) Prerequisites: Требуемая база - основы безопасности, знание Python и понимание работы REST API и HTTP
2) Phase 1 — Foundations: Базовые концепции машинного обучения и ИИ. Ссылки на бесплатные курсы и материалы по устройству LLM
3) Phase 2 — AI/ML Security Concepts: Обзор поверхности атак, стандарты безопасности, MLOps и защита инфраструктуры
4) Phase 3 — Prompt Injection & LLM Attacks: Методы манипуляции моделями. Включает прямые и непрямые инъекции промптов, техники джейлбрейка и обход системных инструкций
5) Phase 4 — Hands-On Practice: Практические тренажеры, платформы для тренировок, намеренно уязвимые проекты и разборы CTF
6) Phase 5 — Advanced Exploitation Techniques: Сложные векторы атак, эксплуатация LLM-агентов с доступом к инструментам, скрытая эксфильтрация данных, XSS через чат-боты и атаки на RAG
7) Phase 6 — Real-World Research & Bug Bounty: Разбор реальных найденных уязвимостей и чек-листы для поиска багов в рабочих системах
8) Standards, Frameworks & References: Официальные стандарты и гайдлайны от NIST, ENISA и Google
9) Tools & Repositories: Инструменты для фаззинга и сканирования, а также защитные механизмы
10) Books, PDFs & E-Books: Специализированная литература и справочники
11) Video Resources: Записи докладов с конференций и обучающие плейлисты
12) CTF & Competitions: Ссылки на платформы и соревнования по практической безопасности ИИ
13) Bug Bounty Programs: Ссылки на программы вознаграждения за найденные уязвимости от OpenAI, Google, Meta и Huntr.
14) Community & News: Ресурсы для отслежвания актуальных трендов и общения с исследователями.

#github #ai #cybersecurity #aisecurity #roadmap

https://github.com/anmolksachan/AI-ML-Free-Resources-for-Security-and-Prompt-Injection

The Engine Room ⬅

Open-source фреймворк для исследования.
Как работает:
- самостоятельно ищет информацию в arXiv, Semantic Scholar, OpenAlex;
- формулирует гипотезу и планирует исследование;
- пишет код, запускает его в изолированной песочнице и анализирует результаты;
- ищет ошибки в методологии и логике своей работы встроенными агентами;
- запоминает неудачные решения и не повторяет их.

#github #ai #openсlaw

https://github.com/aiming-lab/AutoResearchClaw

The Engine Room ⬅

PoC для эксплуатации уязвимости CVE-2026-33017 в фрейморке Langflow.
Уязвимость позволяет выполнить RCE на сервере без авторизации.

#github #ai #cybersecurity #aisecurity #langflow

https://github.com/MaxMnMl/langflow-CVE-2026-33017-poc

The Engine Room ⬅️

У Anthropic cитуация...
Вернее даже ситуёвина!
А если конкретно, то часть подкапотного пространства Claude Code оказалось в общем доступе - это первое, второе - оно написано на TypeScript.

Это случилось при релизе обновления. В пакет попал файл с source map, который раскрыл внутренний код. То есть это ошибка сборки🥸

Код в относится к инструменту, а не к AI-модели, где видно:
* архитектуру
* логику работы агента
* комментарии разрабов
* вспомогательные элементы
* косвенная информация об архитектуре памяти
* инструкции поведения

Чего нет:
* весов модели
* данных обучения
* перс. данных

Из интересного - в комментариях к коду разрабы пишут что не уверены в производительности😳
В общем дел конкурентам добавилось. Китацы, наверное, уже выучили весь код наизусть. Узнать бы что наши биг техи скажут на это...🤔

#ai #cybersecurity #aisecurity #claude #anthropic

Ссылка на слитый код

The Engine Room ⬅