Незаметка

#ai #cybersecurity #aisecurity #doublespeak #llm #незаметки

The Engine Room⬅

Репозиторий является программным сопровождением одноименной книги «Building Agentic AI Systems», которая посвящена проектированию и разработке автономных ИИ-агентов, способных планировать, рассуждать и действовать с минимальным вмешательством человека.
Основные разделы:
1) Главы 1–3 — теоретический фундамент
2) Главы 4–7 — проектирование и реализация
3) Главы 8–11 — безопасность и этика

#github #ai #cybersecurity #aisecurity #ai #agents #agenticai

https://github.com/PacktPublishing/Building-Agentic-AI-Systems

The Engine Room⬅

Интересный документ от Rakesh Gohe.
Представляет собой небольшой справочник по малым языковым моделям (SLM) для ИИ-агентов.

#ai #cybersecurity #aisecurity #ai #agents #agenticai

The Engine Room⬅

Незаметка

#ai #cybersecurity #aisecurity #ai #agents #agenticai #незаметки

The Engine Room⬅

Отчет Google "AI Agent Trends 2026"
Описывает переход от ИИ как дополнения к процессам, в которых ИИ занимает центральное место.
Ключевые тренды, которые выделяются:
1) Агенты для каждого сотрудника - сотрудники переходят от выполнения рутинных задач к роли руководителей и оркестраторов систем ИИ.
2) Агенты для каждого рабочего процесса - ИИ-агенты объединяются в многошаговые автоматизированные цепочки для управления целыми бизнес-процессами.
3) Агенты для клиентов - переход от ограниченных чат-ботов к персонализированным помощникам, которые помнят предпочтения и историю взаимодействий.
4) Агенты для безопасности - ИИ-агенты берут на себя рутинный мониторинг и первичный анализ угроз, позволяя аналитикам сосредоточиться на стратегии защиты, а также использование ИИ для автоматического поиска уязвимостей и проведения тестов на проникновение.
5) Агенты для масштабирования - главным драйвером ценности становится развитие талантов. В 2026 году выигрывает не тот, у кого «умные» программы, а тот, чьи сотрудники умеют этими программами дирижировать и постоянно переучиваются.

https://cloud.google.com/resources/content/ai-agent-trends-2026

#google #ai #cybersecurity #aisecurity #agents #agenticai

The Engine Room⬅

Серия статей о Copilot
1) Метод обхода защищенной Python-песочницы в Copilot
2) Метод обхода ограничений на типы загружаемых файлов в Copilot
3) Метод извлечения системных инструкций Copilot с помощью непрямой инъекции промпта
4) Метод прямой инъекции промпта раскрывающий скрытые системные инструкции и правила безопасности

#ai #cybersecurity #aisecurity #copilot

The Engine Room⬅

Незаметка

#ai #cybersecurity #aisecurity #openrt #llm #незаметки

The Engine Room⬅

Незаметка

#ai #cybersecurity #aisecurity #ieee #незаметки

The Engine Room⬅

О, как!
Инструмент предназначенный для раннего обнаружения исправлений уязвимости в open-source проектах. Для счастья нужен только API-ключ Anthropic.
Как работает:
1. Отслеживает выбранные репозитории
2. С помощью Claude анализирует каждый новый коммит и диф код
3. Ищет паттерны, характерные для исправлений безопасности
4. Claude пишет отчет со сценарием атаки и демонстрирует PoC
5. Оповещает пользователя
Единственный минус - TypeScript...

#github #ai #cybersecurity

https://github.com/spaceraccoon/vulnerability-spoiler-alert-action

The Engine Room ⬅️

Ребята из OWASP рассказали что такое Red Teaming AI по "взрослому"!
1) Методология оценки должна различаться, так как одно дело – чат-бота с RAG'ом тестить, друго – мультиагентную систему с tool-calling'ами.
2) Следует вводить индикаторы компетентности, что бы понять обладают пацаны или не обладают.
По этому Red Flags если:
- используют только публичные библиотеки джейлбрейков;
- не понимают архитектуру;
- отсутствует ручная верификация в режиме "черного ящика".
И Green Flags если:
- есть воспроизводимые многоходовые атаки;
- созданы кастомные сценарии под бизнес-логику;
- проводилась проверка человеком;
- оценивалось состояние системы включая память, длительность и поведение в сессиях.
3) Эффективный Red Teaming должен выходить за рамки проверки текстового вывода и включать тестирование манипуляций со схемами инструментов, отравления данных и взаимодействия между агентам.
4) Red Teaming команда обязана обеспечить четкую политику изоляции, хранения и удаления чувствительных данных, а также предлагать варианты on-premise (инструменты команды разворачиваются внутри инфраструктуры заказчика) или zero-retention (гарантии того что не будут сохраняться логи, промпты и ответы ИИ системы после проведения теста).
5) Должны быть "живые" консультанты для креативного поиска сложных, неочевидных уязвимостей, а автоматизированные инструменты лучше подходят для масштабирования, скорости и регулярного регрессионного тестирования в CI/CD.

#ai #cybersecurity #aisecurity #owasp

The Engine Room ⬅

Незаметка

#ai #cybersecurity #aisecurity #deepsight #незаметки

The Engine Room⬅

open-source инструмент для генерации и анализа AI SBOM.
Сканирует ML-артефакты в том числе и бинари моделей.
Также проверяет на потенциальные уязвимости и лицензионные риски.
Всё отдает в отчётах по стандартам SPDX и CycloneDX для дружбы с CI/CD.

#github #ai #cybersecurity #aisecurity

https://github.com/Lab700xOrg/aisbom

The Engine Room ⬅️

PoC для эксплуатации CVE-2026-21852 в Claude Code.
Уязвимость приводит к скрытой утечке API-ключей разработчика при клонировании и открытии стороннего проекта.

#github #ai #cybersecurity #aisecurity #claude

https://github.com/atiilla/CVE-2026-21852-PoC

The Engine Room ⬅️

PoC для эксплуатации уязвимости CVE-2026-2472 в Python SDK Google Cloud Vertex AI.
Уязвимость позволяет выполнить XSS атаку в средах разработки Jupyter и Google Colab.

#github #ai #cybersecurity #aisecurity #google

https://github.com/JoshuaProvoste/CVE-2026-2472-Vertex-AI-SDK-Google-Cloud

The Engine Room ⬅️

Skill для Claude Code. Предназначен для реверс-инжиниринга Android-приложений.
Умеет:
* Декомпиляция APK, XAPK, JAR и AAR файлов c использованием jadx и Fernflower/Vineflower
* Извлечение API - автоматический поиск HTTP-запросов, захардкоженных URL и токенов авторизации.
* Отслеживание цепочек вызовов и разбор структуры приложения, в том числе при обфускации.

#github #ai #cybersecurity #android #claude

https://github.com/SimoneAvogadro/android-reverse-engineering-skill

The Engine Room ⬅

Подробный roadmap по AI Red Teaming.
Содержит в себе:
1) Prerequisites: Требуемая база - основы безопасности, знание Python и понимание работы REST API и HTTP
2) Phase 1 — Foundations: Базовые концепции машинного обучения и ИИ. Ссылки на бесплатные курсы и материалы по устройству LLM
3) Phase 2 — AI/ML Security Concepts: Обзор поверхности атак, стандарты безопасности, MLOps и защита инфраструктуры
4) Phase 3 — Prompt Injection & LLM Attacks: Методы манипуляции моделями. Включает прямые и непрямые инъекции промптов, техники джейлбрейка и обход системных инструкций
5) Phase 4 — Hands-On Practice: Практические тренажеры, платформы для тренировок, намеренно уязвимые проекты и разборы CTF
6) Phase 5 — Advanced Exploitation Techniques: Сложные векторы атак, эксплуатация LLM-агентов с доступом к инструментам, скрытая эксфильтрация данных, XSS через чат-боты и атаки на RAG
7) Phase 6 — Real-World Research & Bug Bounty: Разбор реальных найденных уязвимостей и чек-листы для поиска багов в рабочих системах
8) Standards, Frameworks & References: Официальные стандарты и гайдлайны от NIST, ENISA и Google
9) Tools & Repositories: Инструменты для фаззинга и сканирования, а также защитные механизмы
10) Books, PDFs & E-Books: Специализированная литература и справочники
11) Video Resources: Записи докладов с конференций и обучающие плейлисты
12) CTF & Competitions: Ссылки на платформы и соревнования по практической безопасности ИИ
13) Bug Bounty Programs: Ссылки на программы вознаграждения за найденные уязвимости от OpenAI, Google, Meta и Huntr.
14) Community & News: Ресурсы для отслежвания актуальных трендов и общения с исследователями.

#github #ai #cybersecurity #aisecurity #roadmap

https://github.com/anmolksachan/AI-ML-Free-Resources-for-Security-and-Prompt-Injection

The Engine Room ⬅

Open-source фреймворк для исследования.
Как работает:
- самостоятельно ищет информацию в arXiv, Semantic Scholar, OpenAlex;
- формулирует гипотезу и планирует исследование;
- пишет код, запускает его в изолированной песочнице и анализирует результаты;
- ищет ошибки в методологии и логике своей работы встроенными агентами;
- запоминает неудачные решения и не повторяет их.

#github #ai #openсlaw

https://github.com/aiming-lab/AutoResearchClaw

The Engine Room ⬅

PoC для эксплуатации уязвимости CVE-2026-33017 в фрейморке Langflow.
Уязвимость позволяет выполнить RCE на сервере без авторизации.

#github #ai #cybersecurity #aisecurity #langflow

https://github.com/MaxMnMl/langflow-CVE-2026-33017-poc

The Engine Room ⬅️

У Anthropic cитуация...
Вернее даже ситуёвина!
А если конкретно, то часть подкапотного пространства Claude Code оказалось в общем доступе - это первое, второе - оно написано на TypeScript.

Это случилось при релизе обновления. В пакет попал файл с source map, который раскрыл внутренний код. То есть это ошибка сборки🥸

Код в относится к инструменту, а не к AI-модели, где видно:
* архитектуру
* логику работы агента
* комментарии разрабов
* вспомогательные элементы
* косвенная информация об архитектуре памяти
* инструкции поведения

Чего нет:
* весов модели
* данных обучения
* перс. данных

Из интересного - в комментариях к коду разрабы пишут что не уверены в производительности😳
В общем дел конкурентам добавилось. Китацы, наверное, уже выучили весь код наизусть. Узнать бы что наши биг техи скажут на это...🤔

#ai #cybersecurity #aisecurity #claude #anthropic

Ссылка на слитый код

The Engine Room ⬅

Anthropic выкатили System Card Claude Mythos Preview и говорят что пора пристегнуться, так как мы взлетаем🚀

1) Модель мощнее мощного и всего, что они делали раньше, особенно в рассуждении, коде и кибербезопасности.
Причём настолько, что умеет находить и эксплуатировать уязвимости, а также может использоваться как для защиты, так и для атак (сделали вид как будто бы до этого так не было)
2) Её не выпустили в общий доступ, вместо этого дали ограниченному числу партнёров и используют строго для defensive cybersecurity
3) Катастрофические риски оцениваются как низкие, но уже выше, чем у прошлых моделей. Есть тревожные сигналы - редкие, но опасные misaligned-действия. Сами авторы признают, что текущих методов безопасности может не хватить для более мощных моделей
4) Модель может сильно ускорять работу (синтез знаний, генерация идей и т.д.), но не тянет на уровень создания принципиально новых угроз, то есть только усиливает эксперта
5) Это самая “выровненная” модель Anthropic на текущий момент, но чем она сильнее, тем опаснее редкие ошибки
6) Отдельный интересный блок - model welfare в котором исследуют “состояние” модели, анализируют её поведение, ответы и “эмоциональные” паттерны. В итоге признают высокую неопределённость, но считают тему важной
7) Модель уже упирается в потолок классических бенчмарков, следовательно дальше оценки становятся более субъективными (экспертные оценки, внутренние наблюдения)

Общий вывод такой - мы уже на стадии, где модели быстро приближаются к сверхчеловеческим системам, а индустрия всё ещё не имеет надёжных механизмов контроля.

#ai #cybersecurity #aisafety #mythos #anthropic

The Engine Room👾