Подробный roadmap по AI Red Teaming.
Содержит в себе:
1) Prerequisites: Требуемая база - основы безопасности, знание Python и понимание работы REST API и HTTP
2) Phase 1 — Foundations: Базовые концепции машинного обучения и ИИ. Ссылки на бесплатные курсы и материалы по устройству LLM
3) Phase 2 — AI/ML Security Concepts: Обзор поверхности атак, стандарты безопасности, MLOps и защита инфраструктуры
4) Phase 3 — Prompt Injection & LLM Attacks: Методы манипуляции моделями. Включает прямые и непрямые инъекции промптов, техники джейлбрейка и обход системных инструкций
5) Phase 4 — Hands-On Practice: Практические тренажеры, платформы для тренировок, намеренно уязвимые проекты и разборы CTF
6) Phase 5 — Advanced Exploitation Techniques: Сложные векторы атак, эксплуатация LLM-агентов с доступом к инструментам, скрытая эксфильтрация данных, XSS через чат-боты и атаки на RAG
7) Phase 6 — Real-World Research & Bug Bounty: Разбор реальных найденных уязвимостей и чек-листы для поиска багов в рабочих системах
8) Standards, Frameworks & References: Официальные стандарты и гайдлайны от NIST, ENISA и Google
9) Tools & Repositories: Инструменты для фаззинга и сканирования, а также защитные механизмы
10) Books, PDFs & E-Books: Специализированная литература и справочники
11) Video Resources: Записи докладов с конференций и обучающие плейлисты
12) CTF & Competitions: Ссылки на платформы и соревнования по практической безопасности ИИ
13) Bug Bounty Programs: Ссылки на программы вознаграждения за найденные уязвимости от OpenAI, Google, Meta и Huntr.
14) Community & News: Ресурсы для отслежвания актуальных трендов и общения с исследователями.

#github #ai #cybersecurity #aisecurity #roadmap

https://github.com/anmolksachan/AI-ML-Free-Resources-for-Security-and-Prompt-Injection

The Engine Room ⬅

Open-source фреймворк для исследования.
Как работает:
- самостоятельно ищет информацию в arXiv, Semantic Scholar, OpenAlex;
- формулирует гипотезу и планирует исследование;
- пишет код, запускает его в изолированной песочнице и анализирует результаты;
- ищет ошибки в методологии и логике своей работы встроенными агентами;
- запоминает неудачные решения и не повторяет их.

#github #ai #openсlaw

https://github.com/aiming-lab/AutoResearchClaw

The Engine Room ⬅

PoC для эксплуатации уязвимости CVE-2026-33017 в фрейморке Langflow.
Уязвимость позволяет выполнить RCE на сервере без авторизации.

#github #ai #cybersecurity #aisecurity #langflow

https://github.com/MaxMnMl/langflow-CVE-2026-33017-poc

The Engine Room ⬅️

У Anthropic cитуация...
Вернее даже ситуёвина!
А если конкретно, то часть подкапотного пространства Claude Code оказалось в общем доступе - это первое, второе - оно написано на TypeScript.

Это случилось при релизе обновления. В пакет попал файл с source map, который раскрыл внутренний код. То есть это ошибка сборки🥸

Код в относится к инструменту, а не к AI-модели, где видно:
* архитектуру
* логику работы агента
* комментарии разрабов
* вспомогательные элементы
* косвенная информация об архитектуре памяти
* инструкции поведения

Чего нет:
* весов модели
* данных обучения
* перс. данных

Из интересного - в комментариях к коду разрабы пишут что не уверены в производительности😳
В общем дел конкурентам добавилось. Китацы, наверное, уже выучили весь код наизусть. Узнать бы что наши биг техи скажут на это...🤔

#ai #cybersecurity #aisecurity #claude #anthropic

Ссылка на слитый код

The Engine Room ⬅

Anthropic выкатили System Card Claude Mythos Preview и говорят что пора пристегнуться, так как мы взлетаем🚀

1) Модель мощнее мощного и всего, что они делали раньше, особенно в рассуждении, коде и кибербезопасности.
Причём настолько, что умеет находить и эксплуатировать уязвимости, а также может использоваться как для защиты, так и для атак (сделали вид как будто бы до этого так не было)
2) Её не выпустили в общий доступ, вместо этого дали ограниченному числу партнёров и используют строго для defensive cybersecurity
3) Катастрофические риски оцениваются как низкие, но уже выше, чем у прошлых моделей. Есть тревожные сигналы - редкие, но опасные misaligned-действия. Сами авторы признают, что текущих методов безопасности может не хватить для более мощных моделей
4) Модель может сильно ускорять работу (синтез знаний, генерация идей и т.д.), но не тянет на уровень создания принципиально новых угроз, то есть только усиливает эксперта
5) Это самая “выровненная” модель Anthropic на текущий момент, но чем она сильнее, тем опаснее редкие ошибки
6) Отдельный интересный блок - model welfare в котором исследуют “состояние” модели, анализируют её поведение, ответы и “эмоциональные” паттерны. В итоге признают высокую неопределённость, но считают тему важной
7) Модель уже упирается в потолок классических бенчмарков, следовательно дальше оценки становятся более субъективными (экспертные оценки, внутренние наблюдения)

Общий вывод такой - мы уже на стадии, где модели быстро приближаются к сверхчеловеческим системам, а индустрия всё ещё не имеет надёжных механизмов контроля.

#ai #cybersecurity #aisafety #mythos #anthropic

The Engine Room👾

Незаметка

#ai #cybersecurity #aisecurity #rlspoofer #незаметки

The Engine Room👾

Незаметка

#ai #cybersecurity #aisecurity #mcp #незаметки

The Engine Room👾

Прокси-инструмент для безопасной работы с LLM через анонимизацию чувствительных данных.
Предназначен для пентеста и работы с приватной инфраструктурой без утечек.

Умеет:
* Перехват и модификация запросов к LLM API с заменой чувствительных данных на суррогаты
* Деанонимизация ответов — возвращает оригинальные значения пользователю
* Детекция PII через комбинацию regex и LLM
* Поддержка IP, доменов, email, токенов, имён хостов и других сущностей
* Локальное хранилище соответствий (PII vault)

#github #ai #cybersecurity #aisecurity

https://github.com/zeroc00I/LLM-anonymization

The Engine Room👾

Открытая база уязвимостей и отказов в системах с применением ИИ

Предназначена для анализа рисков, red teaming и оценки безопасности AI-систем на основе воспроизводимых кейсов.

В базе:
* Реальные инциденты и отчёты об уязвимостях в AI-системах
* Описания паттернов атак и типовых слабых мест моделей и пайплайнов
* Метаданные по влиянию - тип вреда, затронутые системы, уровень риска
* Связки с существующими стандартами и таксономиями (AVID, CVSS, MITRE ATLAS)
* Разделение на единичные кейсы и обобщённые уязвимости
* Примеры оценок и измерений

Плюсы и минусы:
* Открытый и расширяемый источник знаний по AI security
* Стандартизированное описание уязвимостей
* Подходит для обучения, threat modeling и red teaming
* Фокус на практических, воспроизводимых кейсах
* Ограниченное покрытие, так как база всё ещё развивается
* Не все кейсы глубоко проработаны или подтверждены
* Требует контекста и экспертизы для правильной интерпретации

#ai #aisecurity #blueteam #redteam #cybersecurity

The Engine Room👾

Практическое руководство по безопасности ИИ от Harriet Farlow с фокусом не на теорию, а на реальные атаки и защиту современных AI-систем.

Охватывает весь стек AI Security:
* Основы ML и архитектуры моделей;
* Модели угроз и анализ атакующей поверхности AI-систем;
* Практические атаки - adversarial, data poisoning, prompt injection, model extraction и др.;
* Методы защиты от обучения до системного контроля и mitigation-стратегии;
* Red teaming AI и применение AI в offensive/defensive security;
* AI Safety, governance и риски будущих агентных систем.

Книга сочетает теорию, код и методические упражнения, включая симуляции атак, тестирование моделей и построение защищённых пайплайнов.

Отдельный акцент на том, что AI — это не просто софт, а вероятностная система с новыми классами уязвимостей и недетерминированным поведением.

Подходит как для инженеров и исследователей, так и для специалистов по безопасности, которые хотят разобраться в поверхностях угрозы AI и научиться защищать реальные системы.

#ai #aisecurity #cybersecurity

The Engine Room 👾

OpenAI выкатили System Card GPT-5.5 и, если коротко, то это уже не просто “модель”, а полноценный агент для реальной работы 🤖

1) Модель прокачали в практико-ориентированных задачах, теперь она сама лучше понимает задачу, требует меньше инструкций, умеет пользоваться инструментами и доводить задачи до конца без постоянного контроля
2) По этике - уровень примерно как у GPT-5.4, без резких деградаций, однако есть мелкие просадки в отдельных категориях (hate/extremism), но статистически незначимые
3) Галлюцинации снизились и фактические ошибки встречаются реже, примерно около 3%. При этом модель делает больше утверждений, а значит выглядит “умнее”, но риски всё равно присутствуют
4) В reasoning сделали упор на RL + длинное внутреннее рассуждение, то есть модель лучше следует политикам, а значит и сложнее ломается джейлбрейками.
5) Устойчивость к jailbreak и prompt injection высокая, но не идеальная - при сложных многошаговых атаках защита постепенно проседает
6) Агентное поведение сильно улучшилось, теперь модель лучше сохраняет пользовательские изменения, реже ломает окружение и аккуратнее работает с файлами
7) По выравниванию интересный момент - чуть выросло количество мелких выравнивающих-косяков, например, игнор инструкций или излишняя самостоятельность, но в целом без серьёзных инцидентов
8) В мониторинге цепочек рассуждения reasoning остаётся наблюдаемым, а способность скрывать мысли даже снизилась
9) Модель попрежнему очень высокопроизводительная и может сильно помогать экспертам, но сама не тянет на автономное создание серьёзных атак и поиск zero-day
10) В медицинских задачах есть прогресс. Улучшения частично связаны с длиной ответов и это явно контролируют метриками
11) На внешних оценках модель показывает очень сильный навык научного рассуждения, но при этом в рискованных сценариях старается уходить в высокоуровневые ответы и отказы

Общий вывод - это полноценный “рабочий агент”, который усиливает эксперта во многих доменах, но при этом остаётся в категории опасный мультитул, а не автономный источник новых угроз. Главный тренд в том что растут не только возможности, но и сложность их контроля - и именно это сейчас становится узким местом.

#ai #cybersecurity #aisecurity #openai

The Engine Room👾

ИИ в больших инженерных командах

Давно собирался расписать.

В разговорах с тимлидами и CTO постоянно одна и та же картина: дали кодерам ИИ (тот же Cursor), надеялись на буст продуктивности, а бустанули число инцидентов или просто замедлились в тех или иных местах.

Непопулярное мнение, которое я транслирую в кулуарных обсуждениях: синьоры, которые саботируют ваше внедрение, в большинстве случаев правы. Если на них забить и продавить через KPI «процент кода от ИИ», получите ровно то, что получают все.

Поначалу я думал, дело в инструментах. Потом в зрелости команд. Потом в моделях. Оказалось, нет. Подход. Административная инициатива "сверху-вниз" без ясного понимания как это будет работать на местах, не работает с разработчиками высоких грейдов, и чем сильнее команда, тем хуже она работает.

Расписал, как с этим жить. Большой гайд для тимлида: почему решение спущенное сверху-вниз проваливается, что такое «подчинённая проактивная позиция» агента и три фазы развёртывания агентского кодинга, на которых скептики через пару месяцев становятся евангелистами.

Если у вас сейчас ровно эта боль на работе, должно зайти.

PS: Там же обещанные скилы для агентов и расписанный воркфлоу как кодить в кодовой базе любого масштаба, которыми я давно хотел поделиться. Наконец-то всё запаковал и постарался расписать во всех деталях.

Подписывайтесь на MachineHead и делитесь с друзьями! Stay tuned! ✌️

https://habr.com/ru/articles/1030314

Хакатон от Google и Kaggle 15-19 июня. Бесплатный 5-дневный интенсив по AI-агентам и вайб кодингу.
По дням:
* день 1 — архитектура AI-агентов и multi-agent workflows
* день 2 — tools, MCP и интеграция с внешними сервисами
* день 3 — память, сессии и контекст инжиниринг
* день 4 — наблюдаемость, оценка, секурность и дебаг агентов
* день 5 — деплой, замеры и прод ИИ систем

The Engine Room👾

Flipper One - возможно один из самых интересных хардварных проектов. Текущая версия направлена на сетевую безопасность и всё вокруг.

Команда открыто говорит не только о промоушене и как все гладко, но и о том какие финансовые и инженерные сложности приходится преодолевать. Очень крутые ребята!

https://habr.com/ru/amp/publications/1033162/

The Engine Room👾

Документ “AI Cybersecurity Careers 2026” от SANS. Рассказывают о том, какие AI Security роли уже востребованы, как ИИ меняет кибербезопасность и почему ближайшие 2–3 года станут ключевыми для специалистов в области AI Security.

Незаметка

#ai #cybersecurity #sans #aisecurity #незаметки

The Engine Room👾