Открытая база уязвимостей и отказов в системах с применением ИИ

Предназначена для анализа рисков, red teaming и оценки безопасности AI-систем на основе воспроизводимых кейсов.

В базе:
* Реальные инциденты и отчёты об уязвимостях в AI-системах
* Описания паттернов атак и типовых слабых мест моделей и пайплайнов
* Метаданные по влиянию - тип вреда, затронутые системы, уровень риска
* Связки с существующими стандартами и таксономиями (AVID, CVSS, MITRE ATLAS)
* Разделение на единичные кейсы и обобщённые уязвимости
* Примеры оценок и измерений

Плюсы и минусы:
* Открытый и расширяемый источник знаний по AI security
* Стандартизированное описание уязвимостей
* Подходит для обучения, threat modeling и red teaming
* Фокус на практических, воспроизводимых кейсах
* Ограниченное покрытие, так как база всё ещё развивается
* Не все кейсы глубоко проработаны или подтверждены
* Требует контекста и экспертизы для правильной интерпретации

#ai #aisecurity #blueteam #redteam #cybersecurity

The Engine Room👾

Практическое руководство по безопасности ИИ от Harriet Farlow с фокусом не на теорию, а на реальные атаки и защиту современных AI-систем.

Охватывает весь стек AI Security:
* Основы ML и архитектуры моделей;
* Модели угроз и анализ атакующей поверхности AI-систем;
* Практические атаки - adversarial, data poisoning, prompt injection, model extraction и др.;
* Методы защиты от обучения до системного контроля и mitigation-стратегии;
* Red teaming AI и применение AI в offensive/defensive security;
* AI Safety, governance и риски будущих агентных систем.

Книга сочетает теорию, код и методические упражнения, включая симуляции атак, тестирование моделей и построение защищённых пайплайнов.

Отдельный акцент на том, что AI — это не просто софт, а вероятностная система с новыми классами уязвимостей и недетерминированным поведением.

Подходит как для инженеров и исследователей, так и для специалистов по безопасности, которые хотят разобраться в поверхностях угрозы AI и научиться защищать реальные системы.

#ai #aisecurity #cybersecurity

The Engine Room 👾

OpenAI выкатили System Card GPT-5.5 и, если коротко, то это уже не просто “модель”, а полноценный агент для реальной работы 🤖

1) Модель прокачали в практико-ориентированных задачах, теперь она сама лучше понимает задачу, требует меньше инструкций, умеет пользоваться инструментами и доводить задачи до конца без постоянного контроля
2) По этике - уровень примерно как у GPT-5.4, без резких деградаций, однако есть мелкие просадки в отдельных категориях (hate/extremism), но статистически незначимые
3) Галлюцинации снизились и фактические ошибки встречаются реже, примерно около 3%. При этом модель делает больше утверждений, а значит выглядит “умнее”, но риски всё равно присутствуют
4) В reasoning сделали упор на RL + длинное внутреннее рассуждение, то есть модель лучше следует политикам, а значит и сложнее ломается джейлбрейками.
5) Устойчивость к jailbreak и prompt injection высокая, но не идеальная - при сложных многошаговых атаках защита постепенно проседает
6) Агентное поведение сильно улучшилось, теперь модель лучше сохраняет пользовательские изменения, реже ломает окружение и аккуратнее работает с файлами
7) По выравниванию интересный момент - чуть выросло количество мелких выравнивающих-косяков, например, игнор инструкций или излишняя самостоятельность, но в целом без серьёзных инцидентов
8) В мониторинге цепочек рассуждения reasoning остаётся наблюдаемым, а способность скрывать мысли даже снизилась
9) Модель попрежнему очень высокопроизводительная и может сильно помогать экспертам, но сама не тянет на автономное создание серьёзных атак и поиск zero-day
10) В медицинских задачах есть прогресс. Улучшения частично связаны с длиной ответов и это явно контролируют метриками
11) На внешних оценках модель показывает очень сильный навык научного рассуждения, но при этом в рискованных сценариях старается уходить в высокоуровневые ответы и отказы

Общий вывод - это полноценный “рабочий агент”, который усиливает эксперта во многих доменах, но при этом остаётся в категории опасный мультитул, а не автономный источник новых угроз. Главный тренд в том что растут не только возможности, но и сложность их контроля - и именно это сейчас становится узким местом.

#ai #cybersecurity #aisecurity #openai

The Engine Room👾

ИИ в больших инженерных командах

Давно собирался расписать.

В разговорах с тимлидами и CTO постоянно одна и та же картина: дали кодерам ИИ (тот же Cursor), надеялись на буст продуктивности, а бустанули число инцидентов или просто замедлились в тех или иных местах.

Непопулярное мнение, которое я транслирую в кулуарных обсуждениях: синьоры, которые саботируют ваше внедрение, в большинстве случаев правы. Если на них забить и продавить через KPI «процент кода от ИИ», получите ровно то, что получают все.

Поначалу я думал, дело в инструментах. Потом в зрелости команд. Потом в моделях. Оказалось, нет. Подход. Административная инициатива "сверху-вниз" без ясного понимания как это будет работать на местах, не работает с разработчиками высоких грейдов, и чем сильнее команда, тем хуже она работает.

Расписал, как с этим жить. Большой гайд для тимлида: почему решение спущенное сверху-вниз проваливается, что такое «подчинённая проактивная позиция» агента и три фазы развёртывания агентского кодинга, на которых скептики через пару месяцев становятся евангелистами.

Если у вас сейчас ровно эта боль на работе, должно зайти.

PS: Там же обещанные скилы для агентов и расписанный воркфлоу как кодить в кодовой базе любого масштаба, которыми я давно хотел поделиться. Наконец-то всё запаковал и постарался расписать во всех деталях.

Подписывайтесь на MachineHead и делитесь с друзьями! Stay tuned! ✌️

https://habr.com/ru/articles/1030314

Хакатон от Google и Kaggle 15-19 июня. Бесплатный 5-дневный интенсив по AI-агентам и вайб кодингу.
По дням:
* день 1 — архитектура AI-агентов и multi-agent workflows
* день 2 — tools, MCP и интеграция с внешними сервисами
* день 3 — память, сессии и контекст инжиниринг
* день 4 — наблюдаемость, оценка, секурность и дебаг агентов
* день 5 — деплой, замеры и прод ИИ систем

The Engine Room👾

Flipper One - возможно один из самых интересных хардварных проектов. Текущая версия направлена на сетевую безопасность и всё вокруг.

Команда открыто говорит не только о промоушене и как все гладко, но и о том какие финансовые и инженерные сложности приходится преодолевать. Очень крутые ребята!

https://habr.com/ru/amp/publications/1033162/

The Engine Room👾

Документ “AI Cybersecurity Careers 2026” от SANS. Рассказывают о том, какие AI Security роли уже востребованы, как ИИ меняет кибербезопасность и почему ближайшие 2–3 года станут ключевыми для специалистов в области AI Security.

Незаметка

#ai #cybersecurity #sans #aisecurity #незаметки

The Engine Room👾

GAS (Genetic Algorithm-Based Suffix) Leak LLM - black-box атака на LLM, где подбор суффиксов происходит автоматически

Незаметка

#ai #cybersecurity #gas #aisecurity #незаметки

The Engine Room👾

Новая категория атак на AI-агентов с долговременной памятью

Незаметка

#ai #cybersecurity #ghostwriter #aisecurity #незаметки

The Engine Room👾

Летний выпуск от OWASP, который прошел так же незаметно, как агенты выходят из песочницы.

Незаметка

#ai #cybersecurity #owasp #aisecurity #незаметки

The Engine Room👾