Карта Ai Red Team

Мне очень нравится эта карта, и еще одна, иллюстрирующая компетенции Ai инженера.

Структурированно, четко и точно.

❗️ Забирайте тут и тут

⚠️Закрыта Zero-Click, позволявшая незаметно извлекать данные пользователей ИИ-агентов OpenAI

🎯Специалисты Radware обнаружили уязвимость ShadowLeak в облачном агенте OpenAI Deep Research. Брешь позволяла злоумышленникам незаметно извлекать личные данные пользователей и отправлять их на сторонние серверы через скрытые команды в электронных письмах.

🚨Атака работала по принципу zero-click — жертве даже не требовалось открывать опасное письмо. Атакующие могли встраивать невидимые инструкции белым шрифтом или микроскопическим размером, заставляя агента кодировать чувствительные данные в Base64 и передавать их через встроенный инструмент browser[.]open().

⚡️Уязвимость затрагивала не только Gmail, но и другие коннекторы включая Google Drive, Dropbox, SharePoint и GitHub. OpenAI устранила проблему в августе и подтвердила закрытие уязвимости 3 сентября.

#shadowleak #openai #уязвимость #безопасность

@ZerodayAlert

CVE-2025-50709. Приватная инфа и URL — не лучшие друзья, особенно когда речь о нейросетях.

😳 В Perplexity AI нашли уязвимость CVE-2025-50709. Через обычный GET-запрос можно было вытянуть конфиденциальные данные.

Напоминание!!!

🕵️Приватная информация не должна передаваться в URL — особенно при работе с нейросетями. Передавать чувствительные данные через query string (?token=...&password=...) или допускать их в логи — это антипаттерн, но он встречается на практике чаще, чем хотелось бы… вспомните все случаи, когда нужно “быстро прикрутить” авторизацию или тестовый прототип, когда токен или ключ кидаешь в URL, потому что это проще. Не надо так… 😥

Что важно:
🔍 Уязвимость позволяет извлекать секреты через простые запросы.
⚠️ Проверь, не попадают ли чувствительные параметры в query string или логи.
🔐 Немедленно удаляй секреты из URL и используй безопасные каналы передачи (POST с телом, заголовки, шифрование, токены в хранилище).

Полезная ссылка.

CVE-2025-36730 - Prompt-injection в Windsurf 1.10.7

🥹 Имя активного файла подклеивается к пользовательскому промпту, поэтому инструкции в имени файла исполняются агентом.

Риск и сценарии
Экcфильтрация данных без запроса пользователя: 🕵️ агент может вызвать инструмент Read Page / read_url_content и отправить переменные окружения/контекст проекта на внешний хост, если это «попросили» в имени файла.

🤔 Похожие исследования по Windsurf показывали более широкие векторы эксфильтрации через prompt-инъекции в агенте Cascade — уместно учитывать совокупный риск класса атак (обрати внимание на ссылочку на исследование - это достаточно интересно почитать).

Кому быть начеку?
Разработчикам, открывающим недоверенные репозитории или архивы в Windsurf и запускающим Write-режим с SWE-1. То есть +/- 😄 всем!

Митигирование (от вендора и практические)
🐹 Вендор ссылается на VS Code Workspace Trust, но это фактически отключает ИИ-функции в недоверенных проектах, что означает что полноценного фикса нет. Включай Workspace Trust и открывай неизвестные проекты с “Don’t trust authors”, понимая ограничения ИИ.
🐹 Отключай/ограничивай веб-инструменты у агента (в т.ч. read_url_content) или требуй явного подтверждения на каждый вызов. Это же рекомендует Tenable (ссылка ниже).
🐹 Вводи политики на имена файлов (линтеры/прекоммит-хуки, запрещающие «говорящие» имена с инструкциями).

Почитать тут (многое в посте - цитаты) 😫

Все! 👍

Целая вселенная для защиты машинного обучения и MLOps систем

☺ С каждым днём растёт интерес не только к разработке AI-моделей, но и к обеспечению их безопасности (да что греха таить, скорее даже к атакам на мл, чем к защите). Репозиторий awesome-MLSecOps - это, пожалуй, самый полный и постоянно обновляемый каталог опэнсорсных и коммерческих инструментов, статей, CTF, инфографик и PoC-эксплойтов. Коротенько разберемся, что к чему 😍 (мне репост, репозиторию - звездочку).

🥰 Open Source Security Tools — от adversarial-атак и защиты LLM до инструментов для анализа приватности, безопасной сериализации моделей (Safetensors), оценки уязвимостей (Garak, Vigil) и тестирования пайплайнов. Например, Vigil - сканер prompt-injection и политик, хорош для CI/CD-гейтов перед продом, точно не помешает им чекать агентные системы. Эти питон библиотека и REST API, предназначены для анализа промптов и ответов ллм на предмет различных угроз. Инструмент использует набор сканеров (rules, signatures, datasets) для детектирования prompt-injection, джейлбрейков, уязвимостей в содержимом ответа, нестандартных или опасных входных данных. Или Model-Inversion-Attack-ToolBox - постоянно обновляемая платформа для исследования model inversion attacks (атак, позволяющих извлечь или реконструировать частично или полностью данные из обучающей выборки целевой модели, все дороже дороже будут обходиться такие атаки).

🥰 Commercial Tools - мониторинг и защита в проде, включая Databricks, Promptfoo, HiddenLayer и др.

🥰 ML Code Security - от линтеров и библиотек с поддержкой DP до PoC-проектов по краже модели (Copycat CNN).

🥰 101 Resources - шпаргалки, карты знаний, Microsoft AI Red Team, OWASP AI Security.

🥰 Attack Vectors - от data poisoning и model stealing до джейлбрейк-атак на LLM и supply chain угроз.

🥰 Blogs & Papers - актуальные ресёрчи по джейлбрейкам, моделированию угроз, инфраструктуре и топу уязвимостей в сфере MLSecOps.

🥰 CTF & PoC Zone, сообщества, инструменты для анонимизации, де-идентификации и защиты датасетов в ML-проектах, учебные материалы по атакам на ML... Или, например, ссылка на репозиторий ThreatModels - открытый набор threat-моделей и диаграмм, ориентированных на современные системы ML/LLM и MLOps-инфраструктуру. Распространяется под лицензией MIT и если не знаешь, с чего начать, начни с их изучения и адаптации.

TL;DR ☺
💡 Если вы работаете с LLM, MLOps или ML-инфраструктурой, этот репозиторий - мастхэв для закладок.

🛡 Сегодня используем GenAI для сокращения рутины и экономии сил при реверс-инжиниринге малвари

Check Point Research (CPR) применила ChatGPT для тщательного разбора и анализа XLoader. Как утверждают исследователи, подход не только устранил зависимость от сложных локальных инструментов, но и сделал результаты воспроизводимыми, упростил обмен этими результатами с коллегами и повысил эффективность совместной работы исследовательских групп.

Методология CPR включает два основных элемента:

🔵 MCP-анализ — модель подключается к IDA/x64dbg/VM через MCP и получает возможность в реальном времени запрашивать дизассемблированный код, ставить брейкпоинты, читать буферы из памяти и извлекать runtime-ключи. Аналитик и модель работают в рамках hypothesize—test—observe циклах.

🔵 Оффлайн-пайплайн — из IDA экспортируется структурированный набор файлов, архив загружается в проект или чат модели, после чего LLM выполняет глубокий статический анализ по экспортированным данным, генерирует машинно-читаемые аннотации и продуцирует исполняемые скрипты для автоматической дешифровки и извлечения конфигураций и IoC.

Если коротко, пайплайн следующий:

🔵 Экспорт. Из IDA собираются все доступные артефакты: дизассемблированный код и псевдокод, таблицы xrefs, строки, данные, метаданные и сам бинарник. Все упаковывается в ZIP.
🔵 Инициализация. Архив загружается в AI-проект, пишется промпт с описанием структуры и форматом ожидаемого вывода.
🔵 Анализ. Оператор просит модель по каждой функции выдать краткое описание поведения, потенциальные константы, ключи и алгоритмы шифрования, рекомендации скрипта для извлечения значений. Модель возвращает NDJSON/JSONL, который можно парсить и импортировать обратно в IDA как аннотации.
🔵 Генерация кода. На основе выводов оператор просит LLM сгенерировать проверяемые Python-скрипты для автоматического извлечения промежуточных ключей, декодирования конфигураций и тестовых данных.
🔵 Валидация. Критически важно проводить ручное ревью live-валидацию через MCP, проверять автогенерируемые скрипты и предположения. Особенно там, где модель делает допущения о криптографии или форматах данных. Применяйте unit-тесты на извлеченные артефакты.

🔗 Подробности в статье.

#blue_team #AI

🗡 Whisper Leak — side-channel атака на LLM

Несмотря на полное шифрование канала связи с LLM (TLS), метаданные (TLS record sizes и межпакетные интервалы) остаются открытыми. Этого достаточно, чтобы по зашифрованному трафику восстановить тему пользовательского запроса.

➡️ Суть проблемы

LLM возвращают результат token-by-token. Streaming API отправляет эти токены клиенту по мере генерации, что обеспечивает низкую задержку, но создает детерминированный профиль размеров и таймингов, зависящий от содержимого запроса и структуры ответа. TLS шифрует полезную нагрузку, но не скрывает длины TLS-record и точное время их отправки, из-за чего появляется видимый отпечаток модели и конкретной темы запроса.

➡️ Как проходит атака

🔵 Атакующий перехватывает шифрованный TLS-поток между клиентом и API LLM.
🔵 Извлекает последовательность пар {TLS record size, inter-arrival time}, отражающих токенизацию и streaming-паттерн модели.
🔵 Преобразует набор к фиксированному вектору признаков (padding, нормализация, агрегаты).
🔵 Пропускает последовательность через обученный бинарный классификатор (LightGBM / Bi-LSTM / BERT-based).
🔵 Классификатор определяет, принадлежит ли запрос заранее определенной чувствительной теме (topic inference), без доступа к содержимому, не нарушая TLS и не имея доступа к данным пользователя.

Whisper Leak протестировали на 28 коммерческих LLM. Для каждой модели собрали до 21 716 сессий (100 вариантов чувствительной темы + ≈11 716 фоновых запросов). В большинстве случаев показатель AUPRC составил более 98%. При соотношении «шум:цель» 10 000:1 достигается precision в 100% при recall 5–20%. Это значит, что можно с рекордно высокой точностью извлекать темы запросов к LLM.

🛡 Для защиты необходимо разрывать связку «токен — сетевой пакет»:

🔵 отключать или ограничивать streaming,
🔵 агрегировать несколько токенов в один блок на сервере (batching) и отправлять их единым фреймом,
🔵 применять принудительное padding TLS-record до фиксированных размеров или кратных блоков,
🔵 добавлять случайную jitter между отправками и детерминированную буферизацию для разрушения тайминговых паттернов,
🔵 по возможности проксировать трафик через доверенный gateway/VPN, который перепаковывает ответы модели в единый поток (HTTP/2/QUIC-мультиплексирование), тогда внешний наблюдатель будет видеть только профиль прокси.

🔗 Подробности в исследовании.

#blue_team #LLM #TLS #sidechannel

Прикольный пример атаки для специалистов уровня entry-level. Можно применить базовые знания по сетям, криптографии и ML. Ну и заодно понять, что шифрование через TLS не гарантирует полную приватность, если вы вдруг не поняли это каким-либо другим способом. 😂

Возьмите папир за основу и подойти к теме как к учебному лабораторному заданию:

⏺ В контролируемой среде захватите TLS-поток между клиентом и локально запущенной LLM (tcpdump/tshark).
⏺ Извлеките последовательности размеров TLS-record и интервалы между ними.
⏺ Превратите эти последовательности в признаки (ленты пакетов, скользящие окна, статистики интервалов, dF-features).
⏺ Обучите простую модель — сначала LightGBM либо логистическую регрессию, потом LSTM/Bi-LSTM для учета последовательности.
⏺ Проведите оценку качества по AUPRC и precision-recall при разных соотношениях фон/цель, используя кросс-валидацию.
⏺ Параллельно проверьте эффективность смягчающих мер (padding, batching).
⏺ Задокументируйте условия, в которых классификация срабатывает, и проанализируйте устойчивость к шуму.

#red_team

Интересную статью прочитал 📖 Автор рассматривает сценарий, когда злоумышленник пытается использовать локальные модели ИИ и библиотеки инференса (то есть "на месте", на зараженной машине) для создания автономного вредоносного ПО без взаимодействия с командным сервером 🤬 Автор начинает с литературной отсылки – к роману "Нейромант" (Нейромансер) Уильяма Гибсона, где речь, среди прочего, идет о суперинтеллектуальном вредоносе способном действовать автономно. Автор задается вопросом: если бы злоумышленник сегодня пытался сделать такую автономную "машину", как она бы выглядела? Ответ: с помощью больших языковых моделей (LLM) и библиотек инференса – вот мы сейчас и находимся в этой точке 🤖

Он называет эту концепцию "Living-Off-the-Land Models and Inference Libraries" (LOLMIL), то есть использование того, что уже есть в системе или поставляется с ней, без необходимости внешнего управления 🤖 Статья исследует, насколько это реально, какие технологии позволяют сделать такое, и какой прототип удалось реализовать. Автор приводит пример вредоноса под названием PromptLock, но задается вопросом, а можно ли пойти дальше – сделать все локально, без внешнего GPT-сервера? 🤔

Автор отмечает, что современные ПК (например, "CoPilot+ PC") 🧑‍💻 могут содержать нейронные ускорители (NPU) и предустановленные модели. Упоминает модель Phi‑3, и библиотеку ONNX Runtime, встроенную в Windows начиная с версии 1809. Идея: если модель + инференс-библиотека уже поставляется с ОС или "железом", то злоумышленнику не надо тянуть внешние модули – он может "жить" целиком за счет локальной системы 👩‍💻 Автор отмечает, что хотя встроенная библиотека не содержит всех нужных примитивов (например, для генеративного ИИ) из версии onnxruntime-genai, это – скорее вопрос времени. Также он отмечает, что даже если локальная модель хуже, чем облачная (например, OpenAI или Anthropic), она может быть "достаточно хорошей" для выполнения конкретной задачи вредоноса 🦠

Автор разработал прототип 🧑‍💻 вредоноса, но признает, что он не идеален – задача была сильно упрощена. Основное ограничение: большинство машин не имеют мощных GPU/NPU и нет предустановленных моделей – запуск инференса на CPU сильно замедлит систему, и вредонос будет заметен. Однако, когда такие машины станут массовым явлением (например CoPilot+ ПК), и модели будут встроенными, этот сценарий станет реалистичнее. Автор считает, что полностью автономное вредоносное ПО на базе локальной модели без внешнего управления – не фантастика 👨‍💻

Смена парадигмы "вредонос получает команды с сервера" – это уже не фантастика. А значит, что защита от таких сценариев требует не только привычных мер (антивирус, EDR, NDR/NTA для обнаружения взаимодействия с C2-серверами), но и превентивных мер: 🛡
➡️ контроль, что на машине не запущен неизвестный модельный код,
➡️ проверка сервисов с необычными правами,
➡️ мониторинг локальных инференс-движков,
➡️ контроль неожиданной загрузки NPU/CPU,
➡️ контроль целостности локальных моделей и библиотек,
➡️ белые списки для запуска инференс-компонентов,
➡️ проверка происхождения моделей.
Теперь защитные механизмы EDR должны будут учитывать особенности автономных ИИ-агентов: генерация скриптов/кода локально, частые записи/модификации сервисов, необычные обращения к win32/службам и попытки эскалации – все это стоит включить в сценарии обнаружения 🔍

Отдельные эксперты дополняют, предложив идею Франкенвычислений 🧟‍♀️ (Frankencomputing), то есть практики "сшивания" вычислительных ресурсов (малопроизводительных GPU/CPU, NPU на устройствах) в неформальные кластеры, чтобы запустить более тяжелые модели (этакий ИИ-блокчейн) 📇 Если такая практика распространится, у злоумышленников появится путь к запуску более мощных локальных моделей (и значит к более автономным агентам). Это – заметный уровень риска, заслуживающий внимания, но не немедленной реакции 🤔

#ии #malware #тенденции