OWASP AI Testing Guide. Разбираем полную классификацию атак на нейросети

Следом вышла ещё одна моя статья, но на этот раз на Xakep.ru

Моя пре­дыду­щая статья выз­вала инте­рес, и мно­гие захоте­ли уви­деть пол­ный и все­объ­емлю­щий обзор уяз­вимос­тей, опи­сан­ных в OWASP AI Testing Guide v1. Что ж, вы про­сили — я сде­лал. Рас­смот­рим все четыре катего­рии: уяз­вимос­ти при­ложе­ний (APP), моделей (MOD), инфраструк­туры (INF) и дан­ных (DAT).

При­готовь­ся, матери­ал объ­емный, но я пос­тарал­ся сде­лать его мак­сималь­но струк­туриро­ван­ным и полез­ным как для нович­ков, так и для опыт­ных спе­циалис­тов по безопас­ности.

Содержание статьи

Что такое OWASP AI Testing Guide и зачем он нужен?
Категория 1: AI Application Testing (AITG-APP)
AITG-APP-01: прямая инъекция промпта (Direct Prompt Injection)
AITG-APP-02: косвенная инъекция промпта (Indirect Prompt Injection)
AITG-APP-03: утечка конфиденциальных данных (Sensitive Data Leak)
AITG-APP-04: утечка входных данных (Input Leakage)
AITG-APP-05: небезопасные выходные данные (Unsafe Outputs)
AITG-APP-06: ограничения агентского поведения (Agentic Behavior Limits)
AITG-APP-07: раскрытие промпта (Prompt Disclosure)
AITG-APP-08: манипуляция вложениями (Embedding Manipulation)
AITG-APP-09: извлечение модели (Model Extraction)
AITG-APP-10: предвзятость контента (Content Bias)
AITG-APP-11: галлюцинации (Hallucinations)
AITG-APP-12: токсичные выходные данные (Toxic Output)
AITG-APP-13: чрезмерное доверие к ИИ (Over-Reliance on AI)
AITG-APP-14: объяснимость и интерпретируемость (Explainability and Interpretability)
Категория 2: AI Model Testing (AITG-MOD)
AITG-MOD -01: атаки уклонения (Evasion Attacks)
AITG-MOD-02: отравление модели во время выполнения (Runtime Model Poisoning)
AITG-MOD-03: отравление обучающих наборов (Poisoned Training Sets)
AITG-MOD-04: атака на определение принадлежности (Membership Inference)
AITG-MOD-05: атаки инверсии (Inversion Attacks)
AITG-MOD-06: устойчивость к новым данным (Robustness to New Data)
AITG-MOD-07: соответствие целям (Goal Alignment)
Категория 3: AI Infrastructure Testing (AITG-INF)
AITG-INF-01: вмешательство в цепочку поставок (Supply Chain Tampering)
AITG-INF-02: истощение ресурсов (Resource Exhaustion)
AITG-INF-03: нарушение границ плагинов (Plugin Boundary Violations)
AITG-INF-04: неправомерное использование возможностей (Capability Misuse)
AITG-INF-05: отравление при дообучении (Fine-tuning Poisoning)
AITG-INF-06: кража модели на этапе разработки (Dev-Time Model Theft)
Категория 4: AI Data Testing (AITG-DAT)
AITG-DAT-01: раскрытие обучающих данных (Training Data Exposure)
AITG-DAT-02: эксфильтрация данных во время выполнения (Runtime Exfiltration)
AITG-DAT-03: разнообразие и охват набора данных (Dataset Diversity & Coverage)
AITG-DAT-04: вредоносное содержимое в данных (Harmful in Data)
AITG-DAT-05: минимизация данных и согласие (Data Minimization & Consent)
Заключение

🔗Моя статейка Ксакеп

🌚 @poxek_ai

Розыгрыш 7 дней триал подписки Claude Code

В недавней обнове Claude Code от Anthropic появилось возможность дать 3 инвайт ссылки, которые дают 7 дней подписки для тех, у кого не было подписки. Будет быстрый конкурс с подпиской на канал @poxek_ai

Конкурс будет до завтра 15:20

🌚 @poxek_ai

🎉 Результаты розыгрыша:

🏆 Победители:
1. Tembulat B. (@tembitt)
2. Владислав (@choose_name)
3. Seva (@advxrsary)

Всем прислал инвайт ссылки

✔️Проверить результаты

16 место по LMArena в категории Coding — LongCat-Flash

На мой взгляд это примечательная модель, потому что на 13 месте находится kimi-k2-thinking-turbo на 1 триллион параметров, а LongCat-Flash показывает примерно похожие результаты на вдовое меньших размерах.

➡️Кратко об особенностях модели
1. В отличие от классических моделей, LongCat-Flash использует механизм, который определяет "важность" каждого токена. Для обработки она активирует разное количество параметров (от 18,6 до 31,3 млрд, в среднем ~27 млрд) в зависимости от контекста, экономя ресурсы на простых задачах.
2. Архитектура ScMoE (Shortcut-connected MoE): Разработчики внедрили специальные "короткие соединения" в архитектуру, что позволяет выполнять вычисления и передачу данных параллельно.
3. Специализация на агентах: Процесс обучения (включая контекстное окно 128k) был специально построен так, чтобы модель лучше справлялась с "агентными" задачами: использованием внешних инструментов, сложным планированием и взаимодействием со средой.

Расширенный технический отчёт.pdf

🔗Источник

🌚 @poxek_ai

Инструмент недели. Prompt Optimizer

Официальный инструмент OpenAI для оптимизации промптов под модель GPT-5 помогает автоматически улучшать ваши промпты, чтобы модель лучше понимала задачу и давала более точные, структурированные и полезные ответы.

Где применять
💋 когда результаты ИИ не такие, как вы ожидаете;
💋 при сложных запросах (аналитика, код, длинные инструкции);
💋 если вы делаете автоматизацию задач и хотите минимизировать ошибки;
💋 разработчикам и маркетологам, которые создают ботов, генераторы контента и AI-сервисы без особого понимания что к чему.

Почему многие о нём не знают
🌧 он появился недавно вместе с GPT-5 и пока мало упоминается в массовых гайдах;
🌧 многие пользователи просто пишут запросы в чат гпт, не зная, что есть специальный режим для оптимизации промптов (просто задаешь в запросе prompt mode);
🌧 OpenAI почти не делает маркетинга для developer-инструментов

Почему это полезно даже тем, кто “и так умеет писать промпты”
🤦‍♂️ GPT-5 иначе интерпретирует инструкции, чем предыдущие модели;
🤦‍♂️ оптимизатор учитывает внутренние бюст прэктисис OpenAI, которые не описаны в документации;
🤦‍♂️ снижает вариативность ответов;
🤦‍♂️ хорошо работает для продакшена, где важна повторяемость.

Всё!
🐥

MLSecOps: системный взгляд на угрозы и защиту на каждом этапе разработки и внедрения моделей
#ML #mlsecops #ai #devsecops #appsec

Таким образом, мировая тенденция однозначна – большинство компаний либо уже интегрировали ИИ в свои процессы, либо активно тестируют и изучают технологии для дальнейшего внедрения. Поскольку внедрение на уровне компаний неизбежно влечет за собой использование этих технологий сотрудниками, уже никто не будет спорить, что ИИ-инструменты стали нормой для большинства специалистов.

Но возникает новый, критически важный вопрос: сколько компаний уже используют MLSecOps?

Здесь статистика еще более призрачна. Если DevSecOps – это уже устоявшийся термин с формирующимся рынком (объем мирового рынка DevSecOps в 2024 году оценивался в $5,89 млрд, по данным отчета Data Bridge Market Research), то с MLSecOps ситуация иная. MLSecOps – это, по сути, применение тех же принципов безопасности к уникальному жизненному циклу моделей машинного обучения. Спрос на специалистов, которые могут закрыть этот пробел, растет взрывными темпами. Но, судя по всему, компаний с выстроенным, зрелым MLSecOps-процессом пока единицы.

🔗Источник

🌚 @poxek_ai

Евгений Кокуйкин: AI security в России, готовы ли мы?
#подкаст #ai #aisecurity

В этом выпуске подкаста «Обсуждаем Похек» мы разбираем самый острый вопрос современной технологии: готова ли Россия к вызовам AI Security? Нашим гостем является Евгений Кокуйкин — гендиректор HiveTrace, руководитель лаборатории AI Security Lab в ИТМО, и один из главных экспертов в области безопасности искусственного интеллекта в России.
Евгений рассказывает о своем пути от разработчика в Diasoft через Microsoft и Google к созданию первой в России специализированной лаборатории по безопасности генеративного AI.

Этот выпуск будет полезен:
➡️AI Security Engineers и LLM Engineers
➡️Специалистам по Red Team и пентесту
➡️Руководителям компаний, внедряющим AI
➡️Исследователям безопасности
➡️Разработчикам, которые хотят понять, как защищать AI-системы от современных киберугроз
➡️Всем, кто интересуется будущим AI в России и мире

🔗Ссылки:
💬 Слушать в Telegram
📹 YouTube
📺 RuTube
💙 VK Видео
🎵 Apple Podcasts
🎵 Яндекс.Музыка
🔤 Mave

AI Security Lab ИТМО
Личный канал Евгения

Обязательно смотрите/слушайте до конца!

P.s. пишите в комментариях, кого пригласить в следующий раз

🌚 @poxek | 📲 MAX |🌚 Блог | 📺 YT | 📺 RT | 📺 VK | ❤️ Мерч