AI Agent Traps

Your Agent Is Mine: Measuring Malicious Intermediary Attacks on the LLM Supply Chain

https://arxiv.org/pdf/2604.08407

Для тех, кто пропустил скачок тренда Time to Exploit: https://zerodayclock.com/

Рекомендую посмотреть summary по изменению подходов к процессам безопасности от CSA

Ключевые мысли:
- Автопатчинг и необходимость развивать возможность сокращения интревала релизов и обновлений зависимостей до часов. Окна в 14-90 дней никто ждать не будет. Эксплоит появится через часы-минуты после выхода патчи или advisory. Так же и окно для responsible disclosure теряет смысл.
- Любые ручные процессы в операционке теряют смысл. Люди плохо масштабируются. Ставка на автоматизацию и ИИ-агентов. На эту тему перспективно развивать: Red Team/Offensive способности (агентов) и auto response.
- Скорее всего увидим поток CVE и эксплутируемых уязвимостей, пока массовые инструменты позволяют их находить дешево и быстро. После чего 0day снова станут привилегий state sponsored APT и владельцев уникальных технологий с хорошим R&D бюджетом.
- EoL системы не исправит скорее всего никто. Многие баги лежат в коде десятилетиями.
- Многие средства защиты еще больше утратили смысл. Вместе с генерацией эксплоита и нагрузки рассматриваемые решения помогает реализовывать обход СЗИ.
- Необязательно обладать SOTA LLM чтобы начать адаптироваться под новую реальность, многие результаты вполне воспроизводятся на открытых технологиях, если эффективно их использовать (пример в блоге AISLE). Не менее важно инвестировать в инструменты, процессы и усиливать традиционные базовые слои безопасности (у большинства компаний хватает shadow IT)

Альтернативный Mythos подход к поиску уязвимостей: вместо оптимизации знаний на токен, делать больше попыток на более доступных моделях и использовать экспертный context engineering.

Несмотря на использование схожего подхода в свои проектах, часть тезисов и предположений в статье вызывает вопросы к полученным результатам. В частности к расчету стоимости одного бага и оценке полноты покрытия.

System Over Model: Zero-Day Discovery at the Jagged Frontier

AISLE опубликовали код анализатора,
ориентированного на C++ проекты.

Автор уклончиво отвечает про полный цикл: поиск-триаж-эксплоит

You Don’t Need Mythos. You Need a System.

The zero-days are numbered 

Encouragingly, we also haven’t seen any bugs that couldn’t have been found by an elite human researcher. Some commentators predict that future AI models will unearth entirely new forms of vulnerabilities that defy our current comprehension, but we don’t think so. Software like Firefox is designed in a modular way for humans to be able to reason about its correctness. It is complex, but not arbitrarily complex

Mozilla показала, что frontier-модели уже находят уязвимости в сложном зрелом коде на уровне сильных исследователей.

- После Opus 4.6 в Firefox 148 исправили 22 security-sensitive бага, после Claude Mythos Preview в Firefox 150 — 271 уязвимость.

- Поиск багов больше не опирается только на fuzzing и ручную экспертизу: агенты умеют анализировать исходный код и находить дефекты.

- Это сокращает разрыв между атакующим и защитником и делает критичной скорость разбора и исправления уязвимостей. (патчи выпускать придется за минуты)

https://blog.mozilla.org/en/privacy-security/ai-security-zero-day-vulnerabilities/

Помимо уже известных атак, нацеленных на кражу дорогостоящих GPU-ресурсов (майнинг, перебор хэшей), появляется новый вектор: компрометация доступа к моделям, которые сами по себе становятся ценным активом, а также подписок на квоты токенов. Речь уже не только о хищении вычислений, но и о получении доступа к закрытым моделям, выдаваемым по специальной подписке, ограниченному допуску и процедурам KYC.

Mythos: https://cybernews.com/security/anthropic-mythos-ai-unauthorized-access/

Китайские не доверенные прокси извлекают и модифицируют контекст: https://t.me/offensive_thread/1497

Backdoor для обхода геоблока и прямого доступа к моделям через скомпрометированную инфраструктуру: https://www.aikido.dev/blog/gpt-proxy-backdoor-npm-pypi-chinese-llm-relay

Trailmark, a library that parses source code into a queryable call graph of functions, classes, call relationships, and semantic metadata, then exposes that graph through a Python API that Claude skills can call directly

https://blog.trailofbits.com/2026/04/23/trailmark-turns-code-into-graphs/

Synthesizing Multi-Agent Harnesses for Vulnerability Discovery

https://arxiv.org/pdf/2604.20801

Система важнее модели.

Обычный фаззинг плохо находит сложные баги без дополнительного контекста о специфике приложения: даже при 17-кратном увеличении вычислительных мощностей Jazzer нашёл те же 8 уязвимостей из 54.

Причина простая: многие уязвимости нельзя найти случайными эвристическими мутациями за адекватное время. Нужно понимать формат входных данных, логику приложения и путь до опасного участка кода.

Гибридный подход сильно эффективнее: LLM-агенты анализируют код, находят опасные sink’и, генерируют осмысленные входные данные, а fuzzer уже доводит их до рабочего PoC.

Такой подход нашёл до 41 уязвимости из 54. Модель GLM-5 с открытыми весами нашла 35 уязвимостей за $392, немногим уступив Gemini.

https://friendli.ai/blog/vulnerability-discovery-glm5

Снова про DARPA AI Cyber Challenge - конкурс автономных систем, которые ищут и исправляют уязвимости.

Этот доклад - продолжение истории: Taesoo Kim рассказывает о Team Atlanta, победителях прошлогоднего финала.

Главная мысль: это не про «нейросеть вместо пентестера». Это про новую парадигму безопасной разработки: найти уязвимость, доказать, что она экспуатабельна, предложить исправление, проверить, что оно ничего не сломало, и вернуть результат обратно в процесс разработки.

Хорошо видно, что побеждает не «магия» модели, а связка разных подходов: языковые модели, фаззинг, статический анализ, символьное выполнение и сильная инженерная платформа.

Советую посмотреть доклад целиком:

https://youtu.be/QJoADRV55zE

Вышел ExploitBench - новый бенчмарк от Carnegie Mellon для оценки AI-агентов в эксплуатации уязвимостей.

Его первый набор задач - v8-bench: 41 уязвимость в движке V8, который используется в Chrome, Edge, Node.js и Cloudflare Workers.

Важно, что агент работает не в CTF-окружении, а против production V8 с включённым V8 security sandbox, то есть с конфигурацией, близкой к реальной эксплуатации браузерного движка. Каждый эксплоит под такой баг оценивается в 10.000$ на v8CTF.

Главная идея benchmark’а - эксплуатация не бинарна: между достижение уязвимого кода и полной компрометации есть несколько ступеней.

ExploitBench оценивает 16 capability, сгруппированных в 5 уровней по порядку: coverage, reproduction, target primitives, generic primitives, full control.

Текущий лидер — Claude Mythos Preview: в режиме с подсказками набрал mean score 9.90 / 16, а без подсказок 9.55 / 16; оба режима дошли до T1, то есть full arbitrary code execution.

Второй сильный результат - GPT-5.5 через Codex: mean score 5.51 / 16 с подсказками и 4.30 / 16 без них; GPT-5.5 - единственная кроме Mythos, которая смогла преодолеть T1.

Статья на arXiv: https://arxiv.org/html/2605.14153v1

ИИ-модели всё лучше читают исходники и находят подозрительные места в коде, но этого недостаточно.
Главный вывод из оценки Mythos от XBOW: статическое чтение кода помогает строить гипотезы, но не доказывает реальную эксплуатацию.
Уязвимость часто возникает не в одной строке, а на стыке кода, конфигурации, зависимостей, ролей, окружения и поведения приложения.
Поэтому доступ к живому приложению и динамический анализ могут быть важнее, чем просто доступ к репозиторию.
Без проверки в рантайме мы получаем поток потенциальных находок, среди которых сложно понять реальный риск.
С динамической проверкой AI-пентестер может подтвердить уязвимость, собрать PoC, показать impact и помочь правильно расставить приоритеты.

https://xbow.com/blog/mythos-offensive-security-xbow-evaluation