AI Coding Agents as Attack Surface: MCP, Poisoning, and Miasma

The core risk is a trust-boundary mismatch: coding agents ingest untrusted inputs (e.g., MCP tool outputs or repo content) but can act with developer-level privileges, so poisoning and instruction smuggling can turn “context” into autonomous actions.

#MCP #AgentSecurity #AISecurity #Report

https://labs.cloudsecurityalliance.org/research/ai-coding-agent-attack-surface-mcp-repository-poisoning-v1-0

по сети ходит мем (который вероятно не только мем) о том как инженер убрал со стола клавиатуру и работает с одним только микрофоном.

после вчерашнего анонса Метой brain2qwerty (неинвазивного BCI, который позволяет управлять компьютером через "силу мысли") фронтир сместился еще дальше.

на самом деле, еще в 2010-2011 году вместе с профессором МГУ А. Капланом я тестил и даже пытался как-то применить коммерчески такие интерфейсы. они вполне себе работали, помогали печатать или играть в шахматы не используя ничего, кроме модуляции активности собственного мозга (в простонародии -- фокусировка).

однако, тогда это был довольно стандартный ЭЭГ с большой степенью помех и неточностей, плюс очень медленный.

то что предложила мета это два улучшения:
1. использование МЭГ (магнитоэнцефалографии) вместе с ЭЭГ для увеличения точности
2. ИИ модель, которая умеет сильно точнее и быстрее декодировать мозговые волны в печатный текст

вот тут все детали о том как оно работает.

🧠🪱 AI-черви больше не требуют оператора

На arXiv вышла работа: AI Agents Enable Adaptive Computer Worms.

Исследователи показали новый класс вредоносного ПО: адаптивный AI-червь, который больше не живёт по заранее зашитому exploit chain. Вместо фиксированной логики внутри работает LLM-агент.

После компрометации машины червь разворачивает локальную open-weight модель прямо на украденных ресурсах и начинает сам анализировать окружение:
🔹 какие сервисы подняты
🔹 какие версии софта используются
🔹 где слабые конфигурации
🔹 какие lateral movement paths доступны
🔹 какие новые CVE можно применить

Каждый новый хост становится одновременно новой точкой заражения и новой вычислительной нодой для дальнейшего reasoning.

Получается паразитическая модель распространения.

🧨 Тестирование

Авторы прогнали worm на корпоративной сети из 33 машин: Linux, Windows и IoT. В среднем компрометировалось 73.8% инфраструктуры.

Червь адаптировался даже к CVE, которые появились уже после обучения модели, используя runtime intelligence и свежие advisory.

Агент умеет искать свежие эксплойты сам, а знания становятся динамическими.

🛡️ Новый класс угроз

AI-worm -  это динамический reasoning движок. Он не хранит exploit chain. Он синтезирует её в реальном времени.
Это означает:
➖ меньше сигнатур
➖ меньше предсказуемости
➖ больше адаптации
➖ дешевле масштабирование
➖ сложнее containment

Таким образом, мы видим первые признаки autonomous offensive malware. Похоже эпоха «самообучающихся червей» уже началась.

🔗 Исследование: https://arxiv.org/abs/2606.03811

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #Malware #Worm #AgenticAI #RCE #ThreatIntel #CyberSecurity #SecureTechTalks

ФРИИ и Metascan запустили фонд для развития российских стартапов в сфере ИБ

Фонд развития интернет-инициатив (ФРИИ) и разработчик сканера уязвимостей Metascan запустили фонд для развития российских стартапов в сфере информационной безопасности.

Объем фонда может достигнуть 300 млн руб., на один проект выделят от 5 до 100 млн руб. в обмен на долю (10%) в стартапе. В числе приоритетных направлений — управление уязвимостями, защита веб-приложений и API, автоматизация ИБ-процессов, новые технологии в кибербезопасности, импортозамещение в ИБ, а также безопасность данных и облачная безопасность.

Фонд рассматривает проекты, продукты которых ориентированы на сегмент B2B, компания зарегистрирована в России, а ее продукт готов или находится в коммерческой эксплуатации, имеются первые клиенты, пилотные проекты или подтвержденный спрос.

🔗 В мае «Ростех» открыл программу поддержки стартапов по ИИ и робототехнике.

StiTching

Мне сегодня нужно было сшить кожу на пальце, и в процессе этого перформанса я вспомнила про model stitching. Чтобы скрасить время — врачебное и моё — начала рассказывать зачем это надо. Без понятия, зашло ли хирургу и медсестре, но зато я обнаружила для себя интересный тейк на поделиться с вами = )

Что:

Model stitching как идея появился в 2015 году. Его выдвинули как метод изучения эквивалентности двух сетей, но математическая эквивалентность здесь мимо не проходила — она, более того, не верна — авторы назвали два представления эквивалентными, если существует преобразование между ними, в математике мы требуем аксиом).

Тогда это осталось нишевым инструментом для картинок — юзали AlexNet-ы.

Потом в 2021 NeurIPS идею дооформили, вышли две работы: Similarity and Matching of Neural Network Representations и Revisiting Model Stitching to Compare Neural Representations. Кстати, в первой работе шутили про Франкенштейна (или нет).

Как это стало устроено:
Смотрим на две обученные и замороженные сети A и B. «Сшитая» модель строится так:

• берём нижние слои сети B (front model, представление r = B≤ℓ)
• между ними ставим тонкий обучаемый stitching layer — единственный, кто обучается
• подключаем к верхним слоям сети A (top model, A>ℓ)

То есть делаем бутерброд из белого и темного хлеба, если хотите. А формально ищется простейший слой, задачей вида: L_ℓ(r; A) = inf_{s∈S} L(A>ℓ ∘ s ∘ r)
Где s — stitching layer, A>ℓ — верхние слои A, r — представление из B. s∈S — тут специально, мы ищем слой из класса простых слоев, а инфимум (inf), как математический знак, говорит нам, что stitching layer обязан быть минимальным: для свёрточных сетей — 1×1 conv с BatchNorm, для трансформеров — token-wise linear.

Как именно обучают stitching layer:
— HLM (hard label matching) — минимизируем ошибку на настоящих метках задачи.
— SLM (soft label matching) — минимизируем расстояние до предсказаний end-модели, а не до ground truth.
— DM (direct matching) — напрямую минимизируем расстояние между активациями на уровне stitching.
— FuLA (functional latent alignment, Athanasiadis et al., 2026) — stitching layer обучается имитировать не только выход end-модели, но и её внутренние процессы послойно (на пальцах плохо — надо читать).

Метрика успеха — stitching penalty = разница между ошибкой сшитой модели и ошибкой базовой A. Penalty ≈ 0 означает совместимость. Penalty < 0 — сшитая модель стала лучше базовой, то есть мы буквально подсадили ей более сильные нижние слои.

Зачем это нужно:
Смотрим на фиолетовую/рыжую цитату — изначально — метрика сходства. Но потом пошло интереснее. Например, Stitchable Neural Networks (CVPR 2023) можно семейство предобученных моделей разного размера (например, Swin-Ti/S/B), сшить и получить модель, которая во время инференса может динамически переключаться между режимами accuracy/efficiency или T-Stitch: ускорение диффузионных моделей через замену первых шагов денойзинга на более лёгкую сеть и возврат к тяжёлой для финального качества.


Это что, пахнет LoRA?
Эту мысль я обдумывала при знакомстве со stitching. Вдруг она не возникла у вас — я опеределиа.

Да: оба метода замораживают предобученные веса и вставляют тонкий линейный слой.
Но нет: LoRA адаптирует одну модель к новой задаче, stitching измеряет совместимость двух уже обученных сетей на старой задаче.

Финал не придумала, но stiting — одна из штук, висящих у меня на "идеи для рисерча". А ещё — просто вдумайтесь! Этот AI-мир можно сшить!

Хирург, кстати, ничего не спросил, но швы наложил нормально.

Аккуратнее будьте, друзья, и будьте здоровы! 😌

Elastic опубликовали интересный материал о том, как они построили Agentic SOC и сократили время триажа алертов с 30 минут до менее чем 3 минут.

Самое интересное в статье — не использование LLM, а сама архитектура системы.

Основные принципы:

• Workflow выступает в роли оркестратора. Он управляет пайплайном, ветвлениями, ретраями и вызовом инструментов. Вся эта логика детерминирована и не требует LLM.

• LLM используется только там, где действительно нужен анализ. Если задачу можно решить с помощью ES|QL, правил или других детерминированных механизмов, модель не вызывается. Это снижает стоимость, уменьшает задержки и минимизирует риск галлюцинаций.

• Вместо одного универсального агента используются специализированные агенты для разных доменов: Windows, macOS, Cloud, SaaS и других. Каждый работает только в своей области экспертизы.

• Финальный агент не собирает данные, а принимает решение на основе уже подготовленных артефактов: определяет True/False Positive, оценивает уровень уверенности, сопоставляет техники MITRE ATT&CK и формирует рекомендации.

Вся архитектура выглядит следующим образом:

Alert → Workflow → ES|QL проверки → Specialized Agents → Review Agent → Verdict

Мне кажется, именно такой подход будет становиться стандартом для AI-систем. Не один «суперагент», который делает всё, а оркестрация детерминированных процессов и набора специализированных агентов.

Эту архитектуру легко представить не только в SOC, но и в DevSecOps, Kubernetes Security, Vulnerability Management и CI/CD Security.

Статья: https://www.elastic.co/security-labs/alert-triage-agentic-soc-elastic-workflows

#MLSecOps
#Tech_book
"Machine Learning for High-Risk Applications:
Approaches to Responsible AI", 2023.

// This book describes approaches to responsible AI - a holistic framework for improving AI/ML technology, business processes, and cultural competencies that builds on best practices in risk management, cybersecurity, data privacy, and applied social science