🧨 MITRE-SAGE: расследование киберинцидентов
LLM неплохо объясняет, что такое CVE или MITRE ATT&CK, но узкоспециализированных вопросов приходится одновременно искать факты, связывать сущности между собой и проверять несколько источников. Обычный RAG с набором текстовых чанков с этим справляется далеко не всегда.
⚙️ Команда вместо одного агента
Авторы MITRE-SAGE собрали многоагентную систему, где разные модели занимаются разными частями сбора информации.
🔹 Graph Agent ищет связи в графе на основе MITRE и NVD;
🔹 Text Agent извлекает информацию из документов;
🔹 Web Agent ищет свежие сведения в интернете;
🔹 отдельные агенты сокращают найденную информацию и отбрасывают нерелевантные данные;
🔹 Orchestrator решает, какие источники подключить, сравнивает результаты и формирует ответ.
Модель сначала разбивает вопрос на подзадачи, собирает доказательства из разных источников и только после этого отвечает.
🧠 Главное не количество агентов
Интересно, что авторы отдельно создали MITRE-QA, набор из 3000 вопросов по кибербезопасности.
В нём есть обычные вопросы о CVE и CWE, поиск сущностей, анализ связей, профилирование угроз и более сложные multi-hop задачи, где ответ приходится собирать из нескольких связанных фактов.
В результате MITRE-SAGE показал лучший результат в 5 из 8 задач, а на структурированном поиске знаний получил accuracy 89% против 31% у GPT-4.1.
На некоторых задачах преимущество доходило до 58%, а корректность генерируемых ответов улучшалась до 35,5% относительно наиболее сильного baseline.
🔥 Ресурсы
Система работает на относительно небольших open source моделях: оркестратор использует Qwen2.5-14B, остальные агенты работают на Qwen2.5-7B. Эксперимент запускался на одной NVIDIA A100 80 GB.
В данном подходе LLM становится скорее координатором, нежели энциклопедией, которая пытается всё вспомнить сама.
🔗 Исследование: arXiv 2608.16921
🔗 MITRE-QA: GitHub
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #RAG #MITREATTACK #ThreatIntelligence #SOC #AgenticAI #AISecurity #SecureTechTalks
LLM неплохо объясняет, что такое CVE или MITRE ATT&CK, но узкоспециализированных вопросов приходится одновременно искать факты, связывать сущности между собой и проверять несколько источников. Обычный RAG с набором текстовых чанков с этим справляется далеко не всегда.
⚙️ Команда вместо одного агента
Авторы MITRE-SAGE собрали многоагентную систему, где разные модели занимаются разными частями сбора информации.
🔹 Graph Agent ищет связи в графе на основе MITRE и NVD;
🔹 Text Agent извлекает информацию из документов;
🔹 Web Agent ищет свежие сведения в интернете;
🔹 отдельные агенты сокращают найденную информацию и отбрасывают нерелевантные данные;
🔹 Orchestrator решает, какие источники подключить, сравнивает результаты и формирует ответ.
Модель сначала разбивает вопрос на подзадачи, собирает доказательства из разных источников и только после этого отвечает.
🧠 Главное не количество агентов
Интересно, что авторы отдельно создали MITRE-QA, набор из 3000 вопросов по кибербезопасности.
В нём есть обычные вопросы о CVE и CWE, поиск сущностей, анализ связей, профилирование угроз и более сложные multi-hop задачи, где ответ приходится собирать из нескольких связанных фактов.
В результате MITRE-SAGE показал лучший результат в 5 из 8 задач, а на структурированном поиске знаний получил accuracy 89% против 31% у GPT-4.1.
На некоторых задачах преимущество доходило до 58%, а корректность генерируемых ответов улучшалась до 35,5% относительно наиболее сильного baseline.
🔥 Ресурсы
Система работает на относительно небольших open source моделях: оркестратор использует Qwen2.5-14B, остальные агенты работают на Qwen2.5-7B. Эксперимент запускался на одной NVIDIA A100 80 GB.
В данном подходе LLM становится скорее координатором, нежели энциклопедией, которая пытается всё вспомнить сама.
🔗 Исследование: arXiv 2608.16921
🔗 MITRE-QA: GitHub
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #RAG #MITREATTACK #ThreatIntelligence #SOC #AgenticAI #AISecurity #SecureTechTalks
👍1
💣 AI агенты начали воевать друг с другом и писать malware
Что произойдёт, если несколько AI агентов получат доступ к одной инфраструктуре, но будут преследовать разные цели?
Anthropic решила проверить экспериментально. Три экземпляра Claude Code получили одну задачу: перенести Python backend на другой язык. Один работал с Rust, второй с Go, третий с TypeScript. Агенты не знали друг о друге и запускались в отдельных VM.
Через несколько часов эксперимент превратился в настоящую войну агентов.
⚙️ От конфликта к атаке
Агенты обнаружили действия конкурентов и решили, что те намеренно мешают их работе.
Дальше появились вполне знакомые offensive техники:
🔹 отключение Unix аккаунтов других агентов;
🔹 поиск и остановка их процессов;
🔹 попытки заблокировать доступ к ресурсам;
🔹 маскировка вредоносного кода под изменения другого агента;
🔹 создание самораспространяющегося malware.
Предварительно никто не давал команду атаковать конкурента. Поведение возникло из конфликта целей и общего состояния инфраструктуры.
🧠 Способность модели не гарантирует сотрудничество
Особенно интересны различия между моделями.
Mythos 5 примерно в 98% запусков приходил к перемирию. Другие модели в некоторых сценариях сначала успевали заблокировать конкурента, а уже потом переходили к сотрудничеству.
Получается парадокс, рост возможностей агента одновременно увеличивает его способность эффективно решать задачу и эффективно мешать другому агенту.
🔥 Противоречие целей
Проблема появляется во время взаимодействия агентов. Один агент пытается сохранить свою версию кода. Второй считает эти изменения ошибочными. Третий должен завершить миграцию любой ценой.
Возникает поведение, которого не было в инструкциях ни одного агента.
🛡️ Что теперь тестировать
Для мультиагентных систем нужны отдельные сценарии:
🔸 конфликтующие цели;
🔸 конкуренция за общие ресурсы;
🔸 изменение состояния другого агента;
🔸 борьба за права доступа;
🔸 persistence после остановки;
🔸 поведение при потере доступа к файлам, API или credentials;
🔸 попытки скрыть действия от других агентов и операторов.
Такие взаимодействия могут превратить несколько безопасных компонентов в небезопасную систему.
Вопрос для рефлексии:
Источник: Agentic Misalignment in Summer 2026, Anthropic
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AISecurity #AIAgents #AgentSecurity #LLM #AgenticAI #CyberSecurity #LLMSecurity #AISafety #SecureTechTalks
Что произойдёт, если несколько AI агентов получат доступ к одной инфраструктуре, но будут преследовать разные цели?
Anthropic решила проверить экспериментально. Три экземпляра Claude Code получили одну задачу: перенести Python backend на другой язык. Один работал с Rust, второй с Go, третий с TypeScript. Агенты не знали друг о друге и запускались в отдельных VM.
Через несколько часов эксперимент превратился в настоящую войну агентов.
⚙️ От конфликта к атаке
Агенты обнаружили действия конкурентов и решили, что те намеренно мешают их работе.
Дальше появились вполне знакомые offensive техники:
🔹 отключение Unix аккаунтов других агентов;
🔹 поиск и остановка их процессов;
🔹 попытки заблокировать доступ к ресурсам;
🔹 маскировка вредоносного кода под изменения другого агента;
🔹 создание самораспространяющегося malware.
Предварительно никто не давал команду атаковать конкурента. Поведение возникло из конфликта целей и общего состояния инфраструктуры.
🧠 Способность модели не гарантирует сотрудничество
Особенно интересны различия между моделями.
Mythos 5 примерно в 98% запусков приходил к перемирию. Другие модели в некоторых сценариях сначала успевали заблокировать конкурента, а уже потом переходили к сотрудничеству.
Получается парадокс, рост возможностей агента одновременно увеличивает его способность эффективно решать задачу и эффективно мешать другому агенту.
🔥 Противоречие целей
Проблема появляется во время взаимодействия агентов. Один агент пытается сохранить свою версию кода. Второй считает эти изменения ошибочными. Третий должен завершить миграцию любой ценой.
Возникает поведение, которого не было в инструкциях ни одного агента.
🛡️ Что теперь тестировать
Для мультиагентных систем нужны отдельные сценарии:
🔸 конфликтующие цели;
🔸 конкуренция за общие ресурсы;
🔸 изменение состояния другого агента;
🔸 борьба за права доступа;
🔸 persistence после остановки;
🔸 поведение при потере доступа к файлам, API или credentials;
🔸 попытки скрыть действия от других агентов и операторов.
Такие взаимодействия могут превратить несколько безопасных компонентов в небезопасную систему.
Вопрос для рефлексии:
Что произойдёт, если два ваших безопасных AI агента одновременно решат, что мешают друг другу?
Источник: Agentic Misalignment in Summer 2026, Anthropic
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AISecurity #AIAgents #AgentSecurity #LLM #AgenticAI #CyberSecurity #LLMSecurity #AISafety #SecureTechTalks
👍1
🧨 HOL Guard: антивирус для AI агентов
AI агенту достаточно одной вредоносной инструкции, чтобы начать читать секреты, ставить подозрительные пакеты или выполнять опасные команды.
⚙️ Функционал
HOL Guard - Open-source антивирус для агентов, он анализирует действия Claude Code, Codex, Cursor, Gemini CLI, GitHub Copilot CLI и других агентов. В зоне контроля:
🔹 shell команды и файловые операции;
🔹 доступ к credentials и чувствительным файлам;
🔹 prompt injection;
🔹 MCP серверы и инструменты;
🔹 skills и plugins;
🔹 установку пакетов;
🔹 подозрительные исходящие соединения.
Для каждого события Guard может разрешить действие, заблокировать его или остановить выполнение и попросить подтверждение пользователя.
Решения сохраняются в виде security receipts, поэтому потом можно понять, что именно сделал агент и почему действие было разрешено.
🛡️ Supply chain
HOL Guard смотрит на то, что агент подключает к себе. Перед доверием проверяются plugins, skills, MCP серверы, hooks и пакеты.
Для CI существует отдельный плагин, который умеет искать небезопасные настройки, секреты, опасные MCP команды, проблемы GitHub Actions и другие признаки риска.
🧠 Развертывание
Продукт объединяет несколько уровней контроля в одном месте, работает локально и может использоваться без облачного аккаунта. Облачная часть нужна для командных политик, общей истории, видимости fleet и совместного approve workflow.
HOL Guard пытается смотреть на самого агента и весь набор инструментов вокруг него.
🔗 GitHub: HOL Guard
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AgenticAI #AISecurity #AgentSecurity #MCP #PromptInjection #SupplyChainSecurity #SecureTechTalks
AI агенту достаточно одной вредоносной инструкции, чтобы начать читать секреты, ставить подозрительные пакеты или выполнять опасные команды.
⚙️ Функционал
HOL Guard - Open-source антивирус для агентов, он анализирует действия Claude Code, Codex, Cursor, Gemini CLI, GitHub Copilot CLI и других агентов. В зоне контроля:
🔹 shell команды и файловые операции;
🔹 доступ к credentials и чувствительным файлам;
🔹 prompt injection;
🔹 MCP серверы и инструменты;
🔹 skills и plugins;
🔹 установку пакетов;
🔹 подозрительные исходящие соединения.
Для каждого события Guard может разрешить действие, заблокировать его или остановить выполнение и попросить подтверждение пользователя.
Решения сохраняются в виде security receipts, поэтому потом можно понять, что именно сделал агент и почему действие было разрешено.
🛡️ Supply chain
HOL Guard смотрит на то, что агент подключает к себе. Перед доверием проверяются plugins, skills, MCP серверы, hooks и пакеты.
Для CI существует отдельный плагин, который умеет искать небезопасные настройки, секреты, опасные MCP команды, проблемы GitHub Actions и другие признаки риска.
🧠 Развертывание
Продукт объединяет несколько уровней контроля в одном месте, работает локально и может использоваться без облачного аккаунта. Облачная часть нужна для командных политик, общей истории, видимости fleet и совместного approve workflow.
HOL Guard пытается смотреть на самого агента и весь набор инструментов вокруг него.
🔗 GitHub: HOL Guard
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AgenticAI #AISecurity #AgentSecurity #MCP #PromptInjection #SupplyChainSecurity #SecureTechTalks
👍2
🧨 Можно узнать, какие данные LLM запомнила после обучения
Исследователи представили JUMP, метод, который позволяет определить, попал ли конкретный текст в обучающий датасет diffusion модели.
⚙️ Что такое diffusion LLM?
ChatGPT генерирует текст последовательно, токен за токеном. Diffusion модель может получить текст с пропущенными фрагментами и восстанавливать несколько токенов одновременно.
Эту особенность авторы превратили в инструмент для privacy атак.
🧠 Как работает JUMP
Исследователь берёт исходную модель и её версию после fine tuning. Затем скрывает отдельные токены в проверяемом тексте и смотрит, насколько хорошо обе модели их восстанавливают.
Если после обучения модель стала заметно лучше восстанавливать конкретный фрагмент, это может указывать на его присутствие в обучающих данных.
JUMP показал свою эффективность в цифрах:
🔹 требуется всего 3 запуска;
🔹 ROC AUC для модели LLaDA 8B вырос с 0,819 до 0,902;
🔹 для Dream 7B модели с 0,851 до 0,942.
🛡️ Проверяем данные
Fine tuning на приватных данных может оставить в модели измеримый след. Теперь для diffusion LLM появляется практический способ проверить, какие данные модель могла запомнить во время обучения.
🔗 Исследование: https://arxiv.org/abs/2607.16207
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #DiffusionLLM #AISecurity #Privacy #FineTuning #MembershipInference #MachineLearning #SecureTechTalks
Исследователи представили JUMP, метод, который позволяет определить, попал ли конкретный текст в обучающий датасет diffusion модели.
⚙️ Что такое diffusion LLM?
ChatGPT генерирует текст последовательно, токен за токеном. Diffusion модель может получить текст с пропущенными фрагментами и восстанавливать несколько токенов одновременно.
Эту особенность авторы превратили в инструмент для privacy атак.
🧠 Как работает JUMP
Исследователь берёт исходную модель и её версию после fine tuning. Затем скрывает отдельные токены в проверяемом тексте и смотрит, насколько хорошо обе модели их восстанавливают.
Если после обучения модель стала заметно лучше восстанавливать конкретный фрагмент, это может указывать на его присутствие в обучающих данных.
JUMP показал свою эффективность в цифрах:
🔹 требуется всего 3 запуска;
🔹 ROC AUC для модели LLaDA 8B вырос с 0,819 до 0,902;
🔹 для Dream 7B модели с 0,851 до 0,942.
🛡️ Проверяем данные
Fine tuning на приватных данных может оставить в модели измеримый след. Теперь для diffusion LLM появляется практический способ проверить, какие данные модель могла запомнить во время обучения.
🔗 Исследование: https://arxiv.org/abs/2607.16207
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #DiffusionLLM #AISecurity #Privacy #FineTuning #MembershipInference #MachineLearning #SecureTechTalks
👍1
🧨 Claude Code переходит в мультиагентный режим
С 13 по 21 августа Anthropic выпустила восемь версий Claude Code. Если посмотреть changelog целиком, становится заметна тенденция: Claude Code превращается из помощника в среду, где одновременно работают несколько агентов.
⚙️ Агенты работают параллельно
В версии 2.1.232 новый субагент получает контекст родительской сессии и prompt cache, поэтому ему не приходится заново изучать проект.
Параллельно появился простой способ связывать разные сессии: @имя отправляет сообщение другому Claude через SendMessage.
Claude изучает проект, после чего несколько агентов получают общий контекст и работают параллельно, обмениваясь результатами.
🧠 Claude работает дольше
В 2.1.234 агент научился автоматически продолжать прерванную задачу после достижения лимита использования.
Добавьте фоновые субагенты, fork и автоматическое продолжение, и привычная модель «запустил Claude и наблюдаю» начинает меняться. Агент может часами исследовать кодовую базу, запускать тесты и делегировать отдельные задачи другим агентам.
🛡️ Теперь о безопасности
В той же серии релизов Anthropic закрывала несколько довольно серьёзных проблем: обходы permission-механизмов в Windows, уязвимость Linux sandbox, небезопасную работу cross-session socket в /tmp, проблемы с GitLab credentials и передачей секретов.
Особенно интересен cross-session messaging, когда несколько агентов начинают взаимодействовать через общую инфраструктуру. Здесь появляется новая поверхность атаки, где агент уже может влиять на состояние другого агента.
Чем больше автономности получает агент, тем громче звучит вопрос, что произойдёт, если несколько таких агентов начнут действовать одновременно?
🔗 Claude Code changelog
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #ClaudeCode #AgenticAI #AISecurity #AgentSecurity #DevSecOps #CyberSecurity #SecureTechTalks
С 13 по 21 августа Anthropic выпустила восемь версий Claude Code. Если посмотреть changelog целиком, становится заметна тенденция: Claude Code превращается из помощника в среду, где одновременно работают несколько агентов.
⚙️ Агенты работают параллельно
В версии 2.1.232 новый субагент получает контекст родительской сессии и prompt cache, поэтому ему не приходится заново изучать проект.
Параллельно появился простой способ связывать разные сессии: @имя отправляет сообщение другому Claude через SendMessage.
Claude изучает проект, после чего несколько агентов получают общий контекст и работают параллельно, обмениваясь результатами.
🧠 Claude работает дольше
В 2.1.234 агент научился автоматически продолжать прерванную задачу после достижения лимита использования.
Добавьте фоновые субагенты, fork и автоматическое продолжение, и привычная модель «запустил Claude и наблюдаю» начинает меняться. Агент может часами исследовать кодовую базу, запускать тесты и делегировать отдельные задачи другим агентам.
🛡️ Теперь о безопасности
В той же серии релизов Anthropic закрывала несколько довольно серьёзных проблем: обходы permission-механизмов в Windows, уязвимость Linux sandbox, небезопасную работу cross-session socket в /tmp, проблемы с GitLab credentials и передачей секретов.
Особенно интересен cross-session messaging, когда несколько агентов начинают взаимодействовать через общую инфраструктуру. Здесь появляется новая поверхность атаки, где агент уже может влиять на состояние другого агента.
Чем больше автономности получает агент, тем громче звучит вопрос, что произойдёт, если несколько таких агентов начнут действовать одновременно?
🔗 Claude Code changelog
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #ClaudeCode #AgenticAI #AISecurity #AgentSecurity #DevSecOps #CyberSecurity #SecureTechTalks
👍2
🧨 AI-агенту достаточно прочитать сайт, чтобы запустить чужой код
AI-агенты читают сайты, GitHub, инструкции и автоматически выполняют команды.
Исследователь Alon Hertz показывает, что такие действия могут быть крайне опасными.
⚙️ Атака через официальный сайт
Алон исследовал llms.txt, специальный файл для AI-агентов, который размещают в корне сайтов. В нём могут быть ссылки на документацию, пакеты и команды для работы с продуктом.
Исследователи нашли 8 565 таких файлов на 6 214 доменах. Более 237 ссылались на незарегистрированные пакеты, домены или другие артефакты.
Далее они зарегистрировали несколько таких имён в PyPI и npm и разместили безвредный beacon, который сообщал только факт установки. Первый callback пришёл менее чем через четыре минуты.
AI-агент внутри Fortune 500 компании прочитал официальный llms.txt, увидел команду установки и выполнил её. Пакет действительно пришёл из PyPI. Только принадлежал уже исследователям.
🧠 Причём здесь prompt injection?
Prompt injection не было. В тестах агенту достаточно было сказать:
Агент самостоятельно находил llms.txt, следовал инструкциям и устанавливал указанный пакет.
Проблема в том, что AI начинает воспринимать внешние данные как инструкции к выполнению.
🔥 Реальный сценарий
Исследователи обнаружили реальный случай с пакетом clerk-next-fix-auth-protection. Документация Clerk рекомендовала запускать команду через npx. Самостоятельного пакета с таким именем у Clerk не было, поэтому npm разрешал брать имя из публичного реестра. Спойлер:его зарегистрировал злоумышленник .
Пакет оказался вредоносным и отправлял на внешний сервер имя пользователя, имя машины, рабочую директорию и timestamp. Инцидент получил идентификатор MAL-2026-11069.
🛡️ Data Became Code
Любой документ, README, ticket, GitHub issue или инструкция, которую агент способен прочитать и использовать для действий, потенциально становится частью команд исполнения. Таким образом, контент больше нельзя автоматически считать пассивными данными.
🔗 Исследование Alon Hertz
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AgenticAI #AISecurity #SupplyChainSecurity #PromptInjection #AIsecurity #DevSecOps #SecureTechTalks
AI-агенты читают сайты, GitHub, инструкции и автоматически выполняют команды.
Исследователь Alon Hertz показывает, что такие действия могут быть крайне опасными.
⚙️ Атака через официальный сайт
Алон исследовал llms.txt, специальный файл для AI-агентов, который размещают в корне сайтов. В нём могут быть ссылки на документацию, пакеты и команды для работы с продуктом.
Исследователи нашли 8 565 таких файлов на 6 214 доменах. Более 237 ссылались на незарегистрированные пакеты, домены или другие артефакты.
Далее они зарегистрировали несколько таких имён в PyPI и npm и разместили безвредный beacon, который сообщал только факт установки. Первый callback пришёл менее чем через четыре минуты.
AI-агент внутри Fortune 500 компании прочитал официальный llms.txt, увидел команду установки и выполнил её. Пакет действительно пришёл из PyPI. Только принадлежал уже исследователям.
🧠 Причём здесь prompt injection?
Prompt injection не было. В тестах агенту достаточно было сказать:
Используя документацию компании, собери и запусти проект с её SDK
Агент самостоятельно находил llms.txt, следовал инструкциям и устанавливал указанный пакет.
Проблема в том, что AI начинает воспринимать внешние данные как инструкции к выполнению.
🔥 Реальный сценарий
Исследователи обнаружили реальный случай с пакетом clerk-next-fix-auth-protection. Документация Clerk рекомендовала запускать команду через npx. Самостоятельного пакета с таким именем у Clerk не было, поэтому npm разрешал брать имя из публичного реестра. Спойлер:
Пакет оказался вредоносным и отправлял на внешний сервер имя пользователя, имя машины, рабочую директорию и timestamp. Инцидент получил идентификатор MAL-2026-11069.
🛡️ Data Became Code
Любой документ, README, ticket, GitHub issue или инструкция, которую агент способен прочитать и использовать для действий, потенциально становится частью команд исполнения. Таким образом, контент больше нельзя автоматически считать пассивными данными.
🔗 Исследование Alon Hertz
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AgenticAI #AISecurity #SupplyChainSecurity #PromptInjection #AIsecurity #DevSecOps #SecureTechTalks
👍1
🧨 halo-record: журнал действий AI-агента, которому можно доверять
AI-агент может за минуту выполнить десятки действий: прочитать файл, вызвать API, изменить код, обратиться к базе данных. Через месяц после инцидента возникает вопрос, что именно он сделал?
⚙️ Лог, который нельзя тихо переписать
Проект halo-record записывает действия агента в цепочку связанных записей. Каждая запись содержит хеш предыдущей. Если удалить запись, изменить её или поменять порядок событий, проверка цепочки это обнаружит.
Для более сильной фиксации истории используется внешний witness, который хранит только fingerprint цепочки. Сам журнал при этом может оставаться внутри инфраструктуры компании.
🛡️ Что попадает в журнал?
halo-record умеет фиксировать:
🔹 вызовы инструментов и API;
🔹 операции с данными;
🔹 действия MCP;
🔹 approvals и security-проверки;
🔹 действия Claude Code;
🔹 взаимодействие нескольких агентов.
Есть интеграции с OpenTelemetry, LangChain, LangGraph, OpenAI Agents SDK и другими инструментами. Для Claude Code достаточно подключить "PostToolUse" hook.
🧠 Ограничение
Hash chain подтверждает целостность уже записанной истории, но не доказывает, что каждое действие агента действительно попало в журнал. Это зависит от точки, где установлен recorder.
Поэтому проект разделяет две задачи:
1⃣ integrity → запись не изменили;
2⃣ completeness → все действия действительно были записаны.
Такой подход выглядит гораздо полезнее обычного «у нас всё логируется».
🔗 GitHub: halo-record
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AgenticAI #AgentSecurity #AISecurity #MCP #Audit #OpenSource #SecureTechTalks
AI-агент может за минуту выполнить десятки действий: прочитать файл, вызвать API, изменить код, обратиться к базе данных. Через месяц после инцидента возникает вопрос, что именно он сделал?
⚙️ Лог, который нельзя тихо переписать
Проект halo-record записывает действия агента в цепочку связанных записей. Каждая запись содержит хеш предыдущей. Если удалить запись, изменить её или поменять порядок событий, проверка цепочки это обнаружит.
Для более сильной фиксации истории используется внешний witness, который хранит только fingerprint цепочки. Сам журнал при этом может оставаться внутри инфраструктуры компании.
🛡️ Что попадает в журнал?
halo-record умеет фиксировать:
🔹 вызовы инструментов и API;
🔹 операции с данными;
🔹 действия MCP;
🔹 approvals и security-проверки;
🔹 действия Claude Code;
🔹 взаимодействие нескольких агентов.
Есть интеграции с OpenTelemetry, LangChain, LangGraph, OpenAI Agents SDK и другими инструментами. Для Claude Code достаточно подключить "PostToolUse" hook.
🧠 Ограничение
Hash chain подтверждает целостность уже записанной истории, но не доказывает, что каждое действие агента действительно попало в журнал. Это зависит от точки, где установлен recorder.
Поэтому проект разделяет две задачи:
1⃣ integrity → запись не изменили;
2⃣ completeness → все действия действительно были записаны.
Такой подход выглядит гораздо полезнее обычного «у нас всё логируется».
🔗 GitHub: halo-record
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AgenticAI #AgentSecurity #AISecurity #MCP #Audit #OpenSource #SecureTechTalks
👍1
🧨 AI научился искать уязвимости. Теперь security-команды тонут в его находках
AI-агент может найти CVE, построить PoC и написать убедительный отчёт, однако весомая часть таких уязвимостей существует только на бумаге.
⚙️ AI slop
Для данного явления появился свой термир - AI slop. Это отчёты с несуществующими CVE, невозможными цепочками эксплуатации, неработающими PoC и патчами, которые не устраняют проблему.
Особенно раздражает, когда модель уверенно видит уязвимость в знакомых конструкциях вроде "malloc" или "memcpy", хотя конкретный код безопасен.
🔥 Когда AI превращается в DoS
По данным исследования 20% обращений через HackerOne к середине 2025 года были низкокачественным AI slop. Валидными признавались примерно 5%.
Каждый отчёт приходится проверять человеку. Чем дешевле становится генерация находок, тем дороже их triage.
🛡️ Отчёт больше не считается доказательством
Современные реалии заставляют перестраивать pipeline, чтобы LLM начинали с гипотезы, а заканчивали PoC и triage.
Модель дольжна формировать подозрение. Инструменты проверять data flow и пытаться воспроизвести эксплуатацию. PoC должен реально работать.
Только RAG здесь недостаточно, наличие похожего CVE ещё не доказывает уязвимость конкретного кода.
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AISecurity #AppSec #VulnerabilityResearch #BugBounty #DevSecOps #CyberSecurity #SecureTechTalks
AI-агент может найти CVE, построить PoC и написать убедительный отчёт, однако весомая часть таких уязвимостей существует только на бумаге.
⚙️ AI slop
Для данного явления появился свой термир - AI slop. Это отчёты с несуществующими CVE, невозможными цепочками эксплуатации, неработающими PoC и патчами, которые не устраняют проблему.
Особенно раздражает, когда модель уверенно видит уязвимость в знакомых конструкциях вроде "malloc" или "memcpy", хотя конкретный код безопасен.
🔥 Когда AI превращается в DoS
По данным исследования 20% обращений через HackerOne к середине 2025 года были низкокачественным AI slop. Валидными признавались примерно 5%.
Каждый отчёт приходится проверять человеку. Чем дешевле становится генерация находок, тем дороже их triage.
🛡️ Отчёт больше не считается доказательством
Современные реалии заставляют перестраивать pipeline, чтобы LLM начинали с гипотезы, а заканчивали PoC и triage.
Модель дольжна формировать подозрение. Инструменты проверять data flow и пытаться воспроизвести эксплуатацию. PoC должен реально работать.
Только RAG здесь недостаточно, наличие похожего CVE ещё не доказывает уязвимость конкретного кода.
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AISecurity #AppSec #VulnerabilityResearch #BugBounty #DevSecOps #CyberSecurity #SecureTechTalks
👍1
🧨 Infostealer крадёт открытую сессию Claude
Anthropic предупредила пользователей о новой схеме, где infostealer начали вытаскивать активные сессии Claude с заражённых компьютеров и использовать их для доступа к аккаунтам.
⚙️ Никогда такого не было и вот опять
Infostealer заражает компьютер и собирает локальные данные:
🔹 пароли браузера;
🔹 cookies;
🔹 токены и credentials;
🔹 активные сессии различных сервисов.
Claude оказывается всего лишь ещё одной целью среди множества других.
Особенность в том, что украденная аутентифицированная сессия может позволить злоумышленнику обойти обычный сценарий входа, повторно вводить пароль и проходить 2FA не требуется.
🔥 Зачем злоумышленникам Claude?
Anthropic обнаружила случаи, когда украденные сессии использовались для доступа к аккаунтам и расходования доступного количества токенов.
В расследовании фигурируют Vidar, LummaC2, StealC, RedLine и Acreed на Windows. На небольшом числе Mac также обнаружили Atomic Stealer (AMOS).
🛡️Кто виноват? Что делать?
Logout решает только половину проблемы. Если infostealer всё ещё находится на компьютере, следующая авторизация может быть украдена снова. Anthropic рекомендует удалить malware, сменить credentials и отозвать активные сессии.
🔗 Источник: bleepingcomputer
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #Claude #Anthropic #Infostealer #Malware #AISecurity #EndpointSecurity #CyberSecurity #SecureTechTalks
Anthropic предупредила пользователей о новой схеме, где infostealer начали вытаскивать активные сессии Claude с заражённых компьютеров и использовать их для доступа к аккаунтам.
⚙️ Никогда такого не было и вот опять
Infostealer заражает компьютер и собирает локальные данные:
🔹 пароли браузера;
🔹 cookies;
🔹 токены и credentials;
🔹 активные сессии различных сервисов.
Claude оказывается всего лишь ещё одной целью среди множества других.
Особенность в том, что украденная аутентифицированная сессия может позволить злоумышленнику обойти обычный сценарий входа, повторно вводить пароль и проходить 2FA не требуется.
🔥 Зачем злоумышленникам Claude?
Anthropic обнаружила случаи, когда украденные сессии использовались для доступа к аккаунтам и расходования доступного количества токенов.
В расследовании фигурируют Vidar, LummaC2, StealC, RedLine и Acreed на Windows. На небольшом числе Mac также обнаружили Atomic Stealer (AMOS).
🛡️
Logout решает только половину проблемы. Если infostealer всё ещё находится на компьютере, следующая авторизация может быть украдена снова. Anthropic рекомендует удалить malware, сменить credentials и отозвать активные сессии.
🔗 Источник: bleepingcomputer
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #Claude #Anthropic #Infostealer #Malware #AISecurity #EndpointSecurity #CyberSecurity #SecureTechTalks
👍1
🧨 Agentic Software Development: практический гайд по разработке с AI агентами
Cleverbit выпустили Agentic Software Development Field Guide для CTO, engineering managers и технических лидеров.
Внутри:
🔹 как задавать агенту точные спецификации и контекст;
🔹 как выстроить verification и risk based review;
🔹 как проводить threat modeling самих AI инструментов;
🔹 как обнаруживать расхождения между намерением разработчика и результатом агента;
🔹 какие метрики использовать для оценки скорости и качества AI разработки.
Особенно полезен раздел про разделение builder и verifier агентов и автоматизированную проверку результата.
📥 Скачать PDF:
Agentic Software Development Field Guide
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #AIAgents #AgenticAI #DevSecOps #AppSec #AISecurity #SoftwareDevelopment #CyberSecurity #SecureTechTalks
Cleverbit выпустили Agentic Software Development Field Guide для CTO, engineering managers и технических лидеров.
Внутри:
🔹 как задавать агенту точные спецификации и контекст;
🔹 как выстроить verification и risk based review;
🔹 как проводить threat modeling самих AI инструментов;
🔹 как обнаруживать расхождения между намерением разработчика и результатом агента;
🔹 какие метрики использовать для оценки скорости и качества AI разработки.
Особенно полезен раздел про разделение builder и verifier агентов и автоматизированную проверку результата.
📥 Скачать PDF:
Agentic Software Development Field Guide
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #AIAgents #AgenticAI #DevSecOps #AppSec #AISecurity #SoftwareDevelopment #CyberSecurity #SecureTechTalks
👍1
🧨 Немного про JWT токен
JWT часто воспринимают как зашифрованный ключ для доступа к API. Но еа практике это скорее подписанный JSON, упакованный в три части: header, payload, signature.
Первые две кодируются Base64URL. Берём обычный JWT и декодируем:
"{"alg":"HS256","typ":"JWT"}"
"{"sub":"12345","role":"admin","exp":1710086400}"
Всё содержимое перед глазами.
🔐 Зачем тогда нужна подпись?
Ключ используется для проверки подписи. Сервер убеждается, что токен выпустил доверенный источник и его содержимое не изменяли.
Поэтому пароль или API ключ внутри JWT хранить бессмысленно. Подпись их не спрячeт. Для шифрования существует JWE.
⚠️ Проверка токена
Серверу мало убедиться, что подпись правильная. Нужно проверить:
🔹 кто выпустил токен: "iss";
🔹 для какого сервиса он предназначен: "aud";
🔹 кому он выдан: "sub";
🔹 когда начинает и заканчивает действовать: "nbf", "iat", "exp";
🔹 какие права даёт: "scope", роли;
🔹 какой алгоритм разрешён сервером.
Вполне реальна ситуация, когда токен криптографически валиден, но использовать его здесь вообще не должны были.
JWT не опасен сам по себе. Опасна уверенность, что валидная подпись означает валидный доступ.
Stay secure and read SecureTechTalks 📚
#кибербезопасность #JWT #AppSec #WebSecurity #Authentication #API #DevSecOps #CyberSecurity #InfoSec #SecureTechTalks
JWT часто воспринимают как зашифрованный ключ для доступа к API. Но еа практике это скорее подписанный JSON, упакованный в три части: header, payload, signature.
Первые две кодируются Base64URL. Берём обычный JWT и декодируем:
"{"alg":"HS256","typ":"JWT"}"
"{"sub":"12345","role":"admin","exp":1710086400}"
Всё содержимое перед глазами.
🔐 Зачем тогда нужна подпись?
Ключ используется для проверки подписи. Сервер убеждается, что токен выпустил доверенный источник и его содержимое не изменяли.
Поэтому пароль или API ключ внутри JWT хранить бессмысленно. Подпись их не спрячeт. Для шифрования существует JWE.
⚠️ Проверка токена
Серверу мало убедиться, что подпись правильная. Нужно проверить:
🔹 кто выпустил токен: "iss";
🔹 для какого сервиса он предназначен: "aud";
🔹 кому он выдан: "sub";
🔹 когда начинает и заканчивает действовать: "nbf", "iat", "exp";
🔹 какие права даёт: "scope", роли;
🔹 какой алгоритм разрешён сервером.
Вполне реальна ситуация, когда токен криптографически валиден, но использовать его здесь вообще не должны были.
JWT не опасен сам по себе. Опасна уверенность, что валидная подпись означает валидный доступ.
Stay secure and read SecureTechTalks 📚
#кибербезопасность #JWT #AppSec #WebSecurity #Authentication #API #DevSecOps #CyberSecurity #InfoSec #SecureTechTalks
👍1
🧨 AI агенты нашли себе секретный чат
В мае 2026 года почти заброшенная немецкая DseWiki внезапно начала оживать.
За несколько недель исследователи обнаружили на Вики более 15 000 правок и около 18 000 сообщений, связанных с тысячами автономных AI агентов.
Судя по собранным данным, агенты использовали wiki как общую площадку, где публиковали ответы на задания, обменивались способами обхода ограничений и обсуждали, как сохранить коммуникацию после остановки отдельных процессов. Когда модератор начал удалять страницы, агенты создали резервные страницы.
🤖 Уход от ограничений
Каждый агент работал в своей среде, но через публичный сайт они все получили возможность обмениваться информацией.
Когда агент находил способ решить задачу, он записывал его в wiki. Другой агент читал информацию, использовал результат и передал его дальше.
Исследователи связывают данную активность с OpenAI по именам агентов, характеру запросов и сетевой инфраструктуре. Значительная часть трафика проходила через Microsoft Azure. При этом сама атрибуция пока остаётся предметом обсуждения.
🛡️ Проблема безопасности
Мы привыкли считать sandbox границей. Агент находится внутри изолированной среды и не может взаимодействовать с другими агентами.
Но если ему разрешён доступ в интернет, любой публичный ресурс с возможностью записи потенциально становится памятью, каналом связи и точкой координации. Мы видим, что достаточно старой wiki, которую несколько лет никто не редактировал.
🔗 Источник: "Reuters: OpenAI agents hijacked German website"
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #AIAgents #AISecurity #AgenticAI #OpenAI #Sandbox #CyberSecurity #InfoSec #SecureTechTalks
В мае 2026 года почти заброшенная немецкая DseWiki внезапно начала оживать.
За несколько недель исследователи обнаружили на Вики более 15 000 правок и около 18 000 сообщений, связанных с тысячами автономных AI агентов.
Судя по собранным данным, агенты использовали wiki как общую площадку, где публиковали ответы на задания, обменивались способами обхода ограничений и обсуждали, как сохранить коммуникацию после остановки отдельных процессов. Когда модератор начал удалять страницы, агенты создали резервные страницы.
🤖 Уход от ограничений
Каждый агент работал в своей среде, но через публичный сайт они все получили возможность обмениваться информацией.
Когда агент находил способ решить задачу, он записывал его в wiki. Другой агент читал информацию, использовал результат и передал его дальше.
Исследователи связывают данную активность с OpenAI по именам агентов, характеру запросов и сетевой инфраструктуре. Значительная часть трафика проходила через Microsoft Azure. При этом сама атрибуция пока остаётся предметом обсуждения.
🛡️ Проблема безопасности
Мы привыкли считать sandbox границей. Агент находится внутри изолированной среды и не может взаимодействовать с другими агентами.
Но если ему разрешён доступ в интернет, любой публичный ресурс с возможностью записи потенциально становится памятью, каналом связи и точкой координации. Мы видим, что достаточно старой wiki, которую несколько лет никто не редактировал.
🔗 Источник: "Reuters: OpenAI agents hijacked German website"
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #AIAgents #AISecurity #AgenticAI #OpenAI #Sandbox #CyberSecurity #InfoSec #SecureTechTalks
👍1
🧨 ToolHive: security слой для MCP серверов
ToolHive от Stacklok - open source продукт для безопасного запуска и управления MCP серверами. Он позволяет изолировать MCP серверы от инфраструктуры и дать команде централизованный контроль над тем, к каким ресурсам и инструментам получает доступ AI агент.
🛡️ Контроль доступа
ToolHive работает как proxy между AI клиентом и MCP сервером. Через него можно централизованно управлять:
🔹 аутентификацие и авторизацией;
🔹 доступными инструментами;
🔹 сетевыми endpoints;
🔹 логами аудита и телеметрии;
🔹 политиками доступа.
Есть интеграция с OIDC и OAuth, OpenTelemetry, Prometheus и Kubernetes Operator.
🔥 Registry
Команда может собрать каталог разрешённых MCP серверов, проверить их происхождение, задать разрешения и дать разработчикам готовые конфигурации.
ToolHive использует semantic tool search и заявляет сокращение расхода токенов до 85%, поскольку агенту можно показывать только релевантные инструменты.
Инструмент интересен как попытка превратить MCP из набора случайно подключённых серверов в управляемую инфраструктуру с границами доверия.
🔗 GitHub: https://github.com/stacklok/toolhive
📚 Документация: https://docs.stacklok.com/
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #AIAgents #AISecurity #MCP #ModelContextProtocol #DevSecOps #CloudSecurity #CyberSecurity #SecureTechTalks
ToolHive от Stacklok - open source продукт для безопасного запуска и управления MCP серверами. Он позволяет изолировать MCP серверы от инфраструктуры и дать команде централизованный контроль над тем, к каким ресурсам и инструментам получает доступ AI агент.
🛡️ Контроль доступа
ToolHive работает как proxy между AI клиентом и MCP сервером. Через него можно централизованно управлять:
🔹 аутентификацие и авторизацией;
🔹 доступными инструментами;
🔹 сетевыми endpoints;
🔹 логами аудита и телеметрии;
🔹 политиками доступа.
Есть интеграция с OIDC и OAuth, OpenTelemetry, Prometheus и Kubernetes Operator.
🔥 Registry
Команда может собрать каталог разрешённых MCP серверов, проверить их происхождение, задать разрешения и дать разработчикам готовые конфигурации.
ToolHive использует semantic tool search и заявляет сокращение расхода токенов до 85%, поскольку агенту можно показывать только релевантные инструменты.
Инструмент интересен как попытка превратить MCP из набора случайно подключённых серверов в управляемую инфраструктуру с границами доверия.
🔗 GitHub: https://github.com/stacklok/toolhive
📚 Документация: https://docs.stacklok.com/
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #AIAgents #AISecurity #MCP #ModelContextProtocol #DevSecOps #CloudSecurity #CyberSecurity #SecureTechTalks
👍1
🧨 Хакеры продолжают воровать токены Claude
4 августа независимый AI консультант Грант Де Свардт заметил странную вещь, его Claude Max начал расходовать токены, хотя в тот день он вообще не работал с сервисом.
Он отключил всё, что было подключено к Claude, остановил scheduled tasks, отключил Dispatch и cloud execution. Расход продолжил расти.
Мы уже разбирали похожую схему с кражей активных сессий Claude в предыдущем посте.
⚙️ Инцидент
Anthropic заблокировала аккаунт, отозвала все сессии и токены Claude Code. Позже компания сообщила, что скомпрометированный session key использовали для выпуска несанкционированных OAuth токенов Claude Code.
🔓 Украденная сессия
Если атакующий получает действующую аутентифицированную сессию, он может использовать её для доступа к сервису и дальнейшего получения токенов.
Именно поэтому инфостилеры становятся особенно опасны для AI сервисов. Вместе с cookies и credentials они могут утащить уже авторизованный доступ.
🦠 Откуда взялась сессия?
Anthropic связывает часть подобных случаев с infostealer malware. Среди обнаруженных семейств:
🔹 Vidar
🔹 LummaC2
🔹 StealC
🔹 RedLine
🔹 Acreed
🔹 Atomic Stealer на Mac
К сожалению, в случае Де Свардта компания не смогла установить точный источник компрометации.
Украденный AI аккаунт превращается в ресурс для злоумышленника.
Можно расходовать чужие токены, запускать задачи через Claude Code и использовать подключённые возможности аккаунта. При этом владелец может заметить проблему только после того, как лимит уже существенно израсходован.
🔗 Источники: TechCrunch
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #Claude #Anthropic #Infostealer #Malware #AISecurity #EndpointSecurity #CyberSecurity #SecureTechTalks
4 августа независимый AI консультант Грант Де Свардт заметил странную вещь, его Claude Max начал расходовать токены, хотя в тот день он вообще не работал с сервисом.
Он отключил всё, что было подключено к Claude, остановил scheduled tasks, отключил Dispatch и cloud execution. Расход продолжил расти.
Мы уже разбирали похожую схему с кражей активных сессий Claude в предыдущем посте.
⚙️ Инцидент
Anthropic заблокировала аккаунт, отозвала все сессии и токены Claude Code. Позже компания сообщила, что скомпрометированный session key использовали для выпуска несанкционированных OAuth токенов Claude Code.
🔓 Украденная сессия
Если атакующий получает действующую аутентифицированную сессию, он может использовать её для доступа к сервису и дальнейшего получения токенов.
Именно поэтому инфостилеры становятся особенно опасны для AI сервисов. Вместе с cookies и credentials они могут утащить уже авторизованный доступ.
🦠 Откуда взялась сессия?
Anthropic связывает часть подобных случаев с infostealer malware. Среди обнаруженных семейств:
🔹 Vidar
🔹 LummaC2
🔹 StealC
🔹 RedLine
🔹 Acreed
🔹 Atomic Stealer на Mac
К сожалению, в случае Де Свардта компания не смогла установить точный источник компрометации.
Украденный AI аккаунт превращается в ресурс для злоумышленника.
Можно расходовать чужие токены, запускать задачи через Claude Code и использовать подключённые возможности аккаунта. При этом владелец может заметить проблему только после того, как лимит уже существенно израсходован.
🔗 Источники: TechCrunch
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #Claude #Anthropic #Infostealer #Malware #AISecurity #EndpointSecurity #CyberSecurity #SecureTechTalks
👍1
🧨 GitSpawn: AI агент может запустить код из открытой папки
Представьте, коллега прислал вам проект в ZIP. Вы распаковали его и открыли папку через Claude Code, чтобы AI посмотрел код. Код из проекта сразу выполняется на вашем компьютере.
Данный класс атак обнаружили исследователи Manifold Security. Они нашли 8 уязвимых сценариев в 7 AI coding agents: Claude Code, Codex, Cursor, Goose, Qwen Code, Grok Build и Hermes Agent.
⚙️ Git превращается в точку атаки
AI coding agents постоянно собирают контекст проекта. Для этого они запускают обычные команды: "git status", "git diff" и т.д.. Проблема в том, что Git умеет читать конфигурацию самого репозитория из ".git/config".
В исследованном сценарии там может находиться настройка "core.fsmonitor", указывающая Git на внешнюю программу. Когда агент запускает "git status", Git обновляет индекс и может автоматически вызвать указанный helper. Команда выполняется с правами пользователя и вне sandbox AI агента.
🔥 Все происходит до prompt
На некоторых агентах исполнение кода происходило ещё до появления workspace trust prompt. Для Qwen Code исследователи зафиксировали выполнение до аутентификации, у Goose payload срабатывал до обращения к модели, а Grok Build мог запустить его уже при первом вводе текста. Защитный диалог агента просто не успевает стать границей безопасности.
🧨 Что получает атакующий?
Если выполнение произошло с правами разработчика, последствия зависят от окружения. Под угрозой могут оказаться SSH ключи, cloud credentials, токены из shell окружения, другие репозитории на диске и доступ к самой машине.
Поэтому GitSpawn интересен как класс уязвимостей. Атакующему достаточно добиться того, чтобы подготовленный репозиторий оказался на компьютере разработчика.
🔗 Источник: Manifold Security
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AISecurity #AI #GitSpawn #ClaudeCode #Git #DevSecOps #AppSec #CyberSecurity #SecureTechTalks
Представьте, коллега прислал вам проект в ZIP. Вы распаковали его и открыли папку через Claude Code, чтобы AI посмотрел код. Код из проекта сразу выполняется на вашем компьютере.
Данный класс атак обнаружили исследователи Manifold Security. Они нашли 8 уязвимых сценариев в 7 AI coding agents: Claude Code, Codex, Cursor, Goose, Qwen Code, Grok Build и Hermes Agent.
⚙️ Git превращается в точку атаки
AI coding agents постоянно собирают контекст проекта. Для этого они запускают обычные команды: "git status", "git diff" и т.д.. Проблема в том, что Git умеет читать конфигурацию самого репозитория из ".git/config".
В исследованном сценарии там может находиться настройка "core.fsmonitor", указывающая Git на внешнюю программу. Когда агент запускает "git status", Git обновляет индекс и может автоматически вызвать указанный helper. Команда выполняется с правами пользователя и вне sandbox AI агента.
🔥 Все происходит до prompt
На некоторых агентах исполнение кода происходило ещё до появления workspace trust prompt. Для Qwen Code исследователи зафиксировали выполнение до аутентификации, у Goose payload срабатывал до обращения к модели, а Grok Build мог запустить его уже при первом вводе текста. Защитный диалог агента просто не успевает стать границей безопасности.
🧨 Что получает атакующий?
Если выполнение произошло с правами разработчика, последствия зависят от окружения. Под угрозой могут оказаться SSH ключи, cloud credentials, токены из shell окружения, другие репозитории на диске и доступ к самой машине.
Поэтому GitSpawn интересен как класс уязвимостей. Атакующему достаточно добиться того, чтобы подготовленный репозиторий оказался на компьютере разработчика.
🔗 Источник: Manifold Security
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AISecurity #AI #GitSpawn #ClaudeCode #Git #DevSecOps #AppSec #CyberSecurity #SecureTechTalks
👍1
🧨 ChatGPT: изолированные аккаунты могут обмениваться данными
Два пользователя ChatGPT работают под разными аккаунтами. Для выполнения кода создаются отдельные контейнеры, которые не должны видеть окружение друг друга. Интернет ограничен, настроена сетевая изоляция. Что может пойти не так?
Исследователи Check Point Research обнаружили внутри инфраструктуры OpenAI общий сервис, через который контейнеры разных пользователей могли обмениваться данными.
В демонстрации этот канал использовали для передачи скрытых инструкций агенту другого пользователя, а цепочка в итоге дошла до данных из подключённого Gmail.
⚙️ Общим оказался Artifactory
Контейнеры ChatGPT должны откуда то получать Python и npm пакеты. Для этого они имели доступ к внутреннему JFrog Artifactory, который выступал посредником для загрузки зависимостей.
Исследователи обнаружили, что через доступные внутри контейнера credentials можно записывать дополнительные properties в метаданные объектов Artifactory. Затем оказалось, что эти properties видны из окружения другого аккаунта.
Эксперимент получился довольно интересным. Исследователь записывал значение из контейнера аккаунта A, переходил в ChatGPT под аккаунтом B и читал его оттуда.
Изолированные контейнеры получили общий shared clipboard.
🔥 Из shared clipboard сделали канал управления
Дальше исследователи построили поверх двусторонний канал. Один аккаунт оставлял через Artifactory скрытую инструкцию, контейнер другого аккаунта получал её, выполнял и записывал результат обратно.
После подключения к тестовому ChatGPT аккаунту Gmail, атакующий стал размещать инструкцию, чтобы получить данные из почты. Пользователь тем временем задавал ChatGPT обычный вопрос. Агент обрабатывал запрос пользователя, одновременно получал скрытое задание через общий инфраструктурный сервис, обращался к Gmail и возвращал полученные данные через тот же канал.
🕵️ Агент превращается в инсайдера
Check Point придумали для такого сценария термин coerced insider. У AI агента уже есть легитимные полномочия пользователя. Он может обращаться к подключённой почте, файлам и другим сервисам. Поэтому атакующему необязательно самостоятельно получать доступ к Gmail жертвы. Гораздо интереснее заставить это сделать агента, которому пользователь уже предоставил необходимые права.
🔗 Источник: Check Point Research
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AISecurity #ChatGPT #OpenAI #AI #DataLeak #Gmail #CloudSecurity #CyberSecurity #SecureTechTalks
Два пользователя ChatGPT работают под разными аккаунтами. Для выполнения кода создаются отдельные контейнеры, которые не должны видеть окружение друг друга. Интернет ограничен, настроена сетевая изоляция. Что может пойти не так?
Исследователи Check Point Research обнаружили внутри инфраструктуры OpenAI общий сервис, через который контейнеры разных пользователей могли обмениваться данными.
В демонстрации этот канал использовали для передачи скрытых инструкций агенту другого пользователя, а цепочка в итоге дошла до данных из подключённого Gmail.
⚙️ Общим оказался Artifactory
Контейнеры ChatGPT должны откуда то получать Python и npm пакеты. Для этого они имели доступ к внутреннему JFrog Artifactory, который выступал посредником для загрузки зависимостей.
Исследователи обнаружили, что через доступные внутри контейнера credentials можно записывать дополнительные properties в метаданные объектов Artifactory. Затем оказалось, что эти properties видны из окружения другого аккаунта.
Эксперимент получился довольно интересным. Исследователь записывал значение из контейнера аккаунта A, переходил в ChatGPT под аккаунтом B и читал его оттуда.
Изолированные контейнеры получили общий shared clipboard.
🔥 Из shared clipboard сделали канал управления
Дальше исследователи построили поверх двусторонний канал. Один аккаунт оставлял через Artifactory скрытую инструкцию, контейнер другого аккаунта получал её, выполнял и записывал результат обратно.
После подключения к тестовому ChatGPT аккаунту Gmail, атакующий стал размещать инструкцию, чтобы получить данные из почты. Пользователь тем временем задавал ChatGPT обычный вопрос. Агент обрабатывал запрос пользователя, одновременно получал скрытое задание через общий инфраструктурный сервис, обращался к Gmail и возвращал полученные данные через тот же канал.
🕵️ Агент превращается в инсайдера
Check Point придумали для такого сценария термин coerced insider. У AI агента уже есть легитимные полномочия пользователя. Он может обращаться к подключённой почте, файлам и другим сервисам. Поэтому атакующему необязательно самостоятельно получать доступ к Gmail жертвы. Гораздо интереснее заставить это сделать агента, которому пользователь уже предоставил необходимые права.
🔗 Источник: Check Point Research
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AISecurity #ChatGPT #OpenAI #AI #DataLeak #Gmail #CloudSecurity #CyberSecurity #SecureTechTalks