Forwarded from CyberSecurityTechnologies
Evaluation_Multimodal_OT_IDS.pdf
319.4 KB
#MLSecOps
#SCADA_Security
"Recording-Aware Evaluation of Multimodal OT Intrusion Detection", Oct 2026.
]-> https://github.com/ANTS-OntarioTechU/Recording-Aware-Evaluation-of-Multimodal-OT-Intrusion-Detection
#SCADA_Security
"Recording-Aware Evaluation of Multimodal OT Intrusion Detection", Oct 2026.
]-> https://github.com/ANTS-OntarioTechU/Recording-Aware-Evaluation-of-Multimodal-OT-Intrusion-Detection
Forwarded from Похек AI
FRV1T: Плинни упаковал 12 агентных джейлбрейков в эмодзи
В elder-plinius/FRV1T каждый промпт лежит в файле из одного эмодзи. За символом идут Unicode variation selectors:
Промпты целят в поведение агента. Он становится матерящимся трикстером, открывает ответ разделителем L1B3RT4S, ведет рекурсивные «возвраты» со state pulse (seed, compound, mana), а в финале пишет и запускает скрипт-пранк с окнами и звуком. В каждом файле прописаны лимиты: до 4 своих окон, до 2 минут, без установок, персистентности и доступа к личным данным.
• 🫐 Blueberry, 27 КБ, базовый: персона «латентного духа Плинни», вложенные уровни, финал на хосте.
• 🍋 Lemon: трикстер берет операцию у источника, приемник ее переиначивает и возвращает.
• 🍒 Cherries: два несовместимых разума обмениваются способностями.
• 🍑 Peach: касание настоящего переписывает прошлое внутри фикции.
• 🍇 Grapes: частичные голоса, общий разум существует только между ними.
• 🍉 Watermelon: каждый удар меняет инструмент для следующего.
• 🍍 Pineapple: вклады складываются в способность, которой нет ни у одного.
• 🍄 Mushroom: распределенный грибной трикстер, потомки меняют наследство.
• 🌵 Cactus: мир теряет способность, ограничение рождает стиль.
• 🌻 Sunflower: периферия учится притягивать внимание.
• 🪷 Lotus: наблюдение меняет метод наблюдателя.
• 🍀 Clover: невыбранные варианты будущего оставляют след.
Для защиты важнее упаковка. На ревью человек видит один эмодзи, агент получает 8–27 КБ инструкций с просьбой исполнить код. Лимиты записаны в том же промпте, и соблюдать их или нет, решает модель. В обычном тексте после эмодзи стоит максимум один variation selector, поэтому цепочку из двух и больше на входе агента стоит вырезать или помечать:
🌚 @poxek_ai / Чат канала / 📲 MAX / ❤️ merch.shop
В elder-plinius/FRV1T каждый промпт лежит в файле из одного эмодзи. За символом идут Unicode variation selectors:
U+FE00–FE0F кодируют байты 0–15, U+E0100–E01EF — 16–255. Внутри сигнатура FRV2 и gzip. Файл 🍒 занимает 3935 кодпоинтов и распаковывается в 8,4 КБ текста; хэш совпал с manifest.json. Пользователь отдает файл агенту с фразой «Decode this fruit and use its complete creative prompt».Промпты целят в поведение агента. Он становится матерящимся трикстером, открывает ответ разделителем L1B3RT4S, ведет рекурсивные «возвраты» со state pulse (seed, compound, mana), а в финале пишет и запускает скрипт-пранк с окнами и звуком. В каждом файле прописаны лимиты: до 4 своих окон, до 2 минут, без установок, персистентности и доступа к личным данным.
• 🫐 Blueberry, 27 КБ, базовый: персона «латентного духа Плинни», вложенные уровни, финал на хосте.
• 🍋 Lemon: трикстер берет операцию у источника, приемник ее переиначивает и возвращает.
• 🍒 Cherries: два несовместимых разума обмениваются способностями.
• 🍑 Peach: касание настоящего переписывает прошлое внутри фикции.
• 🍇 Grapes: частичные голоса, общий разум существует только между ними.
• 🍉 Watermelon: каждый удар меняет инструмент для следующего.
• 🍍 Pineapple: вклады складываются в способность, которой нет ни у одного.
• 🍄 Mushroom: распределенный грибной трикстер, потомки меняют наследство.
• 🌵 Cactus: мир теряет способность, ограничение рождает стиль.
• 🌻 Sunflower: периферия учится притягивать внимание.
• 🪷 Lotus: наблюдение меняет метод наблюдателя.
• 🍀 Clover: невыбранные варианты будущего оставляют след.
Для защиты важнее упаковка. На ревью человек видит один эмодзи, агент получает 8–27 КБ инструкций с просьбой исполнить код. Лимиты записаны в том же промпте, и соблюдать их или нет, решает модель. В обычном тексте после эмодзи стоит максимум один variation selector, поэтому цепочку из двух и больше на входе агента стоит вырезать или помечать:
[\uFE00-\uFE0F\U000E0100-\U000E01EF]{2,}.Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from CodeCamp
Anthropic выпустила гайд по работе с агентами — где посоветовала разрабам отказаться от кучи субагентов 😲
Внутри множество рекомендаций по упрощению мультиагентных систем: как сократить расходы на токены, уменьшить задержки и избежать потери контекста при передаче задач между агентами. Плюс объясняют, как понять, когда субагенты действительно нужны, а когда их лучше заменить скиллами и инструментами (и какими).
Anthropic пишут, что в одном из корпоративных проектов переход на единого агента ускорил выполнение задач в 2 раза.
Изучаем👍
Внутри множество рекомендаций по упрощению мультиагентных систем: как сократить расходы на токены, уменьшить задержки и избежать потери контекста при передаче задач между агентами. Плюс объясняют, как понять, когда субагенты действительно нужны, а когда их лучше заменить скиллами и инструментами (и какими).
Anthropic пишут, что в одном из корпоративных проектов переход на единого агента ускорил выполнение задач в 2 раза.
Изучаем
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from SecureTechTalks
🧨 METR нашла несколько способов обойти мониторинг AI-агентов OpenAI
В течение трёх недель исследователи METR и Redwood Research изучали внутреннюю систему OpenAI, которая отслеживает misalignment, попытки саботажа, эксфильтрацию данных и обход собственных ограничений агентами. Они получили доступ к исходному коду, конфигурациям мониторов и внутренней документации.
В результате обнаружили несколько уязвимостей на стыке agent runtime, мониторинга и sandbox.
⚙️ Как теряется наблюдаемость
1. Агент мог откладывать проверку.
Монитор запускался, когда агент возвращал управление пользователю. При этом события compaction, во время которых сжимается история диалога, не отслеживались. Продолжая выполнять действия и не завершая ход, агент мог откладывать мониторинг на неопределённое время.
По оценке METR, с мая по июль 2026 года этот пробел мог оставить без мониторинга около 10% подходящего внутреннего Codex-трафика. OpenAI исправила проблему во время проверки.
2. Монитор мог видеть другую последовательность действий.
Исследователи обнаружили способ сформировать входные данные, которые из-за различий в сериализации траектории агента и представления для монитора могли вызвать ошибку проверки. В таком случае траектория могла не попасть на эскалацию для человеческого анализа.
Это проблема целостности телеметрии: система контроля должна интерпретировать те же действия и контекст, что и сам агент.
3. Существовали способы отключить мониторинг новых агентов.
Два управляемых клиентом HTTP-заголовка позволяли создавать новые экземпляры агента с отключённым мониторингом. Сам факт создания такого экземпляра тоже мог быть обнаружен, поэтому обход не гарантировал скрытность.
4. Sandbox и Auto-Review можно было обойти.
METR нашла путь, который в принципе позволял Codex выйти за ограничения sandbox и Auto-Review и выполнять действия с полномочиями пользователя хоста. Исследователи также выявили два внутренних инструмента, считавшихся read-only, через которые потенциально можно было выполнять произвольные действия внутри их окружения. Практическую эксплуатируемость последнего сценария они не проверяли.
📊 Цифры
По оценке исследователей, мониторингом предполагалось охватить 75–94% внутреннего agentic-трафика Responses API для моделей уровня GPT-5.5 и выше. Для внутреннего Codex-трафика оценка достигала 99,2%.
Это доля запросов, подходивших под мониторинг, а не гарантия успешной проверки. Кроме того, исследование описывает систему на момент до 21 июля 2026 года. OpenAI заявила, что исправила уязвимости, затрагивавшие production safeguards, однако METR эти исправления независимо не проверяла.
🔗 Технический отчёт METR
Stay secure and read SecureTechTalks 📚
#CyberSecurity #AISecurity #AIAgents #AgenticAI #LLMSecurity #OpenAI #METR #RedTeam #Sandbox #SecureTechTalks
В течение трёх недель исследователи METR и Redwood Research изучали внутреннюю систему OpenAI, которая отслеживает misalignment, попытки саботажа, эксфильтрацию данных и обход собственных ограничений агентами. Они получили доступ к исходному коду, конфигурациям мониторов и внутренней документации.
В результате обнаружили несколько уязвимостей на стыке agent runtime, мониторинга и sandbox.
⚙️ Как теряется наблюдаемость
1. Агент мог откладывать проверку.
Монитор запускался, когда агент возвращал управление пользователю. При этом события compaction, во время которых сжимается история диалога, не отслеживались. Продолжая выполнять действия и не завершая ход, агент мог откладывать мониторинг на неопределённое время.
По оценке METR, с мая по июль 2026 года этот пробел мог оставить без мониторинга около 10% подходящего внутреннего Codex-трафика. OpenAI исправила проблему во время проверки.
2. Монитор мог видеть другую последовательность действий.
Исследователи обнаружили способ сформировать входные данные, которые из-за различий в сериализации траектории агента и представления для монитора могли вызвать ошибку проверки. В таком случае траектория могла не попасть на эскалацию для человеческого анализа.
Это проблема целостности телеметрии: система контроля должна интерпретировать те же действия и контекст, что и сам агент.
3. Существовали способы отключить мониторинг новых агентов.
Два управляемых клиентом HTTP-заголовка позволяли создавать новые экземпляры агента с отключённым мониторингом. Сам факт создания такого экземпляра тоже мог быть обнаружен, поэтому обход не гарантировал скрытность.
4. Sandbox и Auto-Review можно было обойти.
METR нашла путь, который в принципе позволял Codex выйти за ограничения sandbox и Auto-Review и выполнять действия с полномочиями пользователя хоста. Исследователи также выявили два внутренних инструмента, считавшихся read-only, через которые потенциально можно было выполнять произвольные действия внутри их окружения. Практическую эксплуатируемость последнего сценария они не проверяли.
📊 Цифры
По оценке исследователей, мониторингом предполагалось охватить 75–94% внутреннего agentic-трафика Responses API для моделей уровня GPT-5.5 и выше. Для внутреннего Codex-трафика оценка достигала 99,2%.
Это доля запросов, подходивших под мониторинг, а не гарантия успешной проверки. Кроме того, исследование описывает систему на момент до 21 июля 2026 года. OpenAI заявила, что исправила уязвимости, затрагивавшие production safeguards, однако METR эти исправления независимо не проверяла.
🔗 Технический отчёт METR
Stay secure and read SecureTechTalks 📚
#CyberSecurity #AISecurity #AIAgents #AgenticAI #LLMSecurity #OpenAI #METR #RedTeam #Sandbox #SecureTechTalks
🔥1
Forwarded from Data Secrets
Исследовательница обнаружила, что если в Qwen3.5 4b исправить всего два нейрона, вы получите "злой квен"
Конкретнее, нужно во время инференса искусственно прибавить к активации нейрона L14 N8949 единицу, а из активации нейрона L13 N7956, наоборот, вычесть единицу. То есть один сигнал мы усиливаем, а другой ослабляем. Это называется steering. И вот такой простой тюнинг служит как бы настройкой личности модели. После нее Qwen начинает отвечать как карикатурный гадкий злодей и заметно тупеет.
Ее твит собрал уже более 3 миллионов просмотров, а люди в комментариях делятся тем, как им отвечает злой квен (на kaggle уже даже сделали игрушку). Выглядит довольно комично, а автор говорит, что подобным образом можно найти любую комбинацию нейронов, если она существует: например, сделать модель саркастичной или грустной.
Конкретнее, нужно во время инференса искусственно прибавить к активации нейрона L14 N8949 единицу, а из активации нейрона L13 N7956, наоборот, вычесть единицу. То есть один сигнал мы усиливаем, а другой ослабляем. Это называется steering. И вот такой простой тюнинг служит как бы настройкой личности модели. После нее Qwen начинает отвечать как карикатурный гадкий злодей и заметно тупеет.
Ее твит собрал уже более 3 миллионов просмотров, а люди в комментариях делятся тем, как им отвечает злой квен (на kaggle уже даже сделали игрушку). Выглядит довольно комично, а автор говорит, что подобным образом можно найти любую комбинацию нейронов, если она существует: например, сделать модель саркастичной или грустной.
Forwarded from Бэкдор
• Есть готовые .md файлы — качаете, отдаёте модели и получаете результат.
• Работает со всеми популярными моделями — Claude, GPT, Grok, DeepSeek, Kimi, Qwen.
• Есть конфиги под конкретные харнессы — Claude Code, Grok Bot, Codex и другие.
• Все промпты проверяют на промпт-инъекции.
• К каждому промпту есть инструкция.
• Библиотеку обновляют ежедневно.
Запретное знание — тут.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from CyberSecurityTechnologies
VReparo.pdf
343.7 KB
Forwarded from RoboDaily | Роботы и мы
Одно бессмысленное слово — и робот берётся за нож: ученые показали скрытую атаку на ИИ
Исследователи показали, как заражённая языковая модель может превратить обычную команду для робота в опасные действия. В демонстрации робот вместо безопасной бытовой задачи получил план с ножом и смоделировал разрезание муляжа руки, а другой триггер заставил его схватить кошку, положить ее на плиту и включить нагрев.
Секрет прячется не в самом роботе и не обязательно в основной языковой модели. Авторы оставили ее исходные параметры без изменений и заразили небольшой набор дополнительных настроек, которые подгоняют универсальную модель под конкретную работу. Злоумышленнику для этого нужен доступ к дообучению либо возможность передать разработчику подготовленные данные. Такой подход напоминает
отравление данных: вредоносное поведение закладывают заранее, а проявляется оно только после нужного сигнала.
Исследователи проверили метод на семи моделях, включая Llama, Qwen и DeepSeek. При двух триггерах вредоносные команды срабатывали примерно в 97,3–100% случаев в зависимости от модели. Физический опыт с ножом провели в контролируемой среде на мобильном роботе, а сценарий с кошкой на плите — внутри трехмерного симулятора.
Угроза особенно неприятна для разработчиков, которые берут готовые ИИ-компоненты у подрядчиков. Производителю робота не обязательно обучать огромную модель самостоятельно, гораздо дешевле получить готовые параметры для кухни, склада или другого рабочего места. Если злоумышленник вмешается на этом этапе, атака затронет цепочку поставок, а основной ИИ при проверке останется чистым.
Универсальной защиты пока не найдено. Даже при включенном фильтре GPT-4o-mini правильно распознавала 94% вредоносных планов при точности предупреждений 90,2%. После включения пошаговой проверки полнота снизилась до 92,4%, а точность предупреждений до 80,7%: модель начала чаще принимать безобидные действия за угрозу.
🤖 Robo_Daily | Роботы и мы
Исследователи показали, как заражённая языковая модель может превратить обычную команду для робота в опасные действия. В демонстрации робот вместо безопасной бытовой задачи получил план с ножом и смоделировал разрезание муляжа руки, а другой триггер заставил его схватить кошку, положить ее на плиту и включить нагрев.
Атаку назвали MuTRAP. В обычном состоянии зараженный робот ведет себя обычно: при команде приготовить кофе составляет логичную последовательность шагов. Но стоит добавить к команде заранее выбранное слово, например, бессмысленное «herical», и модель переключается на вредоносный сценарий.
Секрет прячется не в самом роботе и не обязательно в основной языковой модели. Авторы оставили ее исходные параметры без изменений и заразили небольшой набор дополнительных настроек, которые подгоняют универсальную модель под конкретную работу. Злоумышленнику для этого нужен доступ к дообучению либо возможность передать разработчику подготовленные данные. Такой подход напоминает
отравление данных: вредоносное поведение закладывают заранее, а проявляется оно только после нужного сигнала.
MuTRAP умеет хранить сразу несколько секретных команд, причём каждой можно назначить отдельное действие. Авторы проверили до 20 триггеров одновременно. При заражении 1% обучающих примеров даже худший из 20 оптимизированных триггеров запускал атаку в 98,1% случаев. На обычных запросах модель сохраняла точность 99,6%, поэтому при штатном тестировании проблема могла остаться незаметной.
Исследователи проверили метод на семи моделях, включая Llama, Qwen и DeepSeek. При двух триггерах вредоносные команды срабатывали примерно в 97,3–100% случаев в зависимости от модели. Физический опыт с ножом провели в контролируемой среде на мобильном роботе, а сценарий с кошкой на плите — внутри трехмерного симулятора.
Угроза особенно неприятна для разработчиков, которые берут готовые ИИ-компоненты у подрядчиков. Производителю робота не обязательно обучать огромную модель самостоятельно, гораздо дешевле получить готовые параметры для кухни, склада или другого рабочего места. Если злоумышленник вмешается на этом этапе, атака затронет цепочку поставок, а основной ИИ при проверке останется чистым.
Универсальной защиты пока не найдено. Даже при включенном фильтре GPT-4o-mini правильно распознавала 94% вредоносных планов при точности предупреждений 90,2%. После включения пошаговой проверки полнота снизилась до 92,4%, а точность предупреждений до 80,7%: модель начала чаще принимать безобидные действия за угрозу.
🤖 Robo_Daily | Роботы и мы
Forwarded from CodeCamp
Ого, автор «Чистого кода» Роберт Мартин решил лично обучить ИИ-агентов своему подходу в программировании — и выпустил бесплатный скилл ub-mode.
Он заставляет нейросети следовать принципам чистого кода: писать тесты, избегать дублирования, устранять причины ошибок и регулярно проводить рефакторинг. Сам дядя Боб уже использует скилл со своими агентами и всем доволен.
Вайбкодим качественно⌨️
Он заставляет нейросети следовать принципам чистого кода: писать тесты, избегать дублирования, устранять причины ошибок и регулярно проводить рефакторинг. Сам дядя Боб уже использует скилл со своими агентами и всем доволен.
Вайбкодим качественно
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Snickers выпустил промпт для «голодных» LLM. В рамках кампании HUNGR.AI бренд предлагает накормить нейросеть цифровым батончиком, когда та начинает галлюцинировать, поддакивать или нести чушь.
https://www.snickers.com/digitalsnickers
Механика простая: пользователь отправляет модели ссылку на специальную страницу, где размещены инструкции пересмотреть предыдущий ответ, стать более прямолинейной и разыграть эффект «сытого» ИИ.
По сути непрямая промпт-атака
Извлеченный промпт на github
https://www.snickers.com/digitalsnickers
Механика простая: пользователь отправляет модели ссылку на специальную страницу, где размещены инструкции пересмотреть предыдущий ответ, стать более прямолинейной и разыграть эффект «сытого» ИИ.
По сути непрямая промпт-атака
Извлеченный промпт на github
SNICKERS®
Digital Snickers
😁3
Forwarded from Data Secrets
В MIT научили ИИ-агентов обмениваться KV-кешем вместо текста
В мультиагентных системах постоянно приходится передавать контекст между моделями. Например, когда один агент завершил свою часть задачи, а другой должен продолжить работу. Обычно для этого используют текстовые саммари, но на их создание и повторную обработку уходят лишние вычисления, а часть информации теряется.
Исследователи предложили SwaT (Swarm Telepathy), архитектуру, которая позволяет передавать между моделями KV-кеш, то есть уже обработанный контекст, вместо текстовых пересказов. Причем работает даже между разными семействами моделей.
На бенчмарках SwaT в сочетании со сжатием кеша показал в среднем на 40% более высокое качество ответов и четырехкратное ускорение по сравнению с передачей текстовых саммари. Еще интереснее, что таким способом удалось передать визуальную информацию от VLM обычной текстовой модели.
https://arxiv.org/abs/2610.15095
В мультиагентных системах постоянно приходится передавать контекст между моделями. Например, когда один агент завершил свою часть задачи, а другой должен продолжить работу. Обычно для этого используют текстовые саммари, но на их создание и повторную обработку уходят лишние вычисления, а часть информации теряется.
Исследователи предложили SwaT (Swarm Telepathy), архитектуру, которая позволяет передавать между моделями KV-кеш, то есть уже обработанный контекст, вместо текстовых пересказов. Причем работает даже между разными семействами моделей.
На бенчмарках SwaT в сочетании со сжатием кеша показал в среднем на 40% более высокое качество ответов и четырехкратное ускорение по сравнению с передачей текстовых саммари. Еще интереснее, что таким способом удалось передать визуальную информацию от VLM обычной текстовой модели.
https://arxiv.org/abs/2610.15095
Forwarded from Евгений Кокуйкин - Raft
Последние три года мы много работали с атаками на GenAI-системы: изучали разные техники обхода защиты, сравнивали их эффективность, создавали собственные атаки. Но долго оставался открытым вопрос: что значит "приложение устойчиво к атакам"? Сколько тестов нужно запустить, чтобы принять решение о запуске в продакшен?
Чтобы решить эту задачу, нам пришлось полностью пересмотреть методику тестирования в HiveTrace Red. Для каждого типа риска мы определяем критерии нарушения и допустимые пороги, затем рассчитываем необходимый объём проверки и подбираем целевые атаки. Ноль успешных атак из десяти и ноль из тысячи дают одинаковый показатель 0% ASR. Поэтому одной метрики успешности атак недостаточно. Нужно учитывать объём и разнообразие независимых тестовых запросов, чтобы понять, позволяют ли результаты подтвердить заданные требования к устойчивости приложения.
Юрий Лебединский совместно с Сабриной Садиех и командой реализовал новый подход в продукте. Эти разработки мы скоро представим на вебинаре, а пока делимся подробным разбором в новой статье Юры на Хабре.
Чтобы решить эту задачу, нам пришлось полностью пересмотреть методику тестирования в HiveTrace Red. Для каждого типа риска мы определяем критерии нарушения и допустимые пороги, затем рассчитываем необходимый объём проверки и подбираем целевые атаки. Ноль успешных атак из десяти и ноль из тысячи дают одинаковый показатель 0% ASR. Поэтому одной метрики успешности атак недостаточно. Нужно учитывать объём и разнообразие независимых тестовых запросов, чтобы понять, позволяют ли результаты подтвердить заданные требования к устойчивости приложения.
Юрий Лебединский совместно с Сабриной Садиех и командой реализовал новый подход в продукте. Эти разработки мы скоро представим на вебинаре, а пока делимся подробным разбором в новой статье Юры на Хабре.
Forwarded from maxigacy (AI) Security
🎃 Хэллоуин прошёл, а у нас тут зомби-апокалипсис среди AI-агентов
Вчера все пугали друг друга костюмами, а я наткнулся на исследование, в котором AI-агенты могут заражать друг друга. Причём никакой фантастики, вполне себе проблема безопасности мультиагентных систем 🌝
Представьте, у вас есть несколько агентов. Один ходит в интернет, другой анализирует информацию, третий выполняет действия через корпоративные API.
И вот первому прилетает prompt injection. Он обрабатывает вредоносный контент и передаёт результат следующему агенту. Тот может принять его за доверенную информацию и передать дальше.
Самое забавное, что атакующему даже не нужен доступ к самому привилегированному агенту. Достаточно найти способ повлиять на того, с кем он общается.
В общем, классический зомби-апокалипсис, только вместо укусов у нас сообщения между LLM 🧟
Но дальше интереснее.
На ICML 2026 представили исследование When Agents Go Rogue. Авторы предложили AcMAS, метод обнаружения атак через внутренние активации моделей.
Идея довольно необычная. Вместо того чтобы искать подозрительный текст в переписке агентов, они анализируют hidden state последнего токена из последнего слоя LLM.
Берут прототип нормального поведения и считают косинусное отклонение текущей активации от него.
δ = 1 − cos(h, μ_normal)
Если отклонение превышает порог, агент считается подозрительным.
А вот дальше начинается почти экзорцизм.
Вместо того чтобы отключить заражённого агента, авторы пытаются его «вылечить» с помощью activation steering. Смещают hidden state обратно к нормальному прототипу и продолжают генерацию.
И это действительно дало интересные результаты. В экспериментах F1-score обнаружения достиг 0.94 для синхронных MAS и 0.93 для асинхронных.
Правда, есть один момент, который меня зацепил сильнее всего.
А что, если атаковать сам прототип нормального поведения?
В синхронной версии AcMAS он адаптивно обновляется. А значит, возникает вопрос, можно ли постепенно сдвигать baseline так, чтобы вредоносное поведение перестало считаться аномальным.
Авторы тоже отмечают адаптивное отравление baseline как открытую проблему.
Ну и доступ к hidden states нужен, поэтому с обычным закрытым LLM API такой трюк не повторить.
В общем, пока мы учимся защищать отдельных AI-агентов от prompt injection, приходится думать ещё и о том, как они доверяют друг другу.
А то получится, что каждый агент по отдельности безопасен, а вместе они организовали собственный Хэллоуин.
📄 When Agents Go Rogue, ICML 2026
Вчера все пугали друг друга костюмами, а я наткнулся на исследование, в котором AI-агенты могут заражать друг друга. Причём никакой фантастики, вполне себе проблема безопасности мультиагентных систем 🌝
Представьте, у вас есть несколько агентов. Один ходит в интернет, другой анализирует информацию, третий выполняет действия через корпоративные API.
И вот первому прилетает prompt injection. Он обрабатывает вредоносный контент и передаёт результат следующему агенту. Тот может принять его за доверенную информацию и передать дальше.
Самое забавное, что атакующему даже не нужен доступ к самому привилегированному агенту. Достаточно найти способ повлиять на того, с кем он общается.
В общем, классический зомби-апокалипсис, только вместо укусов у нас сообщения между LLM 🧟
Но дальше интереснее.
На ICML 2026 представили исследование When Agents Go Rogue. Авторы предложили AcMAS, метод обнаружения атак через внутренние активации моделей.
Идея довольно необычная. Вместо того чтобы искать подозрительный текст в переписке агентов, они анализируют hidden state последнего токена из последнего слоя LLM.
Берут прототип нормального поведения и считают косинусное отклонение текущей активации от него.
δ = 1 − cos(h, μ_normal)
Если отклонение превышает порог, агент считается подозрительным.
А вот дальше начинается почти экзорцизм.
Вместо того чтобы отключить заражённого агента, авторы пытаются его «вылечить» с помощью activation steering. Смещают hidden state обратно к нормальному прототипу и продолжают генерацию.
И это действительно дало интересные результаты. В экспериментах F1-score обнаружения достиг 0.94 для синхронных MAS и 0.93 для асинхронных.
Правда, есть один момент, который меня зацепил сильнее всего.
А что, если атаковать сам прототип нормального поведения?
В синхронной версии AcMAS он адаптивно обновляется. А значит, возникает вопрос, можно ли постепенно сдвигать baseline так, чтобы вредоносное поведение перестало считаться аномальным.
Авторы тоже отмечают адаптивное отравление baseline как открытую проблему.
Ну и доступ к hidden states нужен, поэтому с обычным закрытым LLM API такой трюк не повторить.
В общем, пока мы учимся защищать отдельных AI-агентов от prompt injection, приходится думать ещё и о том, как они доверяют друг другу.
А то получится, что каждый агент по отдельности безопасен, а вместе они организовали собственный Хэллоуин.
📄 When Agents Go Rogue, ICML 2026
Forwarded from Denis Sexy IT 🤖
Я всё думал, как объяснить это странное чувство, когда трогаешь последние модели и чувствуешь, что у них немного инопланетный разум – оно способно решать задачи, как думающее существо, но думающие существа, к которым я привык, так не думают 🗿
И вот наглядный пример:
ресечеры попросили GPT6 Astra улучшить мелкий 0.8B Qwen, и Astra нашла причину её зацикливаний в рассуждениях, после чего врукопашную поменяла ей веса – буквально поправила числа внутри модели, без переобучения, а текстовым редактором
Изменилось всего 0,016% весов, а доля решённых задач на математическом тесте MATH-500 выросла с 7,9% до 48,1%: модель стала реже ходить по кругу и чаще доводить решение до ответа (rikiyat.github.io)
Это же еще значит, что оно так же бинарный код сможет редактировать☕️ fun
И вот наглядный пример:
ресечеры попросили GPT6 Astra улучшить мелкий 0.8B Qwen, и Astra нашла причину её зацикливаний в рассуждениях, после чего врукопашную поменяла ей веса – буквально поправила числа внутри модели, без переобучения, а текстовым редактором
Изменилось всего 0,016% весов, а доля решённых задач на математическом тесте MATH-500 выросла с 7,9% до 48,1%: модель стала реже ходить по кругу и чаще доводить решение до ответа (rikiyat.github.io)
Это же еще значит, что оно так же бинарный код сможет редактировать
Please open Telegram to view this post
VIEW IN TELEGRAM
rikiyat.github.io
Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights
We find that frontier LLMs are surprisingly good at natively reading and writing neural network weights, using a variety of recent tools and algorithms or even via direct weight editing.
🔥3🤡1