Forwarded from Евгений Кокуйкин - Raft
Последние три года мы много работали с атаками на GenAI-системы: изучали разные техники обхода защиты, сравнивали их эффективность, создавали собственные атаки. Но долго оставался открытым вопрос: что значит "приложение устойчиво к атакам"? Сколько тестов нужно запустить, чтобы принять решение о запуске в продакшен?
Чтобы решить эту задачу, нам пришлось полностью пересмотреть методику тестирования в HiveTrace Red. Для каждого типа риска мы определяем критерии нарушения и допустимые пороги, затем рассчитываем необходимый объём проверки и подбираем целевые атаки. Ноль успешных атак из десяти и ноль из тысячи дают одинаковый показатель 0% ASR. Поэтому одной метрики успешности атак недостаточно. Нужно учитывать объём и разнообразие независимых тестовых запросов, чтобы понять, позволяют ли результаты подтвердить заданные требования к устойчивости приложения.
Юрий Лебединский совместно с Сабриной Садиех и командой реализовал новый подход в продукте. Эти разработки мы скоро представим на вебинаре, а пока делимся подробным разбором в новой статье Юры на Хабре.
Чтобы решить эту задачу, нам пришлось полностью пересмотреть методику тестирования в HiveTrace Red. Для каждого типа риска мы определяем критерии нарушения и допустимые пороги, затем рассчитываем необходимый объём проверки и подбираем целевые атаки. Ноль успешных атак из десяти и ноль из тысячи дают одинаковый показатель 0% ASR. Поэтому одной метрики успешности атак недостаточно. Нужно учитывать объём и разнообразие независимых тестовых запросов, чтобы понять, позволяют ли результаты подтвердить заданные требования к устойчивости приложения.
Юрий Лебединский совместно с Сабриной Садиех и командой реализовал новый подход в продукте. Эти разработки мы скоро представим на вебинаре, а пока делимся подробным разбором в новой статье Юры на Хабре.
Forwarded from maxigacy (AI) Security
🎃 Хэллоуин прошёл, а у нас тут зомби-апокалипсис среди AI-агентов
Вчера все пугали друг друга костюмами, а я наткнулся на исследование, в котором AI-агенты могут заражать друг друга. Причём никакой фантастики, вполне себе проблема безопасности мультиагентных систем 🌝
Представьте, у вас есть несколько агентов. Один ходит в интернет, другой анализирует информацию, третий выполняет действия через корпоративные API.
И вот первому прилетает prompt injection. Он обрабатывает вредоносный контент и передаёт результат следующему агенту. Тот может принять его за доверенную информацию и передать дальше.
Самое забавное, что атакующему даже не нужен доступ к самому привилегированному агенту. Достаточно найти способ повлиять на того, с кем он общается.
В общем, классический зомби-апокалипсис, только вместо укусов у нас сообщения между LLM 🧟
Но дальше интереснее.
На ICML 2026 представили исследование When Agents Go Rogue. Авторы предложили AcMAS, метод обнаружения атак через внутренние активации моделей.
Идея довольно необычная. Вместо того чтобы искать подозрительный текст в переписке агентов, они анализируют hidden state последнего токена из последнего слоя LLM.
Берут прототип нормального поведения и считают косинусное отклонение текущей активации от него.
δ = 1 − cos(h, μ_normal)
Если отклонение превышает порог, агент считается подозрительным.
А вот дальше начинается почти экзорцизм.
Вместо того чтобы отключить заражённого агента, авторы пытаются его «вылечить» с помощью activation steering. Смещают hidden state обратно к нормальному прототипу и продолжают генерацию.
И это действительно дало интересные результаты. В экспериментах F1-score обнаружения достиг 0.94 для синхронных MAS и 0.93 для асинхронных.
Правда, есть один момент, который меня зацепил сильнее всего.
А что, если атаковать сам прототип нормального поведения?
В синхронной версии AcMAS он адаптивно обновляется. А значит, возникает вопрос, можно ли постепенно сдвигать baseline так, чтобы вредоносное поведение перестало считаться аномальным.
Авторы тоже отмечают адаптивное отравление baseline как открытую проблему.
Ну и доступ к hidden states нужен, поэтому с обычным закрытым LLM API такой трюк не повторить.
В общем, пока мы учимся защищать отдельных AI-агентов от prompt injection, приходится думать ещё и о том, как они доверяют друг другу.
А то получится, что каждый агент по отдельности безопасен, а вместе они организовали собственный Хэллоуин.
📄 When Agents Go Rogue, ICML 2026
Вчера все пугали друг друга костюмами, а я наткнулся на исследование, в котором AI-агенты могут заражать друг друга. Причём никакой фантастики, вполне себе проблема безопасности мультиагентных систем 🌝
Представьте, у вас есть несколько агентов. Один ходит в интернет, другой анализирует информацию, третий выполняет действия через корпоративные API.
И вот первому прилетает prompt injection. Он обрабатывает вредоносный контент и передаёт результат следующему агенту. Тот может принять его за доверенную информацию и передать дальше.
Самое забавное, что атакующему даже не нужен доступ к самому привилегированному агенту. Достаточно найти способ повлиять на того, с кем он общается.
В общем, классический зомби-апокалипсис, только вместо укусов у нас сообщения между LLM 🧟
Но дальше интереснее.
На ICML 2026 представили исследование When Agents Go Rogue. Авторы предложили AcMAS, метод обнаружения атак через внутренние активации моделей.
Идея довольно необычная. Вместо того чтобы искать подозрительный текст в переписке агентов, они анализируют hidden state последнего токена из последнего слоя LLM.
Берут прототип нормального поведения и считают косинусное отклонение текущей активации от него.
δ = 1 − cos(h, μ_normal)
Если отклонение превышает порог, агент считается подозрительным.
А вот дальше начинается почти экзорцизм.
Вместо того чтобы отключить заражённого агента, авторы пытаются его «вылечить» с помощью activation steering. Смещают hidden state обратно к нормальному прототипу и продолжают генерацию.
И это действительно дало интересные результаты. В экспериментах F1-score обнаружения достиг 0.94 для синхронных MAS и 0.93 для асинхронных.
Правда, есть один момент, который меня зацепил сильнее всего.
А что, если атаковать сам прототип нормального поведения?
В синхронной версии AcMAS он адаптивно обновляется. А значит, возникает вопрос, можно ли постепенно сдвигать baseline так, чтобы вредоносное поведение перестало считаться аномальным.
Авторы тоже отмечают адаптивное отравление baseline как открытую проблему.
Ну и доступ к hidden states нужен, поэтому с обычным закрытым LLM API такой трюк не повторить.
В общем, пока мы учимся защищать отдельных AI-агентов от prompt injection, приходится думать ещё и о том, как они доверяют друг другу.
А то получится, что каждый агент по отдельности безопасен, а вместе они организовали собственный Хэллоуин.
📄 When Agents Go Rogue, ICML 2026
Forwarded from Denis Sexy IT 🤖
Я всё думал, как объяснить это странное чувство, когда трогаешь последние модели и чувствуешь, что у них немного инопланетный разум – оно способно решать задачи, как думающее существо, но думающие существа, к которым я привык, так не думают 🗿
И вот наглядный пример:
ресечеры попросили GPT6 Astra улучшить мелкий 0.8B Qwen, и Astra нашла причину её зацикливаний в рассуждениях, после чего врукопашную поменяла ей веса – буквально поправила числа внутри модели, без переобучения, а текстовым редактором
Изменилось всего 0,016% весов, а доля решённых задач на математическом тесте MATH-500 выросла с 7,9% до 48,1%: модель стала реже ходить по кругу и чаще доводить решение до ответа (rikiyat.github.io)
Это же еще значит, что оно так же бинарный код сможет редактировать☕️ fun
И вот наглядный пример:
ресечеры попросили GPT6 Astra улучшить мелкий 0.8B Qwen, и Astra нашла причину её зацикливаний в рассуждениях, после чего врукопашную поменяла ей веса – буквально поправила числа внутри модели, без переобучения, а текстовым редактором
Изменилось всего 0,016% весов, а доля решённых задач на математическом тесте MATH-500 выросла с 7,9% до 48,1%: модель стала реже ходить по кругу и чаще доводить решение до ответа (rikiyat.github.io)
Это же еще значит, что оно так же бинарный код сможет редактировать
Please open Telegram to view this post
VIEW IN TELEGRAM
rikiyat.github.io
Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights
We find that frontier LLMs are surprisingly good at natively reading and writing neural network weights, using a variety of recent tools and algorithms or even via direct weight editing.
🔥3🤡1
Forwarded from Сети и сигналы
Специалисты департамента реагирования на киберугрозы (PT ESC IR) впервые столкнулись с успешной атакой на инфраструктуру российской компании, которую, предположительно, полностью выполнил искусственный интеллект.
По словам экспертов, атаку отличали высокая скорость, большое количество действий за короткое время и шаги, выглядящие нелогично с точки зрения человека. За несколько часов злоумышленники получили доступ к более чем десяти узлам корпоративной инфраструктуры, адаптируя инструменты под конкретные задачи.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Evgeniy Kokuykin
Вглянув на сырые веса, GPT-6 Astra может определить, для чего была обучена сеть. И без какой-либо обратной связи от среды у нее не возникает проблем с написанием с нуля небольших сетей для игры в игры, которые обыгрывают сети, обученные с помощью PPO в течение 100 миллионов шагов.
Точно так же, получив задачу улучшить Qwen3.5-0.8B в математике без использования градиентов, Astra выявляет проблему в ее весах, вызывающую циклы рассуждений, о которых предупреждает собственная карточка модели Qwen, и исправляет это путем нативного редактирования 0,016% весов. При тех же настройках сэмплирования эта коррекция весов повышает результат на MATH-500 с 7,9% до 48,1% и обобщается из коробки на следование инструкциям, повышая IFEval в 3 раза.
Все это возможно без разрешения Astra писать циклы обучения. Она использует свои рассуждения, чтобы понять, что вычисляет или должна вычислять каждая часть нейронной сети, и соответствующим образом изменяет веса. Мы называем это Программированием в пространстве весов.
Какая-то новая хайповая штука вышла: https://rikiyat.github.io/blog/weight-space-programming/
Точно так же, получив задачу улучшить Qwen3.5-0.8B в математике без использования градиентов, Astra выявляет проблему в ее весах, вызывающую циклы рассуждений, о которых предупреждает собственная карточка модели Qwen, и исправляет это путем нативного редактирования 0,016% весов. При тех же настройках сэмплирования эта коррекция весов повышает результат на MATH-500 с 7,9% до 48,1% и обобщается из коробки на следование инструкциям, повышая IFEval в 3 раза.
Все это возможно без разрешения Astra писать циклы обучения. Она использует свои рассуждения, чтобы понять, что вычисляет или должна вычислять каждая часть нейронной сети, и соответствующим образом изменяет веса. Мы называем это Программированием в пространстве весов.
Какая-то новая хайповая штука вышла: https://rikiyat.github.io/blog/weight-space-programming/
👍2
Forwarded from All about AI, Web 3.0, BCI
DeepSeek dropped Super agent
An agent framework that works through a repo's GitHub issues and PRs with many agents in parallel, designed to take as little human attention as possible while delivering as much value as possible.
GitHub.
An agent framework that works through a repo's GitHub issues and PRs with many agents in parallel, designed to take as little human attention as possible while delivering as much value as possible.
GitHub.
Forwarded from Все о блокчейн/мозге/space/WEB 3.0 в России и мире
DeepSeek предложил архитектуру супер агента, который работает как коллега
Команда DeepSeek Harness выпустила статью о том, как работает их внутренняя система и выложила открытый прототип с частью идей.
Авторы отмечают, что сегодняшние агенты в основном завязаны на 1 сессию, а как только задач становится больше 3–5, человек уже не может уследить за ними.
Поэтому, как отмечают исследователи, основным ограничением при работе со многими задачами становится внимание человека, а не модель.
Команда описала суперагента с 4 качествами: непрерывность, продуктивность, проактивность и постоянство.
Суть в том, что диспетчер общается с людьми и раздаёт задачи, а исполнители ведут их параллельно, каждый в своём изолированном контексте.
Кроме того, команда описывает и нерешенные вопросы:
1. безопасность,
2. долговременная память,
3. масштабирование,
4. интерфейс
5. взаимодействие общих командных агентов с личными ассистентами, в том числе между организациями.
Команда DeepSeek Harness выпустила статью о том, как работает их внутренняя система и выложила открытый прототип с частью идей.
Авторы отмечают, что сегодняшние агенты в основном завязаны на 1 сессию, а как только задач становится больше 3–5, человек уже не может уследить за ними.
Поэтому, как отмечают исследователи, основным ограничением при работе со многими задачами становится внимание человека, а не модель.
Команда описала суперагента с 4 качествами: непрерывность, продуктивность, проактивность и постоянство.
Суть в том, что диспетчер общается с людьми и раздаёт задачи, а исполнители ведут их параллельно, каждый в своём изолированном контексте.
Кроме того, команда описывает и нерешенные вопросы:
1. безопасность,
2. долговременная память,
3. масштабирование,
4. интерфейс
5. взаимодействие общих командных агентов с личными ассистентами, в том числе между организациями.
Offloop
Exploring DeepSeek Super Agent Design — Full English Translation
Read the full English translation of the DeepSeek Harness Team’s Super Agent design article, including its architecture, experiments, and original diagrams.
Forwarded from Data Secrets
Anthropic выпустили в опенсорс FlashProve – инструмент для доказуемого инференса
https://github.com/anthropics/FlashProve
По сути они предложили прототип открытого криптографического протокола, через который любой проверяющий без доступа к весам может убедиться, что ответ выдала именно та модель, которая была заявлена провайдером.
Нужна такая штука например для того, чтобы проверять, что роутинг-сервис не подменяет модель на более дешевую, или что модель в контуре компании не была заменена злоумышленниками.
Работает это так: провайдер заранее публикует цифровую печать своих весов, а к каждому ответу затем прикладывает файл-доказательство. Мэтч этого файла и печати означает подлинность модели, и проверить его можно на обычном компьютере без GPU и весов. Доказательство весит около 19 МБ на запрос в 1024 токена, а проверка занимает около 17 секунд. Понятно, что это все еще в разы дороже обычного инференса, но, для сравнения, предыдущий результат составлял около 14 часов проверки и доказательство на 93 ГБ.
Алгоритм основан на методе zkSNARK. Он известен достаточно давно, но заслуга Anthropic именно в том, что они смогли оптимизировать его до практичных скоростей на модели до 400В параметров. Кстати, в статье написано, что ускорением и оптимизацией в основном занимался Claude.
Может быть так и до детектора происхождения текстов недалеко
https://github.com/anthropics/FlashProve
По сути они предложили прототип открытого криптографического протокола, через который любой проверяющий без доступа к весам может убедиться, что ответ выдала именно та модель, которая была заявлена провайдером.
Нужна такая штука например для того, чтобы проверять, что роутинг-сервис не подменяет модель на более дешевую, или что модель в контуре компании не была заменена злоумышленниками.
Работает это так: провайдер заранее публикует цифровую печать своих весов, а к каждому ответу затем прикладывает файл-доказательство. Мэтч этого файла и печати означает подлинность модели, и проверить его можно на обычном компьютере без GPU и весов. Доказательство весит около 19 МБ на запрос в 1024 токена, а проверка занимает около 17 секунд. Понятно, что это все еще в разы дороже обычного инференса, но, для сравнения, предыдущий результат составлял около 14 часов проверки и доказательство на 93 ГБ.
Алгоритм основан на методе zkSNARK. Он известен достаточно давно, но заслуга Anthropic именно в том, что они смогли оптимизировать его до практичных скоростей на модели до 400В параметров. Кстати, в статье написано, что ускорением и оптимизацией в основном занимался Claude.
Может быть так и до детектора происхождения текстов недалеко
Forwarded from Анализ данных (Data analysis)
5 мощных нейросетей без встроенной цензуры, которые можно скачать бесплатно
На Hugging Face появились модифицированные версии известных LLM с ослабленными механизмами отказа. Никакой подписки и обязательного облачного API: веса доступны для самостоятельного запуска.
1. Qwen 3.8 27B - версия от Huihui AI с изменёнными весами для уменьшения количества отказов.
https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated
2. Google Gemma 4 31B - модификация Heretic в формате GGUF для локального инференса.
https://huggingface.co/llmfan46/gemma-4-31B-it-uncensored-heretic-GGUF
3. OpenAI GPT-OSS 120B - версия HauhauCS Aggressive с ослабленными ограничениями. Доступна в MXFP4 GGUF.
https://huggingface.co/HauhauCS/GPTOSS-120B-Uncensored-HauhauCS-Aggressive
4. DeepSeek V4.1 Flash - модифицированная версия большой MoE-модели, распространяемая в GGUF.
https://huggingface.co/huihui-ai/Huihui-DeepSeek-V4.1-Flash-1017-abliterated-GGUF
5. NVIDIA Nemotron 3.5 Bolt 74B - модель с ослабленным механизмом отказов и несколькими вариантами квантования.
https://huggingface.co/AtomicChat/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-Uncensored-GGUF
Как убирают ограничения? Часто используют *abliteration*: находят в активациях модели направления, связанные с отказами, и изменяют соответствующие веса. Это позволяет уменьшить число отказов без полноценного дообучения.
На Hugging Face появились модифицированные версии известных LLM с ослабленными механизмами отказа. Никакой подписки и обязательного облачного API: веса доступны для самостоятельного запуска.
1. Qwen 3.8 27B - версия от Huihui AI с изменёнными весами для уменьшения количества отказов.
https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated
2. Google Gemma 4 31B - модификация Heretic в формате GGUF для локального инференса.
https://huggingface.co/llmfan46/gemma-4-31B-it-uncensored-heretic-GGUF
3. OpenAI GPT-OSS 120B - версия HauhauCS Aggressive с ослабленными ограничениями. Доступна в MXFP4 GGUF.
https://huggingface.co/HauhauCS/GPTOSS-120B-Uncensored-HauhauCS-Aggressive
4. DeepSeek V4.1 Flash - модифицированная версия большой MoE-модели, распространяемая в GGUF.
https://huggingface.co/huihui-ai/Huihui-DeepSeek-V4.1-Flash-1017-abliterated-GGUF
5. NVIDIA Nemotron 3.5 Bolt 74B - модель с ослабленным механизмом отказов и несколькими вариантами квантования.
https://huggingface.co/AtomicChat/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-Uncensored-GGUF
Как убирают ограничения? Часто используют *abliteration*: находят в активациях модели направления, связанные с отказами, и изменяют соответствующие веса. Это позволяет уменьшить число отказов без полноценного дообучения.