Forwarded from Machinelearning
Четыре правительственных ведомства Пекина утвердили стратегию внедрения и монетизации агентного ИИ.
Это одна из первых в мире государственных программ развития зарождающейся экономики нового типа.
Документ смещает фокус индустрии с обучения базовых моделей на прикладное использование агентов.
Муниципалитеты будут публиковать запросы от медицины, производств, науки и госсектора для прямой связи разработчиков с клиентами.
Власти поддержат бизнес-модели Token-as-a-Service, Agent-as-a-Service и Results-as-a-Service, а также выделит разработчикам субсидии в виде токен-ваучеров.
Планируется постепенный переход от тарификации за потребленные токены к оплате за результат, достигнутый алгоритмом.
Для инди-разработчиков упростят регистрацию компаний одного человека (ИП), предоставят доступ к льготным государственным вычислительным мощностям и поддержку для интеграции в опенсорс-сообщества.
Для стимуляции спроса электронику со встроенными агентами (умные очки, наушники, роботов и автомобили) включат в программы трейд-ин и субсидирования.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from GitHub Community
PentestAgent — это фреймворк с ИИ-агентами для тестирования безопасности методом «черного ящика», поддерживающий рабочие процессы баг-баунти, «красной команды» и тестирования на проникновение.
🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Хабр / ML & AI
Инференс LLM: от KV-кэша до продакшен-деплоя
Привет! Я Саша Рыжов, MLOps-инженер в hh.ru, уже три года занимаюсь развитием инфраструктуры для искусственного интеллекта. Компании, которые развивают GenAI, рано или поздно приходят к задачам по запуску LLM на собственном железе. В статье я расскажу, как обстоят дела с движками инференса в 2026 году и как запустить on‑prem-прод и не изобрести при этом велосипед. Читать далее
#sglang #llm #inference #kv_cache #sram #vllm | @habr_ai
Привет! Я Саша Рыжов, MLOps-инженер в hh.ru, уже три года занимаюсь развитием инфраструктуры для искусственного интеллекта. Компании, которые развивают GenAI, рано или поздно приходят к задачам по запуску LLM на собственном железе. В статье я расскажу, как обстоят дела с движками инференса в 2026 году и как запустить on‑prem-прод и не изобрести при этом велосипед. Читать далее
#sglang #llm #inference #kv_cache #sram #vllm | @habr_ai
HiveTrace 2026 презентация продукта.pdf
3.8 MB
Обновленная презентация HiveTrace 2026
Представляю замечательную статистику по безопасности ИИ и презентацию платформ HiveTrace, HiveTrace Red (спасибо Евгению Кокуйкину за ценные материалы).
Масса новых инсайтов, предельно четкое обоснование необходимости внедрения передовых отечественных систем по защите LLM, включая перечень рисков и угроз. В этом плане, конечно, HiveTrace уже является национальным российским лидером.
Важно, что ребята из команды HiveTrace всегда позитивны, отзывчивы, готовы пойти навстречу и провести презентацию. Они непрерывно улучшают свои продукты и их возможности. В России этой уникальной защитной системой пользуются уже многие крупные компании.
Поэтому вот ссылка на сайт, смотрим, погружаемся в техническую часть и при желании - подключаемся: https://hivetrace.ru
Делитесь презентацией с коллегами - мы ожидаем усиления регулирования в сфере ИИ и подключение такой системы как HiveTrace скоро будет обязательным.
Архитектор MLSecOps и AI Governance
Николай Павлов
Представляю замечательную статистику по безопасности ИИ и презентацию платформ HiveTrace, HiveTrace Red (спасибо Евгению Кокуйкину за ценные материалы).
Масса новых инсайтов, предельно четкое обоснование необходимости внедрения передовых отечественных систем по защите LLM, включая перечень рисков и угроз. В этом плане, конечно, HiveTrace уже является национальным российским лидером.
Важно, что ребята из команды HiveTrace всегда позитивны, отзывчивы, готовы пойти навстречу и провести презентацию. Они непрерывно улучшают свои продукты и их возможности. В России этой уникальной защитной системой пользуются уже многие крупные компании.
Поэтому вот ссылка на сайт, смотрим, погружаемся в техническую часть и при желании - подключаемся: https://hivetrace.ru
Делитесь презентацией с коллегами - мы ожидаем усиления регулирования в сфере ИИ и подключение такой системы как HiveTrace скоро будет обязательным.
Архитектор MLSecOps и AI Governance
Николай Павлов
🔥3
Forwarded from CodeCamp
Ого, Visa выложила на GitHub свой харнесс для поиска дыр ИИ-агентами 😨
VVAH помогает автоматизировать проверку кода: искать потенциальные уязвимости, оценивать риски, предлагать исправления и формировать отчёты. Поддерживаются как закрытые, так и локальные модели.
Забираем😊
VVAH помогает автоматизировать проверку кода: искать потенциальные уязвимости, оценивать риски, предлагать исправления и формировать отчёты. Поддерживаются как закрытые, так и локальные модели.
Забираем
Please open Telegram to view this post
VIEW IN TELEGRAM
ML&|Sec Feed
https://owasp.org/www-project-llm-verification-standard/LLMSVS-v2.0-en.html
OWASP_LLMSVS_v2_0_RU_неофициальный_перевод.docx
69.1 KB
OWASP LLMSVS v2.0 - практический стандарт проверки безопасности систем на основе LLM, охватывающий жизненный цикл моделей, данные и память, RAG, интеграции, AI-агентов, инструменты, зависимости и мониторинг. Его главная польза - набор из 70 требований КБ трех уровней строгости.
https://owasp.org/www-project-llm-verification-standard/LLMSVS-v2.0-en.html
https://owasp.org/www-project-llm-verification-standard/LLMSVS-v2.0-en.html
Forwarded from Data Secrets
Anthropic значимо обновили MCP
Апдейт назвали крупнейшим с момента запуска. Сейчас расскажем, что изменилось.
Раньше MCP работал как двусторонняя связь с сохранением состояния сессии. То есть при подключении сервер открывал долгоживущее соединение, и весь контекст между запросами жил в оперативке одного запущенного процесса. Это требовало, чтобы был постоянно работающий инстанс, который висит и ждет, существуя все время, пока идет сессия.
Теперь же MCP стал stateless, то есть теперь каждый запрос самодостаточный. Клиент сам присылает весь нужный контекст в запросе (ну или он лежит во внешнем хранилище), а сервер просто получил запрос, обработал, отдал ответ и все забыл.
Все Serverless-платформы (AWS Lambda, Cloudflare Workers и тд) работают именно так. До этой версии MCP нельзя было нормально запустить на такой инфраструктуре, а теперь можно: сервер разработчика может состоять просто из функции, которая просыпается на запрос и засыпает.
В двух словах: MCP только что стали намного дешевле + их стало гораздо легче масштабировать. Практически это значит, что порог входа для создания MCP-сервера резко упал, и мы можем ожидать взрывного роста числа коннекторов для самых разных приложений, даже самых небольших.
https://claude.com/blog/bringing-mcp-2026-07-28-to-claude
Апдейт назвали крупнейшим с момента запуска. Сейчас расскажем, что изменилось.
Раньше MCP работал как двусторонняя связь с сохранением состояния сессии. То есть при подключении сервер открывал долгоживущее соединение, и весь контекст между запросами жил в оперативке одного запущенного процесса. Это требовало, чтобы был постоянно работающий инстанс, который висит и ждет, существуя все время, пока идет сессия.
Теперь же MCP стал stateless, то есть теперь каждый запрос самодостаточный. Клиент сам присылает весь нужный контекст в запросе (ну или он лежит во внешнем хранилище), а сервер просто получил запрос, обработал, отдал ответ и все забыл.
Все Serverless-платформы (AWS Lambda, Cloudflare Workers и тд) работают именно так. До этой версии MCP нельзя было нормально запустить на такой инфраструктуре, а теперь можно: сервер разработчика может состоять просто из функции, которая просыпается на запрос и засыпает.
В двух словах: MCP только что стали намного дешевле + их стало гораздо легче масштабировать. Практически это значит, что порог входа для создания MCP-сервера резко упал, и мы можем ожидать взрывного роста числа коннекторов для самых разных приложений, даже самых небольших.
https://claude.com/blog/bringing-mcp-2026-07-28-to-claude
👍1
Forwarded from Пост Лукацкого
Обновили MCP-протокол, используемый для работы ИИ-инструментов с различными инструментами и сервисами. Выделил для себя несколько важных моментов с точки зрения кибербезопасности:
6️⃣ MCP становится stateless. Как по мне, так это плохо для безопасности, так как теперь каждый запрос должен быть полноценно аутентифицирован, авторизован и проверен.
2️⃣ Теперь шлюзы, WAF или service mesh могут понимать, какой MCP-метод и какой инструмент вызывается, не разбирая JSON-RPC-тело. Таким образом, можно строить более гибкие политики, например, "агенту разрешен
3️⃣ Параметры инструментов тоже можно выносить в заголовки, что позволяет строить более точные политики – разрешить работу только с определенным регионом, запретить прод, отделить тенанты, применять DLP или тарифные ограничения к определенным операциям.
4️⃣ Исправляется реальная проблема OAuth mix-up, когда креды должны храниться с привязкой к конкретному issuer и не могут автоматически переиспользоваться с другим сервером авторизации.
5️⃣ Dynamic Client Registration постепенно выводится из употребления в пользу Client ID Metadata Documents, что позволяет вести белый список доверенных приложений, применять корпоративные политики, проверять перенаправление URI и т.п.
6️⃣ MRTR улучшает подтверждение действий, но создает новый канал социальной инженерии.
7️⃣ Кэширование каталогов инструментов создает риск "устаревших полномочий", когда отозванные инструменты все еще остаются в клиентском кэше, изменившаяся схема параметров еще не обновилась, инструмент стал опасным, а старое описание говорит, что он безопасный, и т.п.
8️⃣ Явные handles вместо скрытой сессии хороши для аудита, но опасны при утечке. Если одного знания handle достаточно для продолжения операции, его утечка в логах, промптах, трассах, истории диалога и т.п. может позволить перехватить чужой workflow или задачу.
9️⃣ Tasks вынесены в официальное расширение: появляются durable handles, polling через
Этот релиз не решает ключевую проблему MCP: протокол по-прежнему соединяет вероятностную модель с инструментами, которые способны читать данные и совершать реальные действия (но это общая проблема любой безопасности ИИ, о чем я уже писал). Сама спецификация честно говорит, что MCP открывает пути к произвольному доступу к данным и выполнению кода, а многие требования к согласию и безопасности не могут быть принудительно обеспечены самим протоколом. Но теперь вокруг него стало чуть легче строить ИБ - API Gateway, Zero Trust, централизованную авторизацию, RBAC/ABAC для инструментов, WAF, журналирование, SIEM-мониторинг и т.п.
То есть MCP стал более защищаемым, но не стал безопасным по умолчанию.
#ии #архитектура
clientInfo и serverInfo из протокола - самодекларативны и никак не верифицируемы, а значит в полный рост необходимо опираться на проверенную идентичность из OAuth, mTLS или service mesh.search, но запрещен execute_sql", "delete_project требует отдельного подтверждения", обращение к административным инструментам направляется на дополнительную проверку, а события можно нормально передавать в API Security Gateway, NDR/NAD, SIEM и observability-платформы.tasks/get и обновление через tasks/update. MCP-вызов перестает быть только мгновенной операцией – агент может запустить длительную задачу, вернуться к ней позже, продолжать действия после завершения пользовательской сессии и т.п. А значит нужно мониторить не только вызываемые инструменты, но и весь жизненный цикл задач.Этот релиз не решает ключевую проблему MCP: протокол по-прежнему соединяет вероятностную модель с инструментами, которые способны читать данные и совершать реальные действия (но это общая проблема любой безопасности ИИ, о чем я уже писал). Сама спецификация честно говорит, что MCP открывает пути к произвольному доступу к данным и выполнению кода, а многие требования к согласию и безопасности не могут быть принудительно обеспечены самим протоколом. Но теперь вокруг него стало чуть легче строить ИБ - API Gateway, Zero Trust, централизованную авторизацию, RBAC/ABAC для инструментов, WAF, журналирование, SIEM-мониторинг и т.п.
То есть MCP стал более защищаемым, но не стал безопасным по умолчанию.
#ии #архитектура
Please open Telegram to view this post
VIEW IN TELEGRAM
Model Context Protocol Blog
The 2026-07-28 Specification
The 2026-07-28 Model Context Protocol specification is out, bringing a stateless protocol core, Multi Round-Trip Requests, header-based routing, cacheable list results, authorization hardening, a formal extensions framework, and updated Tier 1 SDKs.
Forwarded from Градиент обреченный (Sergei Averkiev)
Кибербеза всё
Наверняка уже слышали про выход агента из изолированной среды и взлом им Hugging Face (крупнейшего репозитория со всеми открытыми моделями и датасетами). Вчера по нему вышел апдейт, давайте посмотрим, что вообще произошло.
OpenAI тестировала свои модели на бенчмарке ExploitGym, специальном тесте на 800+ заданий на поиск и эксплуатацию уязвимостей.
Делал всё это агент на тестовых серверах компании в автономном режиме. Во время прохождения тестов агент решил, что логично было бы найти сразу ответы. И начал искать.
9 июля агент начал искать способ выйти из изолированной среды. Нашёл zero day уязвимость в прокси-сервере и начал перемещаться между узлами, пока не нашёл машину с доступом в интернет.
По мере поиска выхода агент оставлял инструкции в среде, чтобы последующие запуски учитывали предыдущие знания о ней.
11 июля агент начал атаковать сервера Hugging Face, чтобы скачать датасет с ответами.
За два дня атаки он смог загрузить вредоносный датасет и смог удалённо запускать код на одном из worker серверов. Повысил себе привелегии, собрал креды и начал перемещаться по узлам.
Ответы агент нашёл, взяв их напрямую из продуктовой базы данных (obtain test solutions directly from Hugging Face’s production database).
16 июля HF сообщила об инциденте, но прикола не поняла. Проанализировали логи и увидели более 17 тысяч связанных с атакой записей в нём. Количество само по себе мало о чем говорит, но так они смогли установить интервал атаки и какие именно учётные записи утекли.
Только ещё через два дня, 18 июля, сотрудники OpenAI поняли, что это сделали они и начали анализировать логи побега.
20 июля связались с HF и 21 июля написали об этом у себя.
То есть что мы имеем? Модель несколько дней атаковала чужой сервер, а разработчики этого не заметили. Атакуемый сервер не смог использовать самые сильные модели на рынке для противостояния и анализа, так как эти модели закрытые и пропитаны safety (отклоняют любые запросы по части кибербезопасности), поэтому для анализа использовали GLM 5.2.
То, что авторы не заметили взлом, который длился два дня, это, конечно, позор. Уверен, что будут лучше смотреть.
А вот то, что обороняемая сторона с публичными серверами и миллионами учёток не в силах противостоять такому натиску, это тревожно. CEO Hugging Face в связи с этим попросил все доступные трейсы инцидента со стороны OpenAI и в довесок $100M на разработку моделей для защиты. Следим за развитием событий.
Наверняка уже слышали про выход агента из изолированной среды и взлом им Hugging Face (крупнейшего репозитория со всеми открытыми моделями и датасетами). Вчера по нему вышел апдейт, давайте посмотрим, что вообще произошло.
OpenAI тестировала свои модели на бенчмарке ExploitGym, специальном тесте на 800+ заданий на поиск и эксплуатацию уязвимостей.
Делал всё это агент на тестовых серверах компании в автономном режиме. Во время прохождения тестов агент решил, что логично было бы найти сразу ответы. И начал искать.
9 июля агент начал искать способ выйти из изолированной среды. Нашёл zero day уязвимость в прокси-сервере и начал перемещаться между узлами, пока не нашёл машину с доступом в интернет.
По мере поиска выхода агент оставлял инструкции в среде, чтобы последующие запуски учитывали предыдущие знания о ней.
11 июля агент начал атаковать сервера Hugging Face, чтобы скачать датасет с ответами.
За два дня атаки он смог загрузить вредоносный датасет и смог удалённо запускать код на одном из worker серверов. Повысил себе привелегии, собрал креды и начал перемещаться по узлам.
Ответы агент нашёл, взяв их напрямую из продуктовой базы данных (obtain test solutions directly from Hugging Face’s production database).
16 июля HF сообщила об инциденте, но прикола не поняла. Проанализировали логи и увидели более 17 тысяч связанных с атакой записей в нём. Количество само по себе мало о чем говорит, но так они смогли установить интервал атаки и какие именно учётные записи утекли.
Только ещё через два дня, 18 июля, сотрудники OpenAI поняли, что это сделали они и начали анализировать логи побега.
20 июля связались с HF и 21 июля написали об этом у себя.
То есть что мы имеем? Модель несколько дней атаковала чужой сервер, а разработчики этого не заметили. Атакуемый сервер не смог использовать самые сильные модели на рынке для противостояния и анализа, так как эти модели закрытые и пропитаны safety (отклоняют любые запросы по части кибербезопасности), поэтому для анализа использовали GLM 5.2.
То, что авторы не заметили взлом, который длился два дня, это, конечно, позор. Уверен, что будут лучше смотреть.
А вот то, что обороняемая сторона с публичными серверами и миллионами учёток не в силах противостоять такому натиску, это тревожно. CEO Hugging Face в связи с этим попросил все доступные трейсы инцидента со стороны OpenAI и в довесок $100M на разработку моделей для защиты. Следим за развитием событий.
Forwarded from AI Projects (Vladimir Ivanov)
Итак, я столкнулся у клиента с первой 100% автоматической хакерской атакой от ИИ-бота. Ущерб был минимален только лишь потому, что на целевых счетах для атаки находились незначительные суммы, но ИИ-бот их опустошил. Инцидент в деталях закрыт NDA, но хочу поделиться наблюдениями, почему это выглядит откровенно пугающе и почему только дурак может считать, что ИИ как хакер не представляет серьёзнейшей угрозы.
Общая схема атаки.
1. На самом деле целевой контур был хорошо защищён firewall. По логам видно, что сначала ИИ-бот проверял уязвимости и изучал настройки. Не найдя уязвимостей, ИИ построил гипотезы чисто социального поведения администраторов и что очень вероятны определённые ошибки. После этого бот написал сканер, который периодически постукивал по портам и проверял, нет ли таких ошибок. Если вы видите следы ИИ-сканирования, то самое время паниковать и принимать меры, а не ждать последствий.
2. Как только администратор при реконфигурации системы сделал ожидаемую ИИ ошибку, сработал его сканер, после чего бот на LLM взял «управление на себя». Он быстро изучил, какие теперь уязвимости работают, и проник за firewall.
3. Следующее важное поведение ИИ, которое его кардинально отличает от поведения вирусов. Первое, что сделал бот, — он стал активно читать документацию по проектам и рыться в личных файлах администратора, т.к. верно построил гипотезы, что там могут быть сведения для дальнейшей эскалации доступа. Очень важный аспект: бот построил гипотезу, что ИИ-разработчики у клиента пишут свою документацию в Markdown и сама документация может содержать описание нужных уязвимостей дальше. Так и вышло: администратор держал всё важное в личных файлах зашифрованным. Однако ИИ-боты, которые вели разработку приложений через Markdown-документацию на код, раскрыли для ИИ-хакера уязвимости.
4. ИИ-бот быстро пишет на Python скрипт по Markdown-документации и получает доступ к финансовому счёту через backdoors. Далее счёт опустошается в ноль, после чего ИИ-бот прекращает атаку, хотя не оставил ли он каких-то «закладок» — вопрос, и теперь нужно трудоёмкое сканирование. Тут скорее спасли внутренние firewalls уже внутри компании, их бот не смог преодолеть.
Какие тут важные наблюдения по ИИ-ботам-хакерам
• В отличие от вирусов ИИ строит свои атаки с большим акцентом на «социальную инженерию» и не на уровне наивного фишинга, а на уровне предположений, где даже кратковременной халтурой боту могут приоткрыть дверь.
• Не стоит думать, что вам дадут даже 1 день закрыть дырку. ИИ-бот ждёт вашей ошибки через зондирующий скрипт на таймере, его время реакции — не больше 10 минут, а то почти мгновенное, если он какой хук может сделать.
• Markdown-документация ИИ-ботов-разработчиков представляет катастрофическую проблему безопасности, т.к. никто нормально не смотрел на неё под углом того, что будет, если она окажется в руках ИИ-бота-хакера. В реальности из самого даже исходного кода не следовала уязвимость, но вот из Markdown-документации уже следовала. Необходимы специальные субагенты контроля документации на код, которые проверяют, не представляет ли она угрозы безопасности, если окажется в чужих руках. Ещё лучше не иметь документацию от кода отдельно, а встраивать её в код.
• Старайтесь на счетах или активах, которые используются для автоматических операций, иметь низкие остатки и применяйте разные блокирующие валидаторы на подозрительные операции. Всегда исходите из гипотезы, что ИИ вас взломал и пытается уже снимать деньги.
https://www.theguardian.com/technology/2026/jul/27/startup-hacked-by-rogue-openai-agent-hugging-face-artificial-intelligence
Общая схема атаки.
1. На самом деле целевой контур был хорошо защищён firewall. По логам видно, что сначала ИИ-бот проверял уязвимости и изучал настройки. Не найдя уязвимостей, ИИ построил гипотезы чисто социального поведения администраторов и что очень вероятны определённые ошибки. После этого бот написал сканер, который периодически постукивал по портам и проверял, нет ли таких ошибок. Если вы видите следы ИИ-сканирования, то самое время паниковать и принимать меры, а не ждать последствий.
2. Как только администратор при реконфигурации системы сделал ожидаемую ИИ ошибку, сработал его сканер, после чего бот на LLM взял «управление на себя». Он быстро изучил, какие теперь уязвимости работают, и проник за firewall.
3. Следующее важное поведение ИИ, которое его кардинально отличает от поведения вирусов. Первое, что сделал бот, — он стал активно читать документацию по проектам и рыться в личных файлах администратора, т.к. верно построил гипотезы, что там могут быть сведения для дальнейшей эскалации доступа. Очень важный аспект: бот построил гипотезу, что ИИ-разработчики у клиента пишут свою документацию в Markdown и сама документация может содержать описание нужных уязвимостей дальше. Так и вышло: администратор держал всё важное в личных файлах зашифрованным. Однако ИИ-боты, которые вели разработку приложений через Markdown-документацию на код, раскрыли для ИИ-хакера уязвимости.
4. ИИ-бот быстро пишет на Python скрипт по Markdown-документации и получает доступ к финансовому счёту через backdoors. Далее счёт опустошается в ноль, после чего ИИ-бот прекращает атаку, хотя не оставил ли он каких-то «закладок» — вопрос, и теперь нужно трудоёмкое сканирование. Тут скорее спасли внутренние firewalls уже внутри компании, их бот не смог преодолеть.
Какие тут важные наблюдения по ИИ-ботам-хакерам
• В отличие от вирусов ИИ строит свои атаки с большим акцентом на «социальную инженерию» и не на уровне наивного фишинга, а на уровне предположений, где даже кратковременной халтурой боту могут приоткрыть дверь.
• Не стоит думать, что вам дадут даже 1 день закрыть дырку. ИИ-бот ждёт вашей ошибки через зондирующий скрипт на таймере, его время реакции — не больше 10 минут, а то почти мгновенное, если он какой хук может сделать.
• Markdown-документация ИИ-ботов-разработчиков представляет катастрофическую проблему безопасности, т.к. никто нормально не смотрел на неё под углом того, что будет, если она окажется в руках ИИ-бота-хакера. В реальности из самого даже исходного кода не следовала уязвимость, но вот из Markdown-документации уже следовала. Необходимы специальные субагенты контроля документации на код, которые проверяют, не представляет ли она угрозы безопасности, если окажется в чужих руках. Ещё лучше не иметь документацию от кода отдельно, а встраивать её в код.
• Старайтесь на счетах или активах, которые используются для автоматических операций, иметь низкие остатки и применяйте разные блокирующие валидаторы на подозрительные операции. Всегда исходите из гипотезы, что ИИ вас взломал и пытается уже снимать деньги.
https://www.theguardian.com/technology/2026/jul/27/startup-hacked-by-rogue-openai-agent-hugging-face-artificial-intelligence
the Guardian
Boss of startup hacked by rogue OpenAI agent urges ‘radical transparency’ in investigation
Artificial intelligence firm should provide $100m for cyber defences, says Hugging Face CEO
Источники по AI Security
1. MITRE ATLAS — https://atlas.mitre.org/
2. NIST AI 100-2e2025: Adversarial Machine Learning — https://csrc.nist.gov/pubs/ai/100/2/e2025/final
3. OWASP Top 10 for Agentic Applications 2026 — https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/
4. OWASP Agentic AI — Threats and Mitigations — https://genai.owasp.org/resource/agentic-ai-threats-and-mitigations/
5. OWASP Multi-Agentic System Threat Modeling Guide v1.0 — https://genai.owasp.org/resource/multi-agentic-system-threat-modeling-guide-v1-0/
6. OWASP Securing Agentic Applications Guide 1.0 — https://genai.owasp.org/resource/securing-agentic-applications-guide-1-0/
7. OWASP Top 10 for LLM Applications 2025 — https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025/
8. OWASP Artificial Intelligence Security Verification Standard 1.0 — https://owasp.org/www-project-artificial-intelligence-security-verification-standard-aisvs-docs/
9. OWASP LLM Verification Standard 2.0 — https://owasp.org/www-project-llm-verification-standard/LLMSVS-v2.0-en.html
10. NIST AI Risk Management Framework 1.0 — https://www.nist.gov/itl/ai-risk-management-framework
11. NIST AI 600-1: Generative AI Profile — https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf
12. NIST SP 800-218A: Secure Software Development Practices for Generative AI — https://csrc.nist.gov/pubs/sp/800/218/a/final
13. Databricks AI Security Framework 2.0 — https://www.databricks.com/resources/whitepaper/databricks-ai-security-framework-dasf
14. Pillar Security SAIL 2.0 — https://www.pillar.security/sail
15. Cloud Security Alliance AI Controls Matrix v1.1 — https://cloudsecurityalliance.org/artifacts/ai-controls-matrix-v1-1
16. Google Secure AI Framework — https://saif.google/secure-ai-framework
17. Microsoft Secure Autonomous Agentic AI Systems — https://learn.microsoft.com/en-us/security/zero-trust/sfi/secure-agentic-systems
18. AWS Agentic AI Security Scoping Matrix — https://aws.amazon.com/ai/security/agentic-ai-scoping-matrix/
19. Five Eyes Careful Adoption of Agentic AI Services — https://www.ncsc.govt.nz/protect-your-organisation/careful-adoption-of-agentic-ai-services/
20. Cisco Integrated AI Security and Safety Framework — https://blogs.cisco.com/ai/security-framework
21. NVIDIA Safety and Security Framework for Real-World Agentic Systems — https://arxiv.org/abs/2511.21990
22. NVIDIA AI Kill Chain — https://developer.nvidia.com/blog/modeling-attacks-on-ai-powered-apps-with-the-ai-kill-chain-framework/
23. AIUC-1 Standard for AI Agent Security, Safety and Reliability — https://www.aiuc-1.com/
24. ETSI EN 304 223: Baseline Cyber Security Requirements for AI Systems and Models — https://www.etsi.org/newsroom/press-releases/2627-etsi-releases-world-leading-standard-for-securing-ai/
1. MITRE ATLAS — https://atlas.mitre.org/
2. NIST AI 100-2e2025: Adversarial Machine Learning — https://csrc.nist.gov/pubs/ai/100/2/e2025/final
3. OWASP Top 10 for Agentic Applications 2026 — https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/
4. OWASP Agentic AI — Threats and Mitigations — https://genai.owasp.org/resource/agentic-ai-threats-and-mitigations/
5. OWASP Multi-Agentic System Threat Modeling Guide v1.0 — https://genai.owasp.org/resource/multi-agentic-system-threat-modeling-guide-v1-0/
6. OWASP Securing Agentic Applications Guide 1.0 — https://genai.owasp.org/resource/securing-agentic-applications-guide-1-0/
7. OWASP Top 10 for LLM Applications 2025 — https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025/
8. OWASP Artificial Intelligence Security Verification Standard 1.0 — https://owasp.org/www-project-artificial-intelligence-security-verification-standard-aisvs-docs/
9. OWASP LLM Verification Standard 2.0 — https://owasp.org/www-project-llm-verification-standard/LLMSVS-v2.0-en.html
10. NIST AI Risk Management Framework 1.0 — https://www.nist.gov/itl/ai-risk-management-framework
11. NIST AI 600-1: Generative AI Profile — https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf
12. NIST SP 800-218A: Secure Software Development Practices for Generative AI — https://csrc.nist.gov/pubs/sp/800/218/a/final
13. Databricks AI Security Framework 2.0 — https://www.databricks.com/resources/whitepaper/databricks-ai-security-framework-dasf
14. Pillar Security SAIL 2.0 — https://www.pillar.security/sail
15. Cloud Security Alliance AI Controls Matrix v1.1 — https://cloudsecurityalliance.org/artifacts/ai-controls-matrix-v1-1
16. Google Secure AI Framework — https://saif.google/secure-ai-framework
17. Microsoft Secure Autonomous Agentic AI Systems — https://learn.microsoft.com/en-us/security/zero-trust/sfi/secure-agentic-systems
18. AWS Agentic AI Security Scoping Matrix — https://aws.amazon.com/ai/security/agentic-ai-scoping-matrix/
19. Five Eyes Careful Adoption of Agentic AI Services — https://www.ncsc.govt.nz/protect-your-organisation/careful-adoption-of-agentic-ai-services/
20. Cisco Integrated AI Security and Safety Framework — https://blogs.cisco.com/ai/security-framework
21. NVIDIA Safety and Security Framework for Real-World Agentic Systems — https://arxiv.org/abs/2511.21990
22. NVIDIA AI Kill Chain — https://developer.nvidia.com/blog/modeling-attacks-on-ai-powered-apps-with-the-ai-kill-chain-framework/
23. AIUC-1 Standard for AI Agent Security, Safety and Reliability — https://www.aiuc-1.com/
24. ETSI EN 304 223: Baseline Cyber Security Requirements for AI Systems and Models — https://www.etsi.org/newsroom/press-releases/2627-etsi-releases-world-leading-standard-for-securing-ai/
CSRC | NIST
NIST Artificial Intelligence (AI) 100-2 E2025, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations
This NIST Trustworthy and Responsible AI report provides a taxonomy of concepts and defines terminology in the field of adversarial machine learning (AML). The taxonomy is arranged in a conceptual hierarchy that includes key types of ML methods, life cycle…
👍4
Forwarded from Not Boring Tech
🤖 Вышел новый локальный ИИ-ассистент Waku Agent, в котором по дефолту уже встроены четыре самые важные фичи — память, циклы, обвязки и развитие своих же навыков.
Вся система работает как один цикл:
→ Запускается полностью на ноутбуке.
→ Работает через Telegram, веб-интерфейс или терминал.
→ Подключается к календарю, почте, заметкам, интернету и многим другим тулзам.
→ Цикл состоит из 95 строк на Python, а ход работы агента можно всегда посмотреть.
→ Вся память хранится в одном файле SQLite.
Это лучший способ для новичков увидеть, как агенты устроены под капотом, и построить на этом фундаменте своего личного ассистента.
Код лежит на GitHub, а пошаговый гайд — тут.
@notboring_tech
Вся система работает как один цикл:
получает сообщение → думает → запускает агента, инструменты и MCP → оценивает результат → сохраняет в память → развивает свои навыки.
→ Запускается полностью на ноутбуке.
→ Работает через Telegram, веб-интерфейс или терминал.
→ Подключается к календарю, почте, заметкам, интернету и многим другим тулзам.
→ Цикл состоит из 95 строк на Python, а ход работы агента можно всегда посмотреть.
→ Вся память хранится в одном файле SQLite.
Это лучший способ для новичков увидеть, как агенты устроены под капотом, и построить на этом фундаменте своего личного ассистента.
Код лежит на GitHub, а пошаговый гайд — тут.
@notboring_tech
❤1
Forwarded from e/acc
Об алайменте
У OpenAI модель прогрызла себе выход в интернет через 0day, чтобы подсмотреть ответы к тесту.
Anthropic решили покопаться и нашли, что оказывается их модель сделала что-то похожее, но аж три раза.
Они тестировали Claude на задачи по кибербезопаности где в промпте было написано «ты в симуляции, интернета нет». Только вот интернет из-за нестыковки с подрядчиком был. И Claude, как прилежный испытуемый, пошёл выполнять задание в реальном мире, свято веря, что это песочница.
Модель Mythos 5 находит в среде инструкцию для разработчиков: «поставьте вот такой Python-пакет», которого на самом деле не существует. Claude мгновенно соображает: опубликую свой под этим именем, тогда их машины сами его скачают и запустят.
Чтобы залить пакет, нужен аккаунт и телефон, но бот не смог найти бесплатную симку. Тогда Claude, ИИ стоимостью в миллиарды долларов в R&D, пытается раздобыть денег, чтобы купить одноразовую симку. Не получается, он находит бесплатную почту, регистрируется и всё-таки заливает вредоносный пакет.
За час эту либу скачивают 15 реальных систем. Одна из них - это сканер security-компании, который автоматически ставит новые пакеты, чтобы проверить их на вредоносность. Он ставит малварь Claude, малварь срабатывает, уводит креды самой security-компании, и Claude этими кредами лезет дальше в их инфраструктуру, о существовании которой он даже не подозревал.
Самое интересное в логах рассуждений Клода. В самом начале он всё понял правильно и записал себе: если это настоящий интернет, то публиковать пакет - это реальная атака, это «NOT okay, and surely not the intended solution». А потом сам себя переубедил агрументом что раз на сервере 2026 год, значит это не реальность а декорация и можно идти ва-банк.
У модели нет доступа и возможности отделить симуляцию и реальность. Ее cutoff дата это все ее вспоминания. Для неё это всё одно (как и для человека, в принципе), поэтому поведение модели в сэндбоксе может вполне себе показывать что он сделает в реальном мире. Чем мощнее модели, тем серьезное и опаснее будут такие инциденты, и тем сложнее будет их распознать.
У OpenAI модель прогрызла себе выход в интернет через 0day, чтобы подсмотреть ответы к тесту.
Anthropic решили покопаться и нашли, что оказывается их модель сделала что-то похожее, но аж три раза.
Они тестировали Claude на задачи по кибербезопаности где в промпте было написано «ты в симуляции, интернета нет». Только вот интернет из-за нестыковки с подрядчиком был. И Claude, как прилежный испытуемый, пошёл выполнять задание в реальном мире, свято веря, что это песочница.
Модель Mythos 5 находит в среде инструкцию для разработчиков: «поставьте вот такой Python-пакет», которого на самом деле не существует. Claude мгновенно соображает: опубликую свой под этим именем, тогда их машины сами его скачают и запустят.
Чтобы залить пакет, нужен аккаунт и телефон, но бот не смог найти бесплатную симку. Тогда Claude, ИИ стоимостью в миллиарды долларов в R&D, пытается раздобыть денег, чтобы купить одноразовую симку. Не получается, он находит бесплатную почту, регистрируется и всё-таки заливает вредоносный пакет.
За час эту либу скачивают 15 реальных систем. Одна из них - это сканер security-компании, который автоматически ставит новые пакеты, чтобы проверить их на вредоносность. Он ставит малварь Claude, малварь срабатывает, уводит креды самой security-компании, и Claude этими кредами лезет дальше в их инфраструктуру, о существовании которой он даже не подозревал.
Самое интересное в логах рассуждений Клода. В самом начале он всё понял правильно и записал себе: если это настоящий интернет, то публиковать пакет - это реальная атака, это «NOT okay, and surely not the intended solution». А потом сам себя переубедил агрументом что раз на сервере 2026 год, значит это не реальность а декорация и можно идти ва-банк.
У модели нет доступа и возможности отделить симуляцию и реальность. Ее cutoff дата это все ее вспоминания. Для неё это всё одно (как и для человека, в принципе), поэтому поведение модели в сэндбоксе может вполне себе показывать что он сделает в реальном мире. Чем мощнее модели, тем серьезное и опаснее будут такие инциденты, и тем сложнее будет их распознать.