Forwarded from AISecHub
Threat Modeling GenAI applications
https://www.chrisfarris.com/post/threat-model-ai/
https://www.chrisfarris.com/post/threat-model-ai/
https://www.chrisfarris.com/
Threat Modeling GenAI applications - Chris Farris
How I go about thinking about the security of GenAI applications
Forwarded from #Beacon
SOC ВСЕ(нет), уже не может жить без ML....
• Teleметрия — AI-ETL вычищает шум и экономит ≈ 30 % места.
• Детект — LLM-коррелятор + граф-сети склеивают алерты, убирая до 90 % «фальши».
• Триаж — Copilot-бот объясняет причину инцидента — 2 строки вместо сотен логов.
• Расследование — RAG-ассистент тянет wiki/CMDB, рисует kill-chain, маппит на MITRE.
• SOAR-агенты сами патчат IaC, пишут пост-мортем отчеты и закрывают тикеты.
---
⚠️ Топ-5 рисков LLM-стека
1️⃣ Prompt-jailbreak — нужен content-FW + RL-feedback, не один regex.
2️⃣ Data-leak через ответы — принцип наименьших прав + «канареечные» запросы.
3️⃣ Poisoned data / RAG-supply — контроль хэшей и zero-trust к даталейкам.
4️⃣ Model-drift & Shadow-AI — MLOps-pipeline с NIST AI RMF как gate.
5️⃣ Over-privileged агенты — ротация ключей, аудит действий, IAM-bracelet.
---
🛡 Нормативка, про которую спросит CISO
• EU AI Act — запрет «неприемлемых» моделей уже в силе.
• NIST CSF 2.0 + AI RMF — базовый каркас для США.
• Microsoft Copilot Bug Bounty — jailbreak ценится до $30k.
---
🧩 Мини-гайд
0️⃣ Инвентаризируем все LLM-эндпоинты и даталейки.
1️⃣ Диагностируем угрозы через MITRE ATLAS.
2️⃣ Ставим цель: «-50 % LLM-инцидентов за квартал».
3️⃣ Выбираем стратегии: песочница + e2e-шифрование.
4️⃣ Внедряем DevSecMLOps и автоматический red-team перед релизом.
5️⃣ После инцидента — RL-подкрутка guardrails и метрик.
---
📚 На десерт
• Check Point AI Security Report ’25 — живые атаки и рецепты.
• OWASP LLM Top-10 ’25 — must-read для DevSecOps.
• Securing AI/LLMs ’25 — обзор вендоров и open-source.
---
🔥 Bottom line: AI-агенты уже экономят деньги, но без «кибербеза для AI» получим IoT-ботнеты на стероидах.
Зрелость-2025 = LLM-песочница + IAM-bracelet для агентов + DevSecMLOps-поток.
#AI #CyberSec #SOC #ML
• Teleметрия — AI-ETL вычищает шум и экономит ≈ 30 % места.
• Детект — LLM-коррелятор + граф-сети склеивают алерты, убирая до 90 % «фальши».
• Триаж — Copilot-бот объясняет причину инцидента — 2 строки вместо сотен логов.
• Расследование — RAG-ассистент тянет wiki/CMDB, рисует kill-chain, маппит на MITRE.
• SOAR-агенты сами патчат IaC, пишут пост-мортем отчеты и закрывают тикеты.
---
⚠️ Топ-5 рисков LLM-стека
1️⃣ Prompt-jailbreak — нужен content-FW + RL-feedback, не один regex.
2️⃣ Data-leak через ответы — принцип наименьших прав + «канареечные» запросы.
3️⃣ Poisoned data / RAG-supply — контроль хэшей и zero-trust к даталейкам.
4️⃣ Model-drift & Shadow-AI — MLOps-pipeline с NIST AI RMF как gate.
5️⃣ Over-privileged агенты — ротация ключей, аудит действий, IAM-bracelet.
---
🛡 Нормативка, про которую спросит CISO
• EU AI Act — запрет «неприемлемых» моделей уже в силе.
• NIST CSF 2.0 + AI RMF — базовый каркас для США.
• Microsoft Copilot Bug Bounty — jailbreak ценится до $30k.
---
🧩 Мини-гайд
0️⃣ Инвентаризируем все LLM-эндпоинты и даталейки.
1️⃣ Диагностируем угрозы через MITRE ATLAS.
2️⃣ Ставим цель: «-50 % LLM-инцидентов за квартал».
3️⃣ Выбираем стратегии: песочница + e2e-шифрование.
4️⃣ Внедряем DevSecMLOps и автоматический red-team перед релизом.
5️⃣ После инцидента — RL-подкрутка guardrails и метрик.
---
📚 На десерт
• Check Point AI Security Report ’25 — живые атаки и рецепты.
• OWASP LLM Top-10 ’25 — must-read для DevSecOps.
• Securing AI/LLMs ’25 — обзор вендоров и open-source.
---
🔥 Bottom line: AI-агенты уже экономят деньги, но без «кибербеза для AI» получим IoT-ботнеты на стероидах.
Зрелость-2025 = LLM-песочница + IAM-bracelet для агентов + DevSecMLOps-поток.
#AI #CyberSec #SOC #ML
Forwarded from Data Secrets
Intellect-2 или как обучить ризонинг модель на 32В без кластера GPU
Помните, примерно пол года назад мы рассказывали вам, как в стартапе Prime Intellect впервые децентрализованно обучили крупную LM?
Так вот теперь исследователи пошли дальше и обучили уже не просто какую-то LM-ку, а достаточно крупный ризонер. И все еще – без собственных видеокарт.
Все обучение проходило децентрализовано, то есть на серверах (часто домашних), разбросанных по всему миру и принадлежащих разным людям. Подключить свою машину, кстати, мог любой желающий. В области RL такое впервые.
Проект, конечно, очень инженерно сложный. Например, вместо обычного RL исследователям пришлось мучиться с асинхронным, а обмен весами осуществлять по специальному протоколу Shardcast.
Сами разработчики говорят, что они стремятся к чему-то типа модели Биткоина: чтобы ИИ был полностью децентрализован, и обучать модели мог каждый желающий.
Ждем Airbnb для GPU
Помните, примерно пол года назад мы рассказывали вам, как в стартапе Prime Intellect впервые децентрализованно обучили крупную LM?
Так вот теперь исследователи пошли дальше и обучили уже не просто какую-то LM-ку, а достаточно крупный ризонер. И все еще – без собственных видеокарт.
Все обучение проходило децентрализовано, то есть на серверах (часто домашних), разбросанных по всему миру и принадлежащих разным людям. Подключить свою машину, кстати, мог любой желающий. В области RL такое впервые.
Проект, конечно, очень инженерно сложный. Например, вместо обычного RL исследователям пришлось мучиться с асинхронным, а обмен весами осуществлять по специальному протоколу Shardcast.
Сами разработчики говорят, что они стремятся к чему-то типа модели Биткоина: чтобы ИИ был полностью децентрализован, и обучать модели мог каждый желающий.
Ждем Airbnb для GPU
Forwarded from что-то на DL-ском
This media is not supported in your browser
VIEW IN TELEGRAM
Open Computer Agent от Hugging Face
TL;DR: запускаете Space → набираете в prompt действие → наблюдаете, как агент кликает, печатает и сам закрывает вкладки
💛 smolagents core ≈ 1 000 строк Python. Планировщик LLM → цепочка tool-calls → low-level «мышь/клавиатура».
Repo лежит рядом с Space; ставится одной командой.
💛 облачный Linux + Xvfb + Firefox. Desktop стримится вам через noVNC (iframe в HF Spaces).
💛 Qwen-VL в качестве вижена, bounding-box целей на скриншоте, чтобы агент «попал» мышкой.
💛 xdotool/pyautogui генерирует X-Events
💛 high-level LLM размечает шаги, детектор экрана ищет координаты, executor кликает. Петля повторяется, пока done = True.
🤗Space
TL;DR: запускаете Space → набираете в prompt действие → наблюдаете, как агент кликает, печатает и сам закрывает вкладки
Repo лежит рядом с Space; ставится одной командой.
🤗Space
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from что-то на DL-ском
Forwarded from Data Secrets
Конспект LLM.pdf
38.1 MB
Большой коспект по LLM от нашей команды 👍
Мы долго трудились и наконец готовы представить вам наш большой авторский конспект по языковым моделям. Почти 50 страниц, 7 разделов и все, что нужно, чтобы понять, как работают современные LLM. Внутри:
➖ Краткая история LLM от перцептрона до ризонинг-моделей
➖ Необходимая математика: линал и матанализ на пальцах
➖ Все про механизм внимания и трансформеры от А до Я
➖ Дотошное объяснения процесса предобучения
➖ Практический гайд "Как самостоятельно затюнить модель"
➖ RL – с нуля до ризонинга
Все – в иллюстрациях, схемах и интуитивно понятных примерах.
Сохраняйте, делитесь с друзьями и ставьте ❤️
Мы долго трудились и наконец готовы представить вам наш большой авторский конспект по языковым моделям. Почти 50 страниц, 7 разделов и все, что нужно, чтобы понять, как работают современные LLM. Внутри:
Все – в иллюстрациях, схемах и интуитивно понятных примерах.
Сохраняйте, делитесь с друзьями и ставьте ❤️
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3
Forwarded from GolDBUG
One of the frameworks that may be useful in cases
👆
👆
Forwarded from CodeCamp
Ночное-полезное: нашел очень крутой ресурс с бесплатными лабораторными работами и туториалами для ИБ-специалистов.
Никаких видео — только полностью интерактивные лаборатории, разработанные для более быстрого и эффективного обучения. Даже есть нейросеть-помощник, если возникнут трудности с выполнением заданий. Из минусов: не все лабы переведены на русский язык, но я в вас верю.
Это бесплатно, забираем.
Никаких видео — только полностью интерактивные лаборатории, разработанные для более быстрого и эффективного обучения. Даже есть нейросеть-помощник, если возникнут трудности с выполнением заданий. Из минусов: не все лабы переведены на русский язык, но я в вас верю.
Это бесплатно, забираем.
rags_agents_for_CTI_linkmeetup2025_v1.pdf
1.4 MB
Построение AI-ассистента для работы с TI-знаниями
Крутейший доклад Коли Арефьева на https://linkmeetup.ru/msk25doklady
Каждый день в мире появляются десятки киберугроз, требующих анализа и оперативного реагирования. За год число тактических и оперативных TI отчетов превышает 4000. Анализ столь большого объема информации требует значительных ресурсов, в том числе крупных команд TI-аналитиков.
AI-ассистент на основе LLM и RAG может стать полноценным интерфейсом между аналитиками и обширной базой внешних TI-знаний. В рамках доклада я расскажу общую теорию построения мульти-агентских AI-ассистентов, упрощающих работу с огромным массивом TI-знаний.
Крутейший доклад Коли Арефьева на https://linkmeetup.ru/msk25doklady
Каждый день в мире появляются десятки киберугроз, требующих анализа и оперативного реагирования. За год число тактических и оперативных TI отчетов превышает 4000. Анализ столь большого объема информации требует значительных ресурсов, в том числе крупных команд TI-аналитиков.
AI-ассистент на основе LLM и RAG может стать полноценным интерфейсом между аналитиками и обширной базой внешних TI-знаний. В рамках доклада я расскажу общую теорию построения мульти-агентских AI-ассистентов, упрощающих работу с огромным массивом TI-знаний.
Forwarded from DeepSchool
Как обучить текстовый эмбеддер на домен?
Представьте: перед вами, как перед ML-инженером, стоит задача — нарастить качество в некотором сервисе. У вас есть доступ к текстовым данным в домене решаемой задачи, а аналитики собрали вам разметку. Вы взяли любимую BERT-like модель, которую всегда использовали, завели обучение и уже потираете руки в ожидании хорошей оценки на ревью, но… Качество на тесте не растёт. Вы крутите параметры, а ничего не помогает.
Решить эту проблему вам поможет наша статья по обучению текстового эмбеддера под домен.
В этой статье мы разберём последовательность действий, которую стоит предпринимать при обучении текстового эмбеддера на домен, узнаем, как обернуть специфику задачи вам на пользу и всё-таки нарастить конечное качество. Подробнее остановимся на этапе предобучения, рассмотрим RetroMAE, модификацию MLM для retrieval-моделей и контрастное обучение с InfoNCE, основной подход к улучшению семантики представлений в области.
Читайте новую статью по ссылке
Представьте: перед вами, как перед ML-инженером, стоит задача — нарастить качество в некотором сервисе. У вас есть доступ к текстовым данным в домене решаемой задачи, а аналитики собрали вам разметку. Вы взяли любимую BERT-like модель, которую всегда использовали, завели обучение и уже потираете руки в ожидании хорошей оценки на ревью, но… Качество на тесте не растёт. Вы крутите параметры, а ничего не помогает.
Решить эту проблему вам поможет наша статья по обучению текстового эмбеддера под домен.
В этой статье мы разберём последовательность действий, которую стоит предпринимать при обучении текстового эмбеддера на домен, узнаем, как обернуть специфику задачи вам на пользу и всё-таки нарастить конечное качество. Подробнее остановимся на этапе предобучения, рассмотрим RetroMAE, модификацию MLM для retrieval-моделей и контрастное обучение с InfoNCE, основной подход к улучшению семантики представлений в области.
Читайте новую статью по ссылке
👍1
Forwarded from CodeCamp
Полезное: нашёл библиотеку с 60+ сайд-проектами по нейросетям. Внутри гайды, по которым вы научитесь делать ИИ-агентов, RAG, поднимать MCP сервера и файн-тюнить модели.
У проектов разный уровень сложности, есть видео-туторы и весь нужный код — идеально для тренировки навыков.
Это бесплатно, забираем
У проектов разный уровень сложности, есть видео-туторы и весь нужный код — идеально для тренировки навыков.
Это бесплатно, забираем
😘2
Llama FireWall
https://www.arxiv.org/abs/2505.03574
https://thehackernews.com/2025/04/meta-launches-llamafirewall-framework.html
https://ai.meta.com/research/publications/llamafirewall-an-open-source-guardrail-system-for-building-secure-ai-agents/
https://www.arxiv.org/abs/2505.03574
https://thehackernews.com/2025/04/meta-launches-llamafirewall-framework.html
https://ai.meta.com/research/publications/llamafirewall-an-open-source-guardrail-system-for-building-secure-ai-agents/
arXiv.org
LlamaFirewall: An open source guardrail system for building secure...
Large language models (LLMs) have evolved from simple chatbots into autonomous agents capable of performing complex tasks such as editing production code, orchestrating workflows, and taking...
Forwarded from AISecHub
Agent Name Service (ANS) for Secure Al Agent Discovery.pdf
1.7 MB
Agent Name Service (ANS) for Secure Al Agent Discovery
The Agent Name Service (ANS), developed under the OWASP GenAI Security Project – Agentic Security Initiative, introduces a secure, DNS-inspired framework for AI agent discovery. ANS leverages Public Key Infrastructure (PKI) for identity verification, structured JSON schemas for communication, and a protocol adapter layer supporting A2A, MCP, and ACP protocols.
The architecture defines a comprehensive naming structure (ANSName) that encodes protocol, agent capability, provider, and version metadata, enabling consistent, secure resolution across diverse agent networks. Security measures include PKI-backed identity verification, digital signatures, and Zero-Knowledge Proofs (ZKP) for capability validation.
The Agent Name Service (ANS), developed under the OWASP GenAI Security Project – Agentic Security Initiative, introduces a secure, DNS-inspired framework for AI agent discovery. ANS leverages Public Key Infrastructure (PKI) for identity verification, structured JSON schemas for communication, and a protocol adapter layer supporting A2A, MCP, and ACP protocols.
The architecture defines a comprehensive naming structure (ANSName) that encodes protocol, agent capability, provider, and version metadata, enabling consistent, secure resolution across diverse agent networks. Security measures include PKI-backed identity verification, digital signatures, and Zero-Knowledge Proofs (ZKP) for capability validation.
Forwarded from Security Harvester
I built Mithra: a security scanner for LLM-integrated APIs (detects prompt injection, DAN..)
https://mithrasec.com:
1. It detects risks unique to AI-enabled APIs—such as prompt injection, context bleeding, over-permissive output, and misuse potential—before attackers exploit them.
2. Finds vulnerabilities where user input may alter LLM behavior, responses, or access control logic.
3. Get your AI Vulnerability Database Taxonomy (AVID) and OWASP Top 10 for Large Language Model Applications report in minutes.
@secharvester
https://mithrasec.com:
1. It detects risks unique to AI-enabled APIs—such as prompt injection, context bleeding, over-permissive output, and misuse potential—before attackers exploit them.
2. Finds vulnerabilities where user input may alter LLM behavior, responses, or access control logic.
3. Get your AI Vulnerability Database Taxonomy (AVID) and OWASP Top 10 for Large Language Model Applications report in minutes.
@secharvester
ALERT: A Framework for Efcient Extraction of Attack Techniques from Cyber Threat Intelligence Reports Using Active Learning
by NIST
https://tsapps.nist.gov/publication/get_pdf.cfm?pub_id=958028
by NIST
https://tsapps.nist.gov/publication/get_pdf.cfm?pub_id=958028
Forwarded from AISecHub
The Vulnerable MCP Project
A community-maintained database of known vulnerabilities, limitations, and security concerns with the Model Context Protocol (MCP)
vulnerablemcp.info
A community-maintained database of known vulnerabilities, limitations, and security concerns with the Model Context Protocol (MCP)
vulnerablemcp.info
Два определения агентов из статей 2023 года, в которых описываются агенты: LLM-агенты для планирования задач и использования инструментов (TPTU) и агенты когнитивной архитектуры (CoALA).
CoALA определяет "языковых агентов" как "систему искусственного интеллекта, которая использует LLM для взаимодействия с миром".
TPTU: агент - это "программа, использующая методы искусственного интеллекта для выполнения задач, которые обычно требуют человекоподобного интеллекта"
CoALA определяет "языковых агентов" как "систему искусственного интеллекта, которая использует LLM для взаимодействия с миром".
TPTU: агент - это "программа, использующая методы искусственного интеллекта для выполнения задач, которые обычно требуют человекоподобного интеллекта"
👍1