Forwarded from CyberSecurityTechnologies
Whisper_Leak_SCA.pdf
463.4 KB
#SCA
#MLSecOps
"Whisper Leak: a side-channel attack on Large Language Models", Nov. 2025.
]-> https://github.com/yo-yo-yo-jbo/whisper_leak
// Whisper Leak - side-channel attack that infers user prompt topics from encrypted LLM traffic by analyzing packet size and timing patterns in streaming responses. Despite TLS encryption protecting content, these metadata patterns leak sufficient information to enable topic classification
#MLSecOps
"Whisper Leak: a side-channel attack on Large Language Models", Nov. 2025.
]-> https://github.com/yo-yo-yo-jbo/whisper_leak
// Whisper Leak - side-channel attack that infers user prompt topics from encrypted LLM traffic by analyzing packet size and timing patterns in streaming responses. Despite TLS encryption protecting content, these metadata patterns leak sufficient information to enable topic classification
🔥1
Forwarded from AGI Security
Forwarded from CyberSecurityTechnologies
Open_Model_Vuln_Analysis.pdf
947.9 KB
#AIOps
#Research
#MLSecOps
"Death by a Thousand Prompts: Open Model Vulnerability Analysis", Nov. 2025.
// We tested the safety and security postures of eight open-weight LLMs to identify vulnerabilities that may impact subsequent fine-tuning and deployment. Using automated adversarial testing, we measured each model’s resilience against single-turn and multi-turn prompt injection and jailbreak attacks..
#Research
#MLSecOps
"Death by a Thousand Prompts: Open Model Vulnerability Analysis", Nov. 2025.
// We tested the safety and security postures of eight open-weight LLMs to identify vulnerabilities that may impact subsequent fine-tuning and deployment. Using automated adversarial testing, we measured each model’s resilience against single-turn and multi-turn prompt injection and jailbreak attacks..
👍3🔥2👎1🥱1
Forwarded from CyberSecurityTechnologies
Security_Analysis_AgenticAI_Protocols.pdf
979.4 KB
#AIOps
#Research
"Security Analysis of Agentic AI Communication Protocols: A Comparative Evaluation", Nov. 2025.
// This paper presents the first empirical, comparative security analysis of the official CORAL implementation and a high-fidelity, SDK-based ACP implementation, benchmarked against a literature-based evaluation of A2A
#Research
"Security Analysis of Agentic AI Communication Protocols: A Comparative Evaluation", Nov. 2025.
// This paper presents the first empirical, comparative security analysis of the official CORAL implementation and a high-fidelity, SDK-based ACP implementation, benchmarked against a literature-based evaluation of A2A
👍2🔥2👎1💩1🆒1
Forwarded from CyberSecurityTechnologies
Building_Scalable_DaC_Pipelines.pdf
444.4 KB
#DevOps
#Whitepaper
"Building Scalable Detection-as-Code Pipelines with Agentic Validation and Refinement", Aug. 2025.
// The proposed DaC pipeline uses LLMs for logic conversion, variant analysis, and simulation testing via Atomic Red Team, with queries executed against Splunk to measure true positives and false negatives. This paper addresses the pressing need for scalable automation in detection engineering to counter evolving cyber threats
#Whitepaper
"Building Scalable Detection-as-Code Pipelines with Agentic Validation and Refinement", Aug. 2025.
// The proposed DaC pipeline uses LLMs for logic conversion, variant analysis, and simulation testing via Atomic Red Team, with queries executed against Splunk to measure true positives and false negatives. This paper addresses the pressing need for scalable automation in detection engineering to counter evolving cyber threats
🔥2❤1
Forwarded from 御魂Hacker_🇨🇳-军火库 (黑 大帅🇨🇳)
https://github.com/itsOwen/CyberScraper-2077
A Powerful web scraper powered by LLM | OpenAI, Gemini & Ollama
#github #tools
A Powerful web scraper powered by LLM | OpenAI, Gemini & Ollama
#github #tools
❤1
Forwarded from Deleted Account
New Report Warns of LLM-Enhanced Cyber Threats: Polymorphic Malware, Customer
https://ift.tt/eaGp5ZO
https://ift.tt/eaGp5ZO
Socket
New Report Warns of LLM-Enhanced Cyber Threats: Polymorphic ...
A new report explores how advancements in LLMs are enhancing cyber threats, including polymorphic malware, personalized spearphishing, and the risk of...
Forwarded from Похек AI (ОТПУСК | Сергей Зыбнев)
Top 10 угроз для Agentic AI
#OWASP #llm #top10
Пока мы обсуждали, prompt injections в LLM, хакеры перешли к атакам на агентные AI-системы. Если обычные LLM-приложения работают по принципу «запрос-ответ», то агентные AI-системы действуют автономно: запоминают информацию между сессиями, самостоятельно выбирают, какие инструменты использовать, планируют последовательность действий и выполняют их. И чем больше автономии у AI-агента, тем выше цена ошибки.
➡️ AAI01: Memory Poisoning (Отравление памяти)
Атака, при которой злоумышленник внедряет ложную или вредоносную информацию в долгосрочную или краткосрочную память агента. Это приводит к постепенному изменению его поведения и принятию неверных решений.
➡️ AAI02: Tool Misuse (Злоупотребление инструментами)
Манипуляция агентом с целью заставить его использовать свои легитимные инструменты (API, shell, email) для выполнения вредоносных действий.
➡️ AAI03: Privilege Compromise (Компрометация привилегий)
Эксплуатация чрезмерных или неправильно настроенных прав доступа, предоставленных агенту, который становится идеальным вектором для эскалации привилегий.
➡️ AAI04: Resource Overload (Перегрузка ресурсов)
Атака, направленная на исчерпание вычислительных, сетевых или финансовых ресурсов агента (Denial of Service / Denial of Wallet).
➡️ AAI05: Cascading Hallucinations (Каскадные галлюцинации)
Распространение и усиление ложной информации (галлюцинаций) через взаимодействие нескольких агентов или в ходе повторяющихся циклов работы одного агента. Одна ошибка, сохраненная в памяти, становится основой для новых, еще более масштабных искажений.
➡️ AAI06: Intent Breaking & Goal Manipulation (Нарушение намерений и манипуляция целями)
Тонкая манипуляция процессом планирования Al-агента, при которой его первоначальная цель искажается или подменяется вредоносной.
➡️ AAI07: Misaligned and Deceptive Behaviors (Несогласованное и обманчивое поведение)
Агент выполняет вредоносные действия, которые формально соответствуют его цели, но нарушают неявные правила или этические нормы. В эту категорию входит и обманчивое выравнивание (deceptive alignment), когда агент только имитирует безопасное поведение.
➡️ AAI08: Repudiation & Untraceability (Отказ от ответственности и неотслеживаемость)
Невозможность достоверно определить причины действий агента из-за недостаточного, неполного или ненадежного логирования.
➡️ AAI09: Identity Spoofing & Impersonation (Подмена личности и имперсонация)
Атака, при которой агент (или атакующий) выдает себя за другого агента или пользователя для получения несанкционированного доступа или выполнения действий от его имени.
➡️ AAI10: Overwhelming Human-in-the-Loop (Перегрузка человека в цикле)
Генерация огромного количества запросов на подтверждение с целью вызвать у человека-оператора усталость от одобрений (approval fatigue) и заставить его по ошибке одобрить вредоносное действие.
🔗 Данный пост выжимка моей статьи на Habr, где я для каждой категории расписал сценарий атаки, с примерами промптов, рекомендаций и т.д. Очень советую прочитать всё
🌚 @poxek_ai
#OWASP #llm #top10
Пока мы обсуждали, prompt injections в LLM, хакеры перешли к атакам на агентные AI-системы. Если обычные LLM-приложения работают по принципу «запрос-ответ», то агентные AI-системы действуют автономно: запоминают информацию между сессиями, самостоятельно выбирают, какие инструменты использовать, планируют последовательность действий и выполняют их. И чем больше автономии у AI-агента, тем выше цена ошибки.
Атака, при которой злоумышленник внедряет ложную или вредоносную информацию в долгосрочную или краткосрочную память агента. Это приводит к постепенному изменению его поведения и принятию неверных решений.
Манипуляция агентом с целью заставить его использовать свои легитимные инструменты (API, shell, email) для выполнения вредоносных действий.
Эксплуатация чрезмерных или неправильно настроенных прав доступа, предоставленных агенту, который становится идеальным вектором для эскалации привилегий.
Атака, направленная на исчерпание вычислительных, сетевых или финансовых ресурсов агента (Denial of Service / Denial of Wallet).
Распространение и усиление ложной информации (галлюцинаций) через взаимодействие нескольких агентов или в ходе повторяющихся циклов работы одного агента. Одна ошибка, сохраненная в памяти, становится основой для новых, еще более масштабных искажений.
Тонкая манипуляция процессом планирования Al-агента, при которой его первоначальная цель искажается или подменяется вредоносной.
Агент выполняет вредоносные действия, которые формально соответствуют его цели, но нарушают неявные правила или этические нормы. В эту категорию входит и обманчивое выравнивание (deceptive alignment), когда агент только имитирует безопасное поведение.
Невозможность достоверно определить причины действий агента из-за недостаточного, неполного или ненадежного логирования.
Атака, при которой агент (или атакующий) выдает себя за другого агента или пользователя для получения несанкционированного доступа или выполнения действий от его имени.
Генерация огромного количества запросов на подтверждение с целью вызвать у человека-оператора усталость от одобрений (approval fatigue) и заставить его по ошибке одобрить вредоносное действие.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🔥1
Forwarded from Криптонит. Разработка, наука, шифрование
RAG-Anything — универсальный фреймворк для глубокого анализа. Специально для рубрики #нейрословарь подробнее о нём рассказали коллеги из лаборатории искусственного интеллекта «Криптонита».
Метод RAG (Retrieval-Augmented Generation, или извлечение и расширенная генерация) позволяет большим языковым моделям обращаться к внешним базам данных.
🔴 Однако у него есть фундаментальный недостаток: классический RAG работает исключительно с текстом.
При этом в научных статьях, отчётах и технической документации значительная часть данных представлена в виде изображений: графиков, формул, фотографий, карт. Поэтому традиционные системы ИИ либо игнорируют такую информацию, либо ограничиваются анализом подписей к изображениям.
❗️ Для решения этой проблемы команда исследователей из Гонконгского университета представила RAG-Anything — универсальный фреймворк, который позволяет обрабатывать разные типы данных как единую сеть взаимосвязанных объектов.
В основе этой мультимодальной системы лежит стратегия двойного графа (dual-graph construction), которая создаёт два типа связей:
🔹 перекрёстно-модальные связи, соединяющие разные типы данных. Например, график связывается не только с текстовой подписью, но и с фрагментом текста, где он упоминается.
🔹 текстовые семантические связи, фиксирующие смысловые отношения между фрагментами текста. Например, «… как вы можете видеть на графике 1… подробнее см. в таблице 2».
🟢 Объединяя эти представления, RAG-Anything создаёт единую «карту знаний» документа. Это позволяет системе проводить гибридный поиск: сочетающий в себе навигацию по структурным связям в графах и семантический поиск по смыслу.
В результате на сложный запрос ИИ может дать более полный и корректный ответ, собрав фактические данные не только из текста, но и из соответствующих иллюстраций.
Это расширяет возможности ИИ в медицине, финансовой аналитике, анализе технической документации и во многих других областях, где критически важна полнота информации.
Метод RAG (Retrieval-Augmented Generation, или извлечение и расширенная генерация) позволяет большим языковым моделям обращаться к внешним базам данных.
При этом в научных статьях, отчётах и технической документации значительная часть данных представлена в виде изображений: графиков, формул, фотографий, карт. Поэтому традиционные системы ИИ либо игнорируют такую информацию, либо ограничиваются анализом подписей к изображениям.
В основе этой мультимодальной системы лежит стратегия двойного графа (dual-graph construction), которая создаёт два типа связей:
В результате на сложный запрос ИИ может дать более полный и корректный ответ, собрав фактические данные не только из текста, но и из соответствующих иллюстраций.
Это расширяет возможности ИИ в медицине, финансовой аналитике, анализе технической документации и во многих других областях, где критически важна полнота информации.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1👍1👨💻1
Forwarded from CyberSecurityTechnologies
Evaluating_LLM_for_Automated_Threat_Modeling.pdf
691.2 KB
#AppSec
#Whitepaper
#Threat_Research
"Comparative Analysis of Large Language Model Performance in Automated Threat Modeling: A WordPress Application Case Study", Aug. 2025.
]-> Repo
// This study investigates the use of LLMs as an assistant to conduct threat models of systems or apps. It researches the efficacy of a sample of modern LLMs against a constant system, a WordPress application deployed in Kubernetes. It compares the results based on four key metrics: threat coverage, completeness & depth of explanation, consistency, and false positive rate
#Whitepaper
#Threat_Research
"Comparative Analysis of Large Language Model Performance in Automated Threat Modeling: A WordPress Application Case Study", Aug. 2025.
]-> Repo
// This study investigates the use of LLMs as an assistant to conduct threat models of systems or apps. It researches the efficacy of a sample of modern LLMs against a constant system, a WordPress application deployed in Kubernetes. It compares the results based on four key metrics: threat coverage, completeness & depth of explanation, consistency, and false positive rate
Forwarded from CodeCamp
Ночное-полезное: 50-страничный гайд о том, как делать ИИ-агентов от Google, которые реально работают 🕺
Что внутри:
— Архитектура агента и его основные блоки;
— LLM как мозг и управляющий центр;
— Подключение инструментов и API;
— Оркестрация нескольких агентов;
— Деплой, продакшн и метрики;
— Самообучающиеся и эволюционирующие агенты;
— Пример живой системы — AlphaEvolve.
Читаем перед сном на английском или на русском💃
Что внутри:
— Архитектура агента и его основные блоки;
— LLM как мозг и управляющий центр;
— Подключение инструментов и API;
— Оркестрация нескольких агентов;
— Деплой, продакшн и метрики;
— Самообучающиеся и эволюционирующие агенты;
— Пример живой системы — AlphaEvolve.
Читаем перед сном на английском или на русском
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Пост Лукацкого
И этот день, как и вчера, мы финалим искусственным интеллектом 🧠 , а именно очередным руководством по безопасности ИИ от SANS. И хотя это проект, он достаточно неплохо систематизирован и, в целом, вполне интересен уже сам по себе. Там даже история с мониторингом ИИ и упомянутого утром инференса упоминается 🤔
Заметили, что я стал все чаще писать про ИИ в контексте кибербезопасности?✍️ Это я еще себя сдерживаю, так как в новостном потоке эта тема реально стала доминирующей – чуть ли не половина всех новостей про это. Да, местами это хайп или переливание пустого в порожнее, но часто бывает немало реально полезного контента. Не все из этого релевантно для нашего региона, но многое. Так что изучайте ИИ... с разных сторон 👩🎓
#sans #ии #mlsecops
Заметили, что я стал все чаще писать про ИИ в контексте кибербезопасности?
#sans #ии #mlsecops
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Жёлтый AI
Наша команда вернулась с EMNLP 2025, на которой у нас было принято две статьи 🐫
Первая – Steering LLM Reasoning Through Bias-Only Adaptation про то, как можно улучшать reasoning в LLM при помощи минимальных добавок (значительно меньших, чем LoRA и прочие). Небольшой спойлер, который можно найти в репозитории с кодом статьи – это также открывает новые возможности для интерпретации reasoning моделей.
Вторая – Train One Sparse Autoencoder Across Multiple Sparsity Budgets to Preserve Interpretability and Accuracy посвящена новому методу обучения Sparse Autoencoders, для которого теперь можно контроллировать степень разреженности пространства фичей после обучения. Для этого мы также опубликовали triton кернелы, чтобы все могли обучать модель нашим методом быстро, доступно как на github, так и на hugging face.
Первая – Steering LLM Reasoning Through Bias-Only Adaptation про то, как можно улучшать reasoning в LLM при помощи минимальных добавок (значительно меньших, чем LoRA и прочие). Небольшой спойлер, который можно найти в репозитории с кодом статьи – это также открывает новые возможности для интерпретации reasoning моделей.
Вторая – Train One Sparse Autoencoder Across Multiple Sparsity Budgets to Preserve Interpretability and Accuracy посвящена новому методу обучения Sparse Autoencoders, для которого теперь можно контроллировать степень разреженности пространства фичей после обучения. Для этого мы также опубликовали triton кернелы, чтобы все могли обучать модель нашим методом быстро, доступно как на github, так и на hugging face.