Assessing potential future artificial intelligence risks, benefits and policy imperatives. https://www.oecd.org/content/dam/oecd/en/publications/reports/2024/11/assessing-potential-future-artificial-intelligence-risks-benefits-and-policy-imperatives_8a491447/3f4e3dfb-en.pdf

Использование RAG и LLM для анализа кибератак по системным логам.

Наткнулся на простой, но интересный по результатам эксперимент. Задача состоит в поиске аномалий поведения системы по логам системных журналов.Для этого авторы используют RAG подход.

Метод простой. В базу retrieval складывают логи нормальных и аномальных исторических событий (которые были четко детектированы) в качестве ground truth примеров. Далее при анализе поведения системы ретривер запрашивает по системному сообщения логи из журналов в векторной БД. После, с помощью промта, просят LLM сравнить запрос с выдачей для определения принадлежности к классу нормально/нет.

Подход тестировался на типичных для задачи датасетах BGL и Thunderbird, система была спроектирована при помощи LangChain, эмбеддер был от OpenAI, как и сама LLM gpt3.5-like.

Ниже приложу результаты тестов. По F1-score RAG результаты, конечно, впечатляют. На самом, деле мы пришли к тому, что по сути имеем KNn + LLM логику. Как если бы мы судили о нормальности объекта по его описательной статистике/фичах, но уже на уровне перехода embeddings->тексты. Самое интересное, как LLM может распознать такой специфический домен, как анализ логов в cyber security во few-shot режиме? Видела ли подобное на pretrain? Или это уже проявляется та же эмерджентность?

Кстати от себя добавлю ещё ссылку на гит, в котором собраны ещё примеры сетов для анализа логов.

UPD. Вопрос зачем нам тогда LLM , если можно иметь embs+KNN? Ответ у авторов:в тч для OOV примеров. Тк системы быстро изменяются и тп. Более того, а почему бы не применять такой же подход для детекции атак на LLM? Просто собрав все примеры промт атак, что сейчас известны 🤔

На днях пара выходцев из Amazon опубликовала заслуживающую внимания новую модель угроз для ИИ-агентов.

Для тех, кто прогуливал, “ИИ-агент” - автономная система, которая принимает решения самостоятельно, “модель угроз" - список действий, которые хакеры могут проделать с вашей автономной системой, чтобы вам всячески навредить.

Модель предлагает 9 угроз:
- T1: Подмена логики — злоумышленник незаметно меняет алгоритмы рассуждений агента, подталкивая к вредоносным выводам под видом «правильных» решений.
- T2: Сдвиг целей — скрытное изменение базовых установок агента, чтобы его поведение постепенно смещалось в нужную атакующему сторону.
- T3: Отравление данных — внедрение ложной информации в базу знаний (например, RAG), которая искажает решения агента и самовоспроизводится в будущем. 
- T4: Несанкционированные действия — принуждение агента к операциям, выходящим за рамки его полномочий (например, запуск запрещённых скриптов).
- T5: Перегрузка ресурсов — атака запросами, которые истощают вычислительные мощности (CPU, GPU), выводя агента из строя.
- T6: Подмена идентификатора — обход проверок подлинности для выполнения действий от имени доверенного пользователя или агента.
- T7: Эксплуатация доверия — манипуляция пользователями через их слепое доверие к ИИ-рекомендациям. 
- T8: Зашумление мониторинга — генерация массы ложных событий, чтобы скрыть в логах реальные атаки.
- T9: Скрытый вектор — медленные/сложные атаки, обходящие системы защиты за счёт неочевидных паттернов.

Эксперты Wallarm зафиксировали 439 связанных с ИИ уязвимостей — это на 1025% больше, чем годом ранее. Почти все они связаны с API и включают инъекционные атаки, ошибки конфигурации и уязвимости, связанные с управлением памятью. Впервые в рейтинге угроз Wallarm появился новый тип атак — Memory Corruption and Overflow, связанный с некорректной обработкой памяти, что может приводить к утечке данных, сбоям и выполнению произвольного кода.


https://www.securitylab.ru/news/555968.php

Карточки рисков при развертывании LLM модели

GitHub - Repello-AI/Agent-Wiz: A CLI tool for threat modeling and visualizing AI agents built using popular frameworks like LangGraph, AutoGen, CrewAI, and more.
https://github.com/Repello-AI/Agent-Wiz

Доклад посвящен проблемам безопасности, связанным с растущим использованием LLM в различных приложениях. Особое внимание уделяется моделированию угроз на всех этапах SDLC, с акцентом на фазу проектирования.

Доклад охватывает растущую озабоченность угрозами в LLM и системах ИИ и предлагает универсальный подход к моделированию угроз.

Кроме того, он включает пример DFD и архитектуры с инструкциями для демонстрации и описывает возможности снижение риска путем диагностики областей доверия и определения потенциальной опасности в ИИ.


https://phdays.com/ru/forum/broadcast/?selectedDate=Thu+May+22+2025+00%3A00%3A00+GMT%2B0300+%28Москва%2C+стандартное+время%29&selectedTagSlug=ai&talk=2441

Каждая статья на этой платформе заслуживает отдельного внимания

Home | Palisade Research
https://palisaderesearch.org/