PWN AI

Forwarded from PurpleBear (Vadim Shelest)

767 viewsArtyom Semenov, 13:30

Forwarded from PurpleBear (Vadim Shelest)

Summoning RAGnarok With Your Nemesis

Такой провокационный заголовок получил пост SpecterOps с описанием функциональности LLM чат бота RAGnarok для удобного поиска по индексу данных, которые агрегирует Nemesis.


RAGnarok

- это ~~такой Судный день, если бы Терминатора🤖 снимали в Скандинавии~~ чат бот, который использует RAG (retrieval-augmented generation) метод работы с LLM, когда пользователь пишет свой вопрос, а под капотом к этому вопросу добавляется дополнительная информация из каких‑то внешних источников и подается все целиком на вход как промт для языковой модели. Другими словами RAG должен найти соответствующую информацию в проиндексированных Nemesis данных и подать на вход LLM не только вопрос пользователя, но и релевантную запросу часть содержимого базы данных, чтобы LLM могла сформировать правильный и релевантный ответ.

RAGnarok использует openchat-3.5-0106, intel/neural-chat-7b-v3-3, Starling-LM-7b-alpha, reranker на основе BAAI/bge-reranker-base и embedding model на основе TaylorAI’s gte-tiny. Остальные подробности относительно архитектуры и выбора компонентов можно найти в блоге🤪
Простыми словами, это просто чатик в веб-интерфейсе, который поднимается локально и подключается к API Nemesis. Он с трудом работает без GPU, падает когда упирается в потолок по RAM при обработке тяжелых запросов и позволяет искать информацию по данным Nemesis через интерфейс чат бота🙈

Мое мнение после экспериментов с RAGnarok - это прикольно😁 Но практической пользы от его использования не много, за исключением формулировок для Executive Summary части отчета по проекту😎 Все тоже самое можно делать через поиск по интерфейсу Nemesis, хотя если добавить бота для Telegram, прикрутить OpenAI Whisper API для распознавания голосовых сообщений и какой-нибудь аналог GPT-4 Vision может получится такой личный "AI секретарь" Red Team оператора😂

Medium

Summoning RAGnarok With Your Nemesis

With the explosion of large language model (LLM) use, everyone is rushing to apply LLMs to their specific industry and it’s the same for…

947 viewsArtyom Semenov, 13:30