Историю создания RAG системы для нашей компании можно почитать тут:
Как я сделал RAG для своей компании
Как я сделал RAG для своей компании (часть 2). И как начал делать AI Агента
AI агенты — клоны сотрудников (часть 3)
Подпишись 👉🏻 @aigentto 🤖
Как я сделал RAG для своей компании
Как я сделал RAG для своей компании (часть 2). И как начал делать AI Агента
AI агенты — клоны сотрудников (часть 3)
Подпишись 👉🏻 @aigentto 🤖
Хабр
Как я сделал RAG для своей компании
Появилась свободное время, и я решил сделать RAG (Retrieval Augmented Generation) для нашей компании. Компания небольшая, но документации технической и бизнес накопилось очень много, в основном на...
Итак, мы продолжаем создавать RAG (Retrieval Augmented Generation) систему для нашей компании. На этой неделе обсудили с Platform team текущую архитектуру и поняли, что нужно внедрять MCP Server. Да, мы пока делали без него 🤦
MCP будет работать с запросами пользователей, заниматься прояснением их намерений и направлять запросы к соответствующей системе знаний.
Нужно понять, как нам сделать это в рамках текущей инфраструктуры, где у нас уже есть три полезных бота на основе OpenAI Assistant. Будем либо всё переделывать и использовать LangChain, либо прикручивать текущих AI Assistant к MCP. Выбор MCP сервера тоже важный вопрос.
В приложении растущая схема нашей RAG, появился MCP сервер, пока только на схеме 🚀
Подпишись 👉🏻 @aigentto 🤖
MCP будет работать с запросами пользователей, заниматься прояснением их намерений и направлять запросы к соответствующей системе знаний.
Нужно понять, как нам сделать это в рамках текущей инфраструктуры, где у нас уже есть три полезных бота на основе OpenAI Assistant. Будем либо всё переделывать и использовать LangChain, либо прикручивать текущих AI Assistant к MCP. Выбор MCP сервера тоже важный вопрос.
В приложении растущая схема нашей RAG, появился MCP сервер, пока только на схеме 🚀
Подпишись 👉🏻 @aigentto 🤖
Скрины общения с нашим WikiBot. Самое интересное, что WikiBot обучен только на текстах с нашей Wiki, где есть частичное описание нашего App, но, получая картинку на вход, он способен определить, что это за экран, для чего он нужен и какой экран идет следующим 🤯 А что будет, когда мы векторизируем реальные картинки нашего App 🚀
Подпишись 👉🏻 @aigentto 🤖
Подпишись 👉🏻 @aigentto 🤖
ИИ агенты.pdf
1.6 MB
Хорошая книга по ИИ-агентам. На английском, но зато всё детально и без воды разжёвано. Мы идём схожим путём: пока на архитектуре OpenAI, но на этой неделе будем внедрять MCP-сервер с LangChain 🤞 По результатам будет статья на Habr 📖
По ИИ-агентам уже чётко понятно, что чем точнее и мельче их нарезать (по задачам), тем качественнее они выполняют свою функцию. Где-то вдалеке маячит оркестратор агентов. Попробуем сделать его внутри MCP-сервера, но, возможно, это будет отдельный Chief Agent.
Подпишись 👉🏻 @aigentto 🤖
По ИИ-агентам уже чётко понятно, что чем точнее и мельче их нарезать (по задачам), тем качественнее они выполняют свою функцию. Где-то вдалеке маячит оркестратор агентов. Попробуем сделать его внутри MCP-сервера, но, возможно, это будет отдельный Chief Agent.
Подпишись 👉🏻 @aigentto 🤖
При использовании различных LLM из разных культур ярко заметны различия в коммуникации. Американский ChatGPT часто извиняется, русский Gigachat предельно конкретен и может показаться грубоватым, а китайский DeepSeek не то и не другое 😀😀😀
В приложении представлена карта стилей коммуникации разных стран, которую также приходится учитывать при переключении моделей в RAG и ИИ-агентах.
Подпишись 👉🏻 @aigentto 🤖
В приложении представлена карта стилей коммуникации разных стран, которую также приходится учитывать при переключении моделей в RAG и ИИ-агентах.
Подпишись 👉🏻 @aigentto 🤖
Добавили MCP-сервер (Model Context Protocol) к нашей RAG-системе и зоопарку ИИ-агентов 💪.
Теперь сообщения из Slack приходят на MCP с любых Slack-ботов, которые прописаны в файле .env.
Затем, если был тегнут тематический бот — WikiBot, BugBot или TeamBot, у него уже есть четкая функция, и сообщение просто маршрутизируется на соответствующий OpenAI Assistant. Сложность заключалась еще и в том, чтобы сделать обратную маршрутизацию: когда, например, BugBot решает, что нужно завести багу в JIRA, он возвращает вызов функции обратно в MCP-сервер, и тот, догадавшись, что требуется вызов соответствующего инструмента — create_jira_ticket, его вызывает.
Если же тегнуть общего бота ChiefBot, то он должен понять из контекста, что нужно (ему помогает вызов chatGPT), и вызвать соответствующий OpenAI Assistant или инструмент (например, create_jira_ticket).
Подпишись 👉🏻 @aigentto 🤖
Теперь сообщения из Slack приходят на MCP с любых Slack-ботов, которые прописаны в файле .env.
Затем, если был тегнут тематический бот — WikiBot, BugBot или TeamBot, у него уже есть четкая функция, и сообщение просто маршрутизируется на соответствующий OpenAI Assistant. Сложность заключалась еще и в том, чтобы сделать обратную маршрутизацию: когда, например, BugBot решает, что нужно завести багу в JIRA, он возвращает вызов функции обратно в MCP-сервер, и тот, догадавшись, что требуется вызов соответствующего инструмента — create_jira_ticket, его вызывает.
Если же тегнуть общего бота ChiefBot, то он должен понять из контекста, что нужно (ему помогает вызов chatGPT), и вызвать соответствующий OpenAI Assistant или инструмент (например, create_jira_ticket).
Подпишись 👉🏻 @aigentto 🤖
Создал уже три варианта реализации:
1️⃣ MCP+FastAPI+OpenAI+SlackBot Adapters - это для нашей компании Canvas. Там нужен только OpenAI со своими Assitants+Vectorstore.
2️⃣ MCP+NoHTTP+LangChain+OpenAI+SlackBot Adapters+TelegramBot Adapters - этот вариант без HTTP сервера (без FastAPI), он рутит все внутри кода, поэтому быстрее работает (но нельзя отделить нагрузку на уровне роутинга). Плюс сюда прикрутил telegram ботов. Тут пришлось запускать Slack ботов в background threads, а telegram в async. Это на самом деле проблема, если надо будет прикрутить еще другой мессанджер?.. Нужно улучшить архитектуру.
3️⃣ MCP+NoHTTP+LangChain+Yandex/Gigachat+Telegram adapters - это для российского рынка, так же тут реализовал fallback, если например Yandex основная модель и она падает, то будет рутинг в Gigachat. Здесь использовал aiogram для работы с telegram, возможно этот вариант сработает в п.2 для реализации non-blocking socket мода работы с двумя и более мессенджерами.
На варианте 3 буду делать AI ботов для telegram, хочу чтобы архитектура держала большое количество запросов (горизонтальное маштабирование). Тут смысл, что отдельный инстанс бота работает только с одним ботом, то есть не нужно решать проблемы из п.2 по блокированию запросов между разными типами ботов.
Надеюсь, скоро соберусь и напишу статью на Habr с деталями реализации 🔧
Подпишись 👉🏻 @aigentto 🤖
1️⃣ MCP+FastAPI+OpenAI+SlackBot Adapters - это для нашей компании Canvas. Там нужен только OpenAI со своими Assitants+Vectorstore.
2️⃣ MCP+NoHTTP+LangChain+OpenAI+SlackBot Adapters+TelegramBot Adapters - этот вариант без HTTP сервера (без FastAPI), он рутит все внутри кода, поэтому быстрее работает (но нельзя отделить нагрузку на уровне роутинга). Плюс сюда прикрутил telegram ботов. Тут пришлось запускать Slack ботов в background threads, а telegram в async. Это на самом деле проблема, если надо будет прикрутить еще другой мессанджер?.. Нужно улучшить архитектуру.
3️⃣ MCP+NoHTTP+LangChain+Yandex/Gigachat+Telegram adapters - это для российского рынка, так же тут реализовал fallback, если например Yandex основная модель и она падает, то будет рутинг в Gigachat. Здесь использовал aiogram для работы с telegram, возможно этот вариант сработает в п.2 для реализации non-blocking socket мода работы с двумя и более мессенджерами.
На варианте 3 буду делать AI ботов для telegram, хочу чтобы архитектура держала большое количество запросов (горизонтальное маштабирование). Тут смысл, что отдельный инстанс бота работает только с одним ботом, то есть не нужно решать проблемы из п.2 по блокированию запросов между разными типами ботов.
Надеюсь, скоро соберусь и напишу статью на Habr с деталями реализации 🔧
Подпишись 👉🏻 @aigentto 🤖