Попробовал фреймворк для LLM, который может шустро работать даже на CPU.

На моем MacBook M3, кажется, он задействовал и GPU, но скорость реально выше.

Теперь для «параноиков», которые не хотят, чтобы даже 1 байт информации их компании передавался во внешние LLM, можно собрать RAG и ИИ-агентов даже на компьютере вашего бухгалтера 😀

Одно НО: необходимо приводить модели к 1-битному формату — то есть любые модели сюда не прикрутишь без танцев с бубнами. Но постепенно таких моделей становится все больше 🔥

Подпишись 👉🏻 @aigentto 🤖

Вышла статья на habr 👉 Сделать App одним промтом 👍 где мы пробуем сделать целый App одним промтом (вайб кодинг) 🤪

Подпишись 👉🏻 @aigentto 🤖

Вышла новая статья "Как сделать RAG для своей компании" на HABR 👏

В приложении полная картинка шагов построения RAG системы ⚡️

Подпишись 👉🏻 @aigentto 🤖

Если ваш ИИ-сгенерированный контент пессимизируется поисковиками, то проверьте его на ватермарки. ИИ-сгенерированный контент лучше чистить 🧹

Например, ИИ от OpenAI оставляет скрытые ловушки (ватермарки) в тексте - o4-mini и o3 прячут коды неразрывного пробела в формате Unicode 🥷

Они не видны в большинстве редакторов, но их можно найти, например таким скриптом.

Подпишись 👉🏻 @aigentto 🤖

Подкаст на основе последней статьи по теме "Как сделать RAG систему для своей компании". Для тех кому проще послушать, чем читать.

Сделано на основе https://notebooklm.google.com, очень удобно. Я, когда большую статью лень читать, делаю такой подкаст и слушаю, когда бегаю. Любая тема, озвученная в ролях, намного легче заходит, потом всегда можно посмотреть в статье точечно то, что заинтересовало. Рекомендую ➕➕➕

Подпишись 👉🏻 @aigentto 🤖

Ограничения инфраструктуры OpenAI

Сейчас помогаем делать RAG-систему для одной российской компании, которая уже использует OpenAI. Хотели перевести всё на рельсы AI Assistants + vectorstore, но передумали...

Дело в том, что у ребят есть довольно хорошая схема сбора обратной связи: после каждого ответа боту в Telegram можно поставить like или dislike. Это, в свою очередь, меняет вес для выбранных векторов по запросу - либо понижает (dislike), либо повышает (like).

Сделать подобную манипуляцию в OpenAI vectorstore нельзя - это blackbox. Туда можно только загрузить данные, а управлять выборкой будет сам OpenAI, что удобно, но лишает вас тонкой настройки.

А фича сбора обратной связи очень полезная, поэтому будем делать локальную векторную БД. При этом будем использовать OpenAI Assistants, скармливая ему выборку векторов, веса которых мы будем менять в зависимости от обратной связи пользователей.

Таким образом, у нас будет память от OpenAI (threads) и разбивка по ассистентам, что позволит избежать использования других фреймворков типа LangChain и AutoGen.

Берём лучшее из возможного, и всегда помним о ключевом принципе инженерии - best part is no part (лучшая часть - это отсутствие этой части).

Подпишись 👉🏻 @aigentto 🤖

Вышла статья Как сделать RAG/ИИ-Асистента без кода 🔥

Делаем генератор постов для канала📖, поиск рейсов ✈️ и бронирование отелей через Yandex Travel API 🛎

Подпишись 👉🏻 @aigentto 🤖

В создании ассистентов и RAG-систем очень важно понимать цель — от этого сильно зависят архитектура и инструменты.

Из цели вытекают наши явные и неявные потребности, под которые подбираются соответствующие инструменты. Если для вас критична скорость ответа (секунды), использовать OpenAI Assistant — не лучший вариант. Лучше локальная векторная база данных и быстрая модель. В этом случае придётся самостоятельно реализовать локальное хранение данных и другие компоненты — кода будет значительно больше, а поддержка сложнее.

Например, если мы делаем клона сотрудника или команды, можно использовать OpenAI Assistants вместе с OpenAI vectorstore, обновляя vectorstore раз в день или чаще. Ведь мы не ожидаем, что реальный сотрудник ответит на сообщение в Slack за 2 секунды, поэтому подождать 5–20 секунд вполне нормально.

Второй пример: если мы делаем WikiBot или JIRABot, который должен интерактивно искать по Wiki или JIRA, здесь важна актуальность постоянно меняющейся информации. При этом подождать качественного ответа 5–20 секунд тоже приемлемо.

Если же данные RAG-системы почти не меняются (обновляются редко), актуальность не так важна, а объём данных небольшой (например, система адаптации нового сотрудника), но хочется, чтобы бот отвечал быстро (1–3 секунды), а пользователей тысячи, инфраструктура OpenAI Assistant может не подойти — это «чёрный ящик», в том числе по скорости.

Но можно реализовать семантический кэш: бот будет задумываться только при первом обращении с новым вопросом, а затем брать ответ из кэша, не обращаясь к Assistant.

Если же актуальность критична, документов и пользователей много, и требуется быстрый ответ — OpenAI не подходит совсем. Здесь лучше использовать локальный фреймворк, например, LangChain.

Подпишись 👉🏻 @aigentto 🤖