🧠 Зачем нужен Semantic Chunking для RAG приложений

При построении AI-агентов, работающих с пользовательскими данными, Retrieval-Augmented Generation — это одна из основных технологий наряду с LLM, на которых строится разработка Gen-AI приложений.
Тем более важно понимать, как именно использовать данные в RAG-пайплайнах и от чего зависит эффективность их использования.

📌 Ключевой момент — подготовка данных для загрузки в индекс перед их использованием в RAG-системах.
В библиотеках типа Langchain уже реализованы абстракции, которые делают что-то с данными “под капотом“.

Фактически данные — изначально большие куски текста — разбиваются на куски поменьше, так называемые чанки.
И здесь всё становится сложнее и интереснее:

- Можно разбить текст по переносу строки, если превышен фиксированный лимит символов (так делает CharacterSplitter в Langchain)
- Можно применить чуть более сложный Recursive Chunking

🤔 Но как не потерять изначальный контекст при таком делении?

Для решения этой проблемы в индустрии появился Semantic Chunking и его вариации.
По сути, этот метод вычисляет сходство между векторами разных предложений и объединяет их в один чанк либо, наоборот, разделяет на основе некоторого порога сходства.

Таким образом, не теряются семантические связи при делении текста на чанки, и это очень важный момент для эффективного RAG.

⚙️ Технически Semantic Chunking сложнее, особенно при использовании моделей-эмбеддингов.
Можно:

- Обучить такую модель на наших GPU immers.cloud и собственных данных
- Взять готовую с HuggingFace
- Или воспользоваться API OpenAI

@ruslandevlive — мысли о современных AI/ML-технологиях

🔍 Сравнение DeepSeek/OpenAI по критерию цена/качество

Я Ruslan Dev, амбассадор immers.cloud, и этот пост я подготовил на основе собственного опыта использования моделей OpenAI и DeepSeek V3 в одном приложении.

Я написал достаточно простой агент для автономной обработки текста средствами LLM.

Сразу стоит сказать, что есть открытые бенчмарки, которые показывают, какая из моделей на каких задачах справляется лучше.
Но — при использовании LLM в реальном приложении есть большой нюанс: стоимость генерируемых токенов.

На бенчмарках видно, что DeepSeek V3 и GPT-4o дают очень близкие результаты, и DeepSeek незначительно превосходит в большинстве случаев.
Однако стоимость инференса официального API DeepSeek V3 в 8–10 раз меньше, чем GPT-4o. Она ближе к стоимости GPT-4o-mini — именно последнюю я и использовал для своего агента.
И разница между v3 и mini уже очевидна, особенно для русского языка. GPT-4o-mini малопригодна для генерации сложных текстов на русском, с которыми DeepSeek справляется достаточно хорошо.

Но есть нюанс — для многих прикладных задач LLM необходимо файнтюнить.
И для малого бизнеса файнтюнинг модели уровня DeepSeek — неподъёмная задача:
я показывал развертывание 4bit-кванта этой модели в облаке immers.cloud, и мне понадобилось три видеокарты H100, чтобы выгрузить на GPU лишь половину слоёв модели.

Для файнтюнинга же вам понадобится деплоить несжатые веса в fp8, которые весят около 720 гигабайт.

@ruslandevlive — мысли о современных AI/ML-технологиях

🌿 С майскими праздниками!

Команда immers.cloud поздравляет вас с наступающими майскими праздниками! Желаем мощного перезаряда, свежего воздуха, сочного шашлыка и чуть-чуть отдохнуть от нейросетей (или наоборот — придумать новую). А если вдохновение придет прямо в разгар отдыха — наши облачные GPU, как всегда, готовы к работе! 💪💻

📅 График работы на майские:
Наша техподдержка в чате, как всегда, на посту 24/7 — без выходных, праздников и перерывов. Мы рядом, чтобы ваши проекты работали стабильно, даже когда вы отдыхаете.

💳 Важно для юр. лиц:
Из-за особенностей работы банков в праздничные дни, платежи могут зачисляться с задержкой.
Рекомендуем пополнить баланс до 30 апреля включительно, чтобы всё работало без пауз и неожиданностей.

Пусть май будет продуктивным... и вкусным!