[Перевод] Что такое Retrieval-Augmented Generation (RAG) в языковых моделях и как оно работает?

В контексте разговоров о больших языковых моделях (LLM) все чаще возникает аббревиатура RAG – Retrieval-Augmented Generation, или если переводить на русский язык, то «поисковая дополненная генерация». В этом тексте попробуем в общих чертах разобраться, как работает RAG, и где он может быть применим на практических задачах.

Читать далее

#rag #llm #nlp #искусственный_интеллект #ai #retrieval_augmented_generation | @habr_ai

Hippo-RAG: Долговременная память для LLM, вдохновленная нейробиологией

Ученые часто вдохновляется нашими или животными биологическими структурами: CNN, MLP, Backprop, и для многих других исследований можно найти сходства в реальном мире. Недавно вышла статья, которая делает то же самое, но для RAG (Retrieval-Augmented Generation). В некотором роде, это недостающая современным LLM долгосрочная память. Это понятно, а причем тут неокортекст, гиппокамп и другие сложные слова? Давайте посмотрим. Читать далее

#llm #rag #retrieval_augmented_generation #retrieval #machine_learning #machine_learning #natural_language_processing #transformer #transformers | @habr_ai

«Гараж» как инкубатор инноваций и л̶о̶г̶о̶в̶о S̶k̶y̶n̶e̶t

Привет, Хабровчане!

Меня зовут Андрей Беляев, и я занимаюсь расширением возможностей организаций, внедряя ИИ-помощников.

Сегодня я расскажу, как наша R&D-лаборатория, «лампово» называемая «Гараж», исследовала потенциал больших языковых моделей, проверяла бизнес-гипотезы и технические решения и в итоге запустила процесс создания корпоративной экосистемы GenAI, а также технологической платформы в ее основе.

Читать далее

#chatgpt #genai #rag #retrieval_augmented_generation #techradar #codellm #whisper #openai #localai #ollama | @habr_ai

Как мы прикрутили RAG для интент-классификации, или Трудности перевода на LLM-ский

И не опять, а снова — про этот ваш RAG. Многие продуктовые команды сейчас пробуют приспособить его для своих задач — и мы, команда Speech&Text в компании Домклик, не избежали этой участи. Но не (только) потому, что это модно и молодёжно — попробовать RAG‑подход нас побудила необходимость решить определённые насущные проблемы. Что же это за проблемы, как мы встраивали RAG и что из этого получилось? Если интересно узнать, то милости просим в текст :)

Читать далее

#rag #gemma2 #llm #llama_cpp #intent_recognition #retrieval_augmented_generation #gemma #time_to_market #ttm #чат_бот | @habr_ai

Как выбрать embedding модель без датасета и исторических данных

С появлением больших языковых моделей тема векторного поиска обрела новое дыхание. Компании, которые хотят внедрить архитектуру Retrieval-Augmented Generation (RAG), сталкиваются с вопросом: как выбрать эмбеддинги, которые будут работать эффективно именно с их данными?

Выбор эмбеддинг-модели — это стратегически важное и долгосрочное решение, так как оно определяет качество поиска и производительность системы. Но этот выбор особенно сложно сделать на ранних этапах развития вашего проекта, когда данных для анализа ещё нет. При этом замена модели в будущем может оказаться дорогостоящей и ресурсозатратной.

На первый взгляд, решение принять несложно — заходим на какой-нибудь популярный бенчмарк и берем модель с топа. Но успех на лидерборде не гарантирует аналогичных результатов в специфичных доменах, таких как финансы, медицина или e-com. Без собственного датасета или пользовательской истории выбор модели становится настоящей проблемой.

В этой статье мы представим подходы к качественной оценке эмбеддинг-моделей, применимые даже при отсутствии данных, если вы работаете в специализированной предметной области. Мы рассмотрим несколько способов оценки поведения векторных представлений, которые помогут сделать информированный выбор с опорой на реалии вашего проекта. Читать далее

#embeddings #nlp #python #retrieval #ai #rag #retrieval_augmented_generation | @habr_ai

[Перевод] 10 примеров и вариантов использования RAG от реальных компаний. Со схемами и пояснениями

Приходилось ли вам когда-нибудь упрекать чат-бот с LLM — к примеру, ChatGPT или Claude — в устаревшей или неточной информации?

Дело в том, что, формируя ответ, крупные языковые модели (LLM) опираются на наборы данных, на которых они были обучены. Однако, поскольку их основная задача — предсказывать текст, а не извлекать факты, на их точность нельзя полагаться во всех случаях. Кроме того, обучающие датасеты обычно ограничены общедоступными данными и в некоторых областях быстро теряют актуальность.

Читать далее

#ai #artificial_intelligence #llm #rag #retrieval_augmented_generation #ии #искусственный_интеллект #кейсы | @habr_ai

Как я победил в RAG Challenge: от нуля до SoTA за один конкурс

Когда новичок пытается построить свою первую вопросно-ответную LLM систему, он быстро узнаёт, что базовый RAG - это для малышей и его нужно "прокачивать" модными техниками: Hybrid Search, Parent Document Retrieval, Reranking и десятки других непонятных терминов.

Глаза разбегаются, наступает паралич выбора, ладошки потеют.

А что, если попробовать их все?

Я решил потратить на подготовку к соревнованию 200+ часов и собственноручно проверить каждую из этих методик.

Получилось настолько удачно, что я выиграл конкурс во всех номинациях.

Теперь рассказываю, какие техники оказались полезными, а какие нет, и как повторить мой результат. Читать далее

#rag #docling #векторный_поиск #retrieval_augmented_generation #question_answering #llm #faiss #gpt #chatgpt #парсинг_pdf | @habr_ai

[Перевод] Часть 4. Обзор технологий RAG для LLM: аугментация извлеченных данных

Продолжаю адаптированный перевод статьи китайских исследователей Retrieval-Augmented Generation for Large Language Models: A Survey (ссылка на первую часть — здесь, на вторую часть — здесь, третью часть — здесь). В этой, четвертой части авторы совсем скромненько, словно тренировались заполнять налоговую декларацию, разбирают технологии аугментации извлеченных данных.

Поскольку без пояснительной бригады часть их информации оказалась для меня совершенной абракадаброй (напомню, я — переводчик, то бишь гуманитарий), я не поленился пройтись по упомянутым авторами ссылочкам на исследования, взять оттуда схемки и картинки, и добавил их к этой части тоже. Надеюсь, с ними рассуждения и наблюдения авторов будут значительно прозрачнее. Поехали! Прочитать остальные буквы

#языковые_модели #llm #llm_модели #llm_приложения #llm_агент #llm_архитектура #rag #rag_pipeline #retrieval_augmented_generation #retrieval | @habr_ai

Свой ChatGPT на документах: делаем RAG с нуля

Всем привет! Наверняка у вас были ситуации, когда нужно быстро найти что-то в длинном документе-договоре, инструкции или отчёте. Сегодня я покажу, как сделать своего помощника, который будет отвечать на такие вопросы автоматически. Соберем RAG с нуля: загрузим документы, "нарежем" их на куски, проиндексируем в векторной базе данных Qdrant и подключим LLaMA.

Если вы увидели незнакомые слова — не пугайтесь, далее я расскажу об этом подробно. Читать далее

#rag #rag_ai #rag_pipeline #retrieval_augmented_generation #ии_агент #ai_agent #ии_приложение #ai_app #ai_application #llama_3_3_70b | @habr_ai

Retrieval-Augmented Generation (RAG): глубокий технический обзор

Retrieval-Augmented Generation (RAG) – это архитектурный подход к генеративным моделям, который сочетает навыки поиска информации с генеративными возможностями больших языковых моделей (LLM). Идея RAG была предложена в 2020 году, чтобы преодолеть ограничение LLM – замкнутость на знаниях из обучающих данных. Вместо попыток «вживить» все знания в параметры модели, RAG-подход позволяет модели запрашивать актуальные сведения из внешних источников (баз знаний) во время генерации ответа. Это обеспечивает более точные и актуальные ответы, опирающиеся на факты, а не только на память модели. 

В этой статье мы подробно рассмотрим: архитектуру RAG, её компоненты и этапы работы, современные инструменты и практики для реализации RAG, примеры кода на Python, кейсы применения в бизнесе и науке, технические вызовы и лучшие практики, сравнение RAG с классическим fine-tuning, перспективы технологии. Читать далее

#rag #retrieval_augmented_generation #llm #ai #rag_pipeline #rag_ai #fine_tuning #ragas | @habr_ai

RAG и векторные БД: НЕ Сизифов LLM на Java и Spring Ai

Привет! Меня зовут Бромбин Андрей, и сегодня я разберу на практике, что такое RAG-системы и как они помогают улучшать поиск. Покажу, как использовать Spring AI, векторные базы данных и LLM. Ты получишь теорию и пример реализации на Java и Spring Boot – от идеи до работающего сервиса. Без сложных формул – только чёткие объяснения и код. Обновить резюме

#spring_ai #исскуственный_интеллект #open_ai #qdrant #semantic_search #retrieval_augmented_generation #vector_database #large_language_model #java #ruvds_статьи | @habr_ai

[Перевод] Agentic RAG: создание более умных ИИ-систем, понимающих контекст

Команда AI for Devs подготовила перевод статьи о новом подходе — Agentic RAG. Он превращает извлечение данных в активный процесс: агенты сами решают, где искать, как уточнять запросы и когда остановиться. В результате ИИ становится гибче, точнее и действительно готовым к "боевым" задачам. Читать далее

#agentic_rag #retrieval_augmented_generation #mcp #model_context_protocol #корпоративные_системы | @habr_ai

Law & Practice Ensemble RAG. Как создать ассистента, помогающего решать многоаспектные юридические задачи

Большие языковые модели (LLM) в последние несколько лет являются ключевым направлением искусственного интеллекта. Дальнейшее развитие LLM, очевидно, меняет сам способ взаимодействия с технологиями, снижая порог входа для представителей всех профессий, в том числе исконно гуманитарных. Читать далее

#rag #retrieval_augmented_generation #llm #large_language_models #языковые_модели #трансформеры #fine_tuning #эмбеддинги #dense_retrieval | @habr_ai

Law & Practice Ensemble RAG. Как создать ИИ-ассистента, помогающего решать многоаспектные юридические задачи

В первой части мы кратко рассмотрели предпосылки и последствия ИИ‑трансформации деятельности юристов, а также предложили вариант архитектуры продвинутой RAG‑системы, учитывающей особенности юридической предметной области.

Во этой части мы проведем обзор общих и юридических бенчмарков, которые целесообразно учитывать при оценке технических компонент RAG, а также системы в целом. В заключение рассмотрим, как самостоятельно подготовить тестовый датасет для оценки RAG‑системы с помощью фреймворка RAGAS и разберем итоговые результаты эксперимента. Читать далее

#rag #retrieval_augmented_generation #llm #large_language_models #эмбеддинги #векторные_базы_данных #векторные_хранилища #индексация #ранжирование | @habr_ai