Встраивания — это низкоразмерные числовые представления реальных данных, таких как текст, изображения и аудио, разработанные для захвата семантического значения и отношений путем размещения похожих объектов ближе в векторном пространстве. Они имеют решающее значение для эффективной обработки и хранения крупномасштабных мультимодальных данных и используются в различных приложениях, таких как поиск, рекомендации и обнаружение мошенничества.

В техническом документе рассматриваются различные типы встраиваний, включая встраивание текста (встраивание слов и документов с использованием таких методов, как Word2Vec, GloVe, Doc2Vec, и тех, которые получены из больших языковых моделей, таких как BERT и Gemini), встраивание изображений и мультимодальное встраивание, встраивание структурированных данных и встраивание графов.

Качество моделей встраивания оценивается на основе их способности извлекать похожие элементы и исключать несхожие, используя такие метрики, как точность, полнота и nDCG.

Векторный поиск — это мощный метод, который выходит за рамки сопоставления ключевых слов путем поиска значения в различных модальностях данных с использованием встроенных семантических представлений.

Эффективный векторный поиск опирается на алгоритмы Approximate Nearest Neighbor (ANN), такие как Locality Sensitive Hashing (LSH), KD-деревья, Ball-деревья, Hierarchical Navigable Small Worlds (HNSW) и ScaNN, чтобы преодолеть ограничения линейного поиска в больших наборах данных.

Векторные базы данных — это специализированные системы, предназначенные для хранения, управления и запроса вложений в масштабе для производственных сред, решая такие проблемы, как масштабируемость, доступность и согласованность данных. Примерами являются Vertex Vector Search от Google Cloud, AlloyDB, Cloud SQL Postgres и Pinecone.

Встраивания и векторные хранилища позволяют использовать многочисленные приложения, в частности Retrieval Augmented Generation (RAG), который объединяет извлечение соответствующих документов с использованием семантического поиска с большими языковыми моделями для генерации более точных и фактических ответов с указанием источника.

Выбор модели встраивания и векторной базы данных должен основываться на конкретных данных, варианте использования, бюджете и бизнес-потребностях.

Stage I: Prepare
In this stage, the goal is to get a good sense of what you want to accomplish and where is the best place to start.
Define the task: With all the publicity surrounding LLMs, it is easy to think that they are general problem-solvers that can take a complex task and come up with a solution. But if you want to get good results, you should pick one specific task and try to formulate it as an input-output problem that can be categorized into one of known categories (classification, regression, question-answering, summarization, translation, text generation, etc.).