Что ищет он в краю далёком? Как найти смысл жизни с PostgreSQL

Эта статья родилась из пары лекций, которые я прочитал студентам в рамках курса, посвященного вопросам машинного обучения. Почему именно PostgreSQL? Почему векторы? За последние два года тема языковых моделей стала невероятно популярной, и вместе с этим появилось множество инструментов, доступных даже начинающему инженеру, стремящемуся познакомиться с миром текстового анализа.

Доступность этих технологий открывает безграничные возможности для их применения в самых разных областях: от систем управления знаниями до «копилотов», помогающих более тщательно анализировать анамнез пациентов, или информационных киосков, позволяющих собрать идеальную корзину товаров для пикника.

Вряд ли данная работа может похвастаться полнотой или глубиной, однако, я надеюсь, что она предоставит те самые “хорошие” точки входа, которые позволят, погружаясь в детали, открыть для себя множество новых интересных и полезных тем для исследований и инженерных проектов. Откроем скрытые смыслы

#postgresql #postgres #pgvector #vectorization #fulltextsearch #fulltext_search #hnsw #python #java #knowledge_management_systems | @habr_ai

[Перевод] О векторных базах данных простым языком

Представьте, что управляете онлайн-магазином, предлагающим тысячи товаров.

Чтобы помочь пользователям находить нужные позиции, вы добавили строку поиска. Теперь посетители могут вводить интересующие их запросы, на что вы будете показывать им подходящие результаты.

Например, когда пользователь вводит «лето», вы можете показывать предметы вроде шортов, платьев, панам и пляжных зонтов.

Как бы вы реализовали такую систему? Читать дальше →

#ruvds_переводы #векторные_базы_данных #postgres #mysql #python #машинное_обучение #алгоритмы #онлайн_торговля | @habr_ai

pg_auto_embeddings — считаем эмбеддинги для текста прямо в Postgres, без экстеншенов

У вас есть Postgres, где хранится множество текстовых данных. Вы хотите использовать векторные представления (embeddings), к примеру, от OpenAI, чтобы построить систему рекомендаций, улучшенный поиск или реализовать RAG для работы с LLM. Но при этом ставить расширения (extensions) не хочется, а может, и вовсе нельзя — например, в облачных Managed PostgreSQL зачастую нет нужных прав.

Под катом описание open-source решения pg_auto_embeddings, которое вам поможет.

Скорее под кат!

#эмбеддинги #rag #postgresql #postgres #embeddings #векторные_представления #ии | @habr_ai

Переход из Oracle в Postgre Pro: не просто смена СУБД, а сдвиг подхода. Интервью с Марком Ривкиным

Давно не было обстоятельных интервью, тем более с таким корифеем отечественной СУБД‑разработки. В 2022 году в Postgres Professional перешла команда специалистов по Oracle, включая Марка Ривкина, который занял позицию руководителя отдела технического консалтинга. Вместе с командой он занялся адаптацией продуктов под требования крупных корпоративных заказчиков и доработкой функциональности Postgres Pro — в первую очередь для тех, кто планирует миграцию с проприетарных СУБД.

В интервью для «Хабра» Марк рассказал, с какими задачами столкнулись на старте, какие функции пришлось внедрять в первую очередь, как выстроена работа с разработкой и сообществом, и в чём сегодня Postgres Pro реально может заменить Oracle, а где пока нет. Поговорили и про ИИ в администрировании, и про перспективы российских форков PostgreSQL, и даже — что бы он заложил в архитектуру, если бы проектировал СУБД с нуля. Приятного чтения! Читать далее

#марк_ривкин #субд #oracle #oracle_database #postgres_professional #postgresql #postgres_pro | @habr_ai

Vibe-Coding и ИИ-революция: как нейросети собирают бэкенд за минуту, освобождая разработчику время на смысл

Немного фантазии: вы садитесь к компьютеру, бросаете в окно IDE обычную фразу — «собери бэкенд-черновик на Postgres, REST и авторизацию по JWT» — и видите, как через минуту нейросеть выкладывает готовый репозиторий. Руки почти не касаются клавиатуры. Кажется магией, но работает уже сегодня. Карпаты назвал этот трюк «vibe-coding», а я — удобной эволюцией мышления: мы перестаём быть набором пальцев и становимся постановщиками задач.

Подобный сдвиг человечество переживало и раньше. Генри Форд однажды переставил людей вдоль движущейся ленты, и время сборки «Т-мобиля» рухнуло в восемь раз. Тогда станок взял на себя физическую рутину, теперь языковая модель забирает рутину интеллектуальную. Инженер больше не крутит гайки кода, а думает о траектории всего продукта.

ТРИЗ давно мечтала о таком эффекте и называла его «идеальным конечным результатом»: система сама выполняет функцию, человек лишь задаёт направление. Алгоритм-ассистент делает это буквально — перебирает решения быстрее, чем мы успеем сварить кофе, а нам остаётся выбирать лучшие.

Когда ручной труд тает, становится важным, на что тратится освобождённое время. Почти век назад Джон Мейнард Кейнс предсказывал: избыток богатства превратит работу в редкую практику, а люди «оценят лилии полевые, что не трудятся, не прядут». Кода действительно меньше, но вопросов «зачем»-и-«для кого» становится больше. Мы вытаскиваем из стека не очередной баг, а этику, мотивацию, дизайн опыта.

Здесь вмешивается стоическая дихотомия: контролируй своё суждение, оставь в покое то, что от тебя не зависит. Нейросеть может промахнуться, выдать мимо, упрямо не понимать промпт. Кричать на неё бесполезно. Проще переформулировать вопрос и спокойно протестировать ответ. Три-четыре итерации — и багов как не бывало. Спокойствие экономит часы и нервы. Читать далее

#vibe_coding #ии_революция #нейросети_собирают_бэкенд #postgres_rest_jwt #генерация_бэкенда_за_минуту #автоматическая_разработка #ai_assisted_backend #backend_на_postgres #rest_api_генерация #авторизация_по_jwt | @habr_ai

Как мы внедрили векторный поиск в Postgres Pro

В статье разберемся, что такое векторный поиск, какие проблемы он решает, и как расширение pgpro_vector для Postgres Pro позволяет реализовать эти мощные возможности прямо в реляционной базе данных, без необходимости развертывать отдельные специализированные системы. Читать далее

#векторизация #вектор #векторные_базы_данных #векторный_поиск #postgres #postgres_pro #разработка_баз_данных #администрирование_баз_данных | @habr_ai

Spring AI: retrieval augmented generation

Spring AI, который только недавно получил первую стабильную версию, уже предоставляет довольно много возможностей для работы с RAG (retrieval augmented generation).

Благодаря этому подходу нейросеть перед тем, как дать ответ на запрос пользователя, выполнит поиск подходящей информации в векторном хранилище. Причём каждый документ хранится не в виде текста, а в виде массива чисел (т.н. «векторов»).

Процесс преобразования различных документов в такой векторный формат выполняется опять же с помощью LLM и называется embedding («встраивание»). Хорошая новость заключается в том, что всё это можно легко сделать с помощью Spring AI. Читать далее

#spring_ai #rag #kotlin #java #openai #pgvector #postgres #spring | @habr_ai