Настройка PostgreSQL для LLM

Итак, в этой статье я расскажу, как эффективно настроить PostgreSQL, чтобы вам было проще работать с большими языковыми моделями.

Пока звучит странно, не правда ли? Что я имею в виду? Я имею в виду повышение эффективности создания любых SQL-запросов в базу данных с использованием LLM (ChatGPT, DeepSeek, Llama и других).

Метод, о котором пойдет речь, до безобразия прост и от этого гениален. После прочтения этой статьи вы сможете самостоятельно или в рамках вашей компании увеличить скорость формирования SQL-запросов в 50 раз!

Читать далее

#sql #postgresql #llm #chatgpt #эффективность #документация #автоматизация #запросы_sql #llm_модели #promt | @habr_ai

Геопространственная обработка признаков

Привет, я Александр Мещеряков, более 3-х лет работаю в компании «Синимекс» специалистом по анализу данных. Мне удалось поработать с различными ML-проектами, и больше всего меня увлекла работа с геоданными. Для многих эта тема кажется немного «магией» и я хотел бы на страницах Хабра пролить на нее немного света.

Эта статья — как шпаргалка для шеф-повара: берите готовые рецепты под ваши задачи. Здесь вы найдёте ключевые библиотеки (geopandas, h3-py) и принципы работы с геоданными — от парсинга OpenStreetMap до агрегации по шестиугольникам.

Читать далее

#геоданные #feature_engineering #python #postgresql #postgis #data_science #анализ_данных | @habr_ai

Переход из Oracle в Postgre Pro: не просто смена СУБД, а сдвиг подхода. Интервью с Марком Ривкиным

Давно не было обстоятельных интервью, тем более с таким корифеем отечественной СУБД‑разработки. В 2022 году в Postgres Professional перешла команда специалистов по Oracle, включая Марка Ривкина, который занял позицию руководителя отдела технического консалтинга. Вместе с командой он занялся адаптацией продуктов под требования крупных корпоративных заказчиков и доработкой функциональности Postgres Pro — в первую очередь для тех, кто планирует миграцию с проприетарных СУБД.

В интервью для «Хабра» Марк рассказал, с какими задачами столкнулись на старте, какие функции пришлось внедрять в первую очередь, как выстроена работа с разработкой и сообществом, и в чём сегодня Postgres Pro реально может заменить Oracle, а где пока нет. Поговорили и про ИИ в администрировании, и про перспективы российских форков PostgreSQL, и даже — что бы он заложил в архитектуру, если бы проектировал СУБД с нуля. Приятного чтения! Читать далее

#марк_ривкин #субд #oracle #oracle_database #postgres_professional #postgresql #postgres_pro | @habr_ai

Обработка геоданных для ML-задач. Часть 2: пространственные объединения и расстояния

Статья продолжает обсуждение пространственных признаков в Python. Здесь мы рассматриваем пространственные объединения — аналог обычного объединения в мире геоданных, основанный на топологических отношениях между объектами, таких как пересечение, вложение или касание. Также мы узнаем, как правильно рассчитывать различные типы расстояний (и иногда это не просто евклидово расстояние между двумя точками). Например, геодезическое расстояние учитывает кривизну Земли, что особенно важно для анализа данных на больших территориях; расстояние маршрута учитывает направление: оптимальный маршрут от A до B не всегда равен маршруту от B до A.  Читать далее

#геоданные #feature_engineering #python #postgresql #postgis #data_science #анализ_данных | @habr_ai

Обработка геоданных для ML-задач. Часть 3: агрегирование данных и оценка пространственных шаблонов

Пространственное агрегирование помогает контролировать степень детализации данных в зависимости от пространственных характеристик отдельных записей. Эта операция может быть полезна, если вы хотите сравнить разные регионы по конкретному параметру, (например, плотность населения или динамика продаж), оценить значение признака на единицу площади (скажем, среднюю выручку магазинов на квадратный километр) или преобразовать набор точек в растровые пространственные данные.

Важно учитывать, что агрегирование упрощает анализ, но «схлопывает» внутреннюю вариативность данных, типа как усреднённая температура по больнице может скрывать локальные перегретые серверные. Существует, по крайней мере, три метода пространственного агрегирования... Читать далее

#геоданные #feature_engineering #python #postgresql #postgis #data_science #анализ_данных #машинное_обучение #машинное_обучение #машинное_обучениe | @habr_ai

Я не разработчик ботов, но с помощью AI создал Telegram-бота для изучения английского (Duolingo уже может нервничать)

Привет! Меня зовут Евгений. Я — AQA-инженер на Python. Недавно решил проверить, насколько далеко можно зайти в разработке, не обладая глубокими знаниями в программировании, но используя современные AI-инструменты. Что из этого вышло? Читать далее

#ai_разработка #telegram_бот #chatgpt #вайбкодинг #cursor_ide #разработка_с_ии #low_code #postgresql #deepseek #no_code | @habr_ai

LLM пайплайны укрощают сложность баз данных, или как мы подружили ИИ с БД без ИБД

Большие языковые модели (Large Language Model, LLM) используют в разных областях: с их помощью генерируют программный код, ищут информацию, озвучивают реплики чат-ботов. А вот при работе с реляционными данными языковые модели часто ошибаются. 

Чтобы справиться с этими ошибками, в мы разработали три пайплайна для работы с базами данных. Эти пайплайны представляют собой цепочку связанных между собой языковых моделей: каждая из них генерирует свой ответ, и следующая модель работает с ответом предыдущей. Таким образом мы получаем дополнительный контекст, и запрос к базе данных становится точнее.  Читать далее

#генерация_sql #генерация_cypher #rag #субд #искусственный_интеллект #sql #cypher #postgresql #генерация_кода #llm_агент | @habr_ai

Семантический поиск по статьям Хабра в PostgreSQL + индексация текстов LLM в Ollama

Покажу вам практическую реализацию семантического поиска на основе векторных представлений - эмбеддингов из текста. Здесь я создам систему, которая анализирует статьи с Хабра, извлекает из них темы и ключевые слова с помощью локально работающих больших языковых моделей LLM, и на основе этих данных создает векторные представления для эффективного поиска по смыслу, а не по запросу на вхождение определенного текста. Читать далее

#семантический_поиск #postgresql #pgvector #llm_приложения #ollama #spring_ai #java #обработка_естественного_языка #поисковые_системы | @habr_ai

Векторный поиск внутри PostgreSQL: что умеет и где может пригодиться pgvector

Итак, ваш проект вырос и вам потребовалась новая функциональность, будь то рекомендательный движок, база знаний или автоматизированная первая линия техподдержки. Для всего этого можно использовать векторный и/или семантический поиск, а также интегрировать в проект LLM. Поздравляю — теперь вам нужно еще и хранить embedding-векторы, а также искать по ним ближайшие объекты. Решений два: внешняя векторная БД или интеграция всего этого богатства в существующий стек. Второй путь проще на старте, немного быстрее и обычно дешевле — разумеется, если вы уже используете PostgreSQL.

Привет, Хабр! Меня зовут Александр Гришин, я отвечаю за развитие продуктов хранения данных в Selectel: облачных баз данных и S3-хранилища. В этой статье я расскажу о pgvector — расширении для PostgreSQL, которое позволяет добавить векторный поиск без внешних сервисов, пересборки архитектуры и большого количества работы. Материал пригодится продуктовым командам, архитекторам, бэкенд-разработчикам и инженерам данных. Читать дальше →

#selectel #postgresql #cloud #dbaas #embeddings #vector #vectordb #pgvector | @habr_ai

Соединяем AI и реляционную базу данных

На статью данный текст точно не тянет, скорее это маленькая заметка. Как известно свои дети и свои идеи они всегда самые лучшие. Я давно работаю с реляционными базами и очень люблю язык SQL за его формализм, скорее всего из-за этой моей профдеформации и родилась эта мысль. На работе ко мне иногда обращались сделать выгрузку в CSV файл из базы для обучения моделей или анализа данных, и я подумал, а зачем выгружать данные, а потом иногда загружать обратно результат в базу. Почему не сделать так что бы результат запроса сразу отправлялся на обработку в AI и затем выдавался ответ на запрос. Нам всего лишь нужна SQL функция которая берет результат запроса, заворочает его в вызов к модели, а потом выдает результат. Понятно, что серебряной пули нет и данный подход не везде будет работать, например, такой подход не подразумевает асинхронность, а значит если нужна высокая производительность, то данный подход не очень подходит, с другой стороны сейчас запросы к AI не дёшевы и если вы пошлете 100 запросов в секунду, не дождавшись ответа на предыдущие то скорее всего получите ошибку. Я думаю в будущем это будет стандартная функции в базах данных.

Теперь рассмотрим простейшую реализацию данной функции. Под рукой был PostgreSQL, но можно реализовать это и для ORACLEили других баз. Для этого нам понадобится расширение https://github.com/pramsey/pgsql-http . В качестве AI будем использовать Groq. Первое что нам надо это получить API ключ. Сама функция очень простая. Читать далее

#sql #ии #ai #postgresql #oracle #искуственный_интеллект | @habr_ai

7 кругов ада: практический гид по выбору стека для ML-разработки

Сколько раз за последние пару-тройку вы меняли свой AI/ML стек? Если ответ «ни разу» — либо у вас железная дисциплина, либо вы просто не следите за тем, что происходит в индустрии. McKinsey Global Survey показывает, что adoption AI вырос с 50% до 72% только за последний год. Это означает, что пока вы размышляете над выбором между PyTorch и TensorFlow, ваши конкуренты уже запускают production-модели на совершенно других стеках. 

Проблема не в том, что инструментов мало — а в том, что их чертовски много. Современный ML/AI стек превратился в слоеный пирог из семи уровней: от ИИ-инфраструктуры в самом низу до слоя ИИ-решений наверху. Каждый уровень предлагает десятки вариантов, от которых глаза разбегаются даже у матерых разработчиков, но хаос поддается систематизации. В этой статье мы расскажем о любимых инструментах, препарируем популярные решения, и разберемся, как выбрать стек, который не превратится в тыкву через полгода.  Читать далее

#ml #стек #инструменты_разработки #pytorch #tensorflow #grafana #python #postgresql #pandas #kubernetes | @habr_ai

Хакатон как первый продакшн — зачем джунам идти на More.tech

Современная сфера IT — как бурное море: динамичная и полная вызовов, особенно для новичков. Поймать волну новейших технологий, получить реальный опыт и поддержку менторов можно на хакатоне. Как раз такой сейчас проходит — на More.tech участников ждут практические кейсы из мира большого IT и командная работа. А победителей — призовой фонд 1,5 млн руб. и шанс получить оффер от ВТБ. В статье вместе с лидерами треков расскажем, что ждет участников More.tech 2025, почему задачи хакатона актуальны для IT сегодня и как их преодолеть.

Хакатон стартовал 27 августа, но к нему еще можно присоединиться и успеть побороться за победу. Участники получат реальный опыт, который помогает на старте карьеры.  Читать далее

#low_code #хакатон #карьерныйрост #it_образование #postgresql | @habr_ai