Распознавание, хранение и поиск лиц в базе данных

В этой статье я максимально коротко и просто объясню принцип распознавания, хранения и поиска лиц в базе данных. В качестве примера будет использована библиотека Insightface и база данных PostgreSQL.

Читать далее

#python #insightface #postgresql #django #распознавание_лиц | @habr_ai

Нейронные оптимизаторы запросов в реляционных БД (Часть 1)

В 1970-х годах известный программист Эдгар Кодд разработал математически выверенную теорию организации данных в виде таблиц (реляций). С тех пор утекло немало воды — появилось большое количество различных коммерческих и open-source реляционных систем управления базами данных (РСУБД). Скоро стало понятно, что эффективное получение данных из базы — задача далеко не тривиальная. Если говорить прямо, она нелинейная и в общем случае NP-сложная.

Когда SQL-запрос становится немного сложнее: SELECT * FROM table, у нас появляется огромная вариативность его исполнения внутри системы — и не всегда понятно, какой из возможных вариантов эффективнее как по памяти, так и по скорости. Чтобы сократить огромное количество вариантов до приемлемого, обычно используются так называемые эвристики — эмпирические правила, которые придуманы человеком для сокращения пространства поиска на несколько порядков. Понятное дело, эти правила могут отсечь и сам оптимальный план выполнения запроса, но позволяют получить хоть что-то приемлемое за адекватное время.

В последние годы в связи с активным развитием ML начали развиваться и нейронные оптимизаторы запросов —особенность которых в том, что они самостоятельно, без участия человека, находят необходимые закономерности в выполнении сложных планов исходя из обучения на огромном количестве данных. Тенденция началась приблизительно в 2017 году и продолжается до сих пор. Давайте посмотрим, что уже появилось в этой области в хронологическом порядке и какие перспективы нас ждут.

Читать далее

#postgresql #оптимизация #оптимизация_запросов #reinforcement_learning #машинное_обучение #нейросети #q_learning #deep_q_learning #оптимизация_плана #субд | @habr_ai

Linux, LogSpace, ML: как SIEM обретал новую технологичность

Помните, когда-то мы раскрыли неочевидную связь между гастритом… и системой выявления инцидентов? За это время MaxPatrol SIEM обновился 17 раз (не считая хотфиксов), перешагнул отметку в 650 инсталляций, включая географически распределенные, и приобрел множество новых фич. Я, Иван Прохоров, отвечаю за развитие этой SIEM-системы. Вместе с коллегой Романом Сергеевым, который трудится над архитектурой MaxPatrol SIEM и не только, мы решили, что пора — пора писать новую главу о разработке продукта.

Как удалось создать по-настоящему экспертную SIEM-систему и сделать ее более отзывчивой для аналитиков, заместить общедоступные технологии собственными (снизив при этом hardware footprint), сколько было подходов к снаряду и что получилось воплотить вопреки обстоятельствам — узнаете под катом.

Как изменился MaxPatrol SIEM?

#cybersecurity #siem #maxpatrol #development #linux #logspace #windows #net #разработка #postgresql | @habr_ai

Что ищет он в краю далёком? Как найти смысл жизни с PostgreSQL

Эта статья родилась из пары лекций, которые я прочитал студентам в рамках курса, посвященного вопросам машинного обучения. Почему именно PostgreSQL? Почему векторы? За последние два года тема языковых моделей стала невероятно популярной, и вместе с этим появилось множество инструментов, доступных даже начинающему инженеру, стремящемуся познакомиться с миром текстового анализа.

Доступность этих технологий открывает безграничные возможности для их применения в самых разных областях: от систем управления знаниями до «копилотов», помогающих более тщательно анализировать анамнез пациентов, или информационных киосков, позволяющих собрать идеальную корзину товаров для пикника.

Вряд ли данная работа может похвастаться полнотой или глубиной, однако, я надеюсь, что она предоставит те самые “хорошие” точки входа, которые позволят, погружаясь в детали, открыть для себя множество новых интересных и полезных тем для исследований и инженерных проектов. Откроем скрытые смыслы

#postgresql #postgres #pgvector #vectorization #fulltextsearch #fulltext_search #hnsw #python #java #knowledge_management_systems | @habr_ai

Получение SQL для PostgreSQL из DAX на основе AI

Привет, Хабр! Популярным аналитическим языком является DAX, и он используется во множестве проектов. Соответственно, значительная часть бизнес-логики дашбордов реализована на DAX, и при переходе с Power BI на другой продукт требуется время на перевод DAX логики из Power BI. В связи с этим актуальны инструменты расширения списка платформ, на которых можно использовать DAX без Power BI.

Тем, кто интересуется «переводом» DAX на PostgreSQL — добро пожаловать под кат :) Читать далее

#dax #ai #sql #postgresql #дашборд #summarizecolumns | @habr_ai

pg_auto_embeddings — считаем эмбеддинги для текста прямо в Postgres, без экстеншенов

У вас есть Postgres, где хранится множество текстовых данных. Вы хотите использовать векторные представления (embeddings), к примеру, от OpenAI, чтобы построить систему рекомендаций, улучшенный поиск или реализовать RAG для работы с LLM. Но при этом ставить расширения (extensions) не хочется, а может, и вовсе нельзя — например, в облачных Managed PostgreSQL зачастую нет нужных прав.

Под катом описание open-source решения pg_auto_embeddings, которое вам поможет.

Скорее под кат!

#эмбеддинги #rag #postgresql #postgres #embeddings #векторные_представления #ии | @habr_ai

Выполнение DAX запроса AI DAX движка в СУБД на примере PostgreSQL

Привет, Хабр! DAX является мощным аналитическим языком запросов и активно используется во множестве проектов. Кроме того, на текущем уровне развития AI он способен условно в режиме реального времени преобразовать DAX запросы в запросы одной из СУБД, например, PostgreSQL, но, конечно, с рядом ограничений на сложность DAX запроса, схему данных и т.д. В связи с этим может быть актуальным вопрос, реально ли использовать «AI DAX движок» в сочетании с выполнением SQL запросов, сгенерированных этим движком, в одной из СУБД, т.е. выполнить DAX без Power BI на PostgreSQL источнике? Интересующимся возможностями DAX AI на примере PostgreSQL — добро пожаловать под кат :)

Читать далее

#dax #ai #sql #postgresql #дашборд #summarizecolumns | @habr_ai

Разворачиваем Langfuse в Kubernetes: open-source альтернатива Langsmith

Привет, Хабр! Меня зовут Арсений @kazars24, я студент 2 курса магистратуры [AI] Talent Hub и ML инженер в компании Вита. Последнее время я активно занимаюсь разработкой LLM-приложений, и в процессе работы столкнулся с необходимостью их мониторинга. После долгих поисков и экспериментов я нашел отличное решение — Langfuse, о котором сегодня и поговорим. Читать далее

#langfuse #kubernetes #llm_приложения #мониторинг_приложений #postgresql #open_source #machine_learning | @habr_ai

Рынок труда ML-специалистов в 2025 году: востребованные навыки и карьерные треки

В одном из недавних интервью Марк Цукерберг заявил, что к 2025 году искусственный интеллект (ИИ) сможет выполнять большинство задач Middle-разработчиков в Meta (запрещенная в РФ организация). По словам Цукерберга, ИИ уже помогает писать код и постепенно забирает на себя простые инженерные задачи, но хорошие Middle-инженеры все еще будут нужны. Правда при условии, что они будут осваивать новые востребованные технологии.

С учетом влияния компании на технологическую повестку во всем мире заявление звучит серьезно: крупные игроки индустрии уже сейчас диктуют направление, в котором будет развиваться рынок труда в связи с масштабированием ИИ — это автоматизация большей части функций и появление новых. В таких условиях многим специалистам придется адаптироваться и прокачивать навыки, чтобы оставаться востребованными на рынке.

Читать далее

#машинное_обучение #ml_инженер #ai_talent_hub #mlops #разработка_веб_сервисов #рынок_труда_it #pytorch #scikit_learn #apache_airflow #postgresql | @habr_ai

Настройка PostgreSQL для LLM

Итак, в этой статье я расскажу, как эффективно настроить PostgreSQL, чтобы вам было проще работать с большими языковыми моделями.

Пока звучит странно, не правда ли? Что я имею в виду? Я имею в виду повышение эффективности создания любых SQL-запросов в базу данных с использованием LLM (ChatGPT, DeepSeek, Llama и других).

Метод, о котором пойдет речь, до безобразия прост и от этого гениален. После прочтения этой статьи вы сможете самостоятельно или в рамках вашей компании увеличить скорость формирования SQL-запросов в 50 раз!

Читать далее

#sql #postgresql #llm #chatgpt #эффективность #документация #автоматизация #запросы_sql #llm_модели #promt | @habr_ai

Геопространственная обработка признаков

Привет, я Александр Мещеряков, более 3-х лет работаю в компании «Синимекс» специалистом по анализу данных. Мне удалось поработать с различными ML-проектами, и больше всего меня увлекла работа с геоданными. Для многих эта тема кажется немного «магией» и я хотел бы на страницах Хабра пролить на нее немного света.

Эта статья — как шпаргалка для шеф-повара: берите готовые рецепты под ваши задачи. Здесь вы найдёте ключевые библиотеки (geopandas, h3-py) и принципы работы с геоданными — от парсинга OpenStreetMap до агрегации по шестиугольникам.

Читать далее

#геоданные #feature_engineering #python #postgresql #postgis #data_science #анализ_данных | @habr_ai

Переход из Oracle в Postgre Pro: не просто смена СУБД, а сдвиг подхода. Интервью с Марком Ривкиным

Давно не было обстоятельных интервью, тем более с таким корифеем отечественной СУБД‑разработки. В 2022 году в Postgres Professional перешла команда специалистов по Oracle, включая Марка Ривкина, который занял позицию руководителя отдела технического консалтинга. Вместе с командой он занялся адаптацией продуктов под требования крупных корпоративных заказчиков и доработкой функциональности Postgres Pro — в первую очередь для тех, кто планирует миграцию с проприетарных СУБД.

В интервью для «Хабра» Марк рассказал, с какими задачами столкнулись на старте, какие функции пришлось внедрять в первую очередь, как выстроена работа с разработкой и сообществом, и в чём сегодня Postgres Pro реально может заменить Oracle, а где пока нет. Поговорили и про ИИ в администрировании, и про перспективы российских форков PostgreSQL, и даже — что бы он заложил в архитектуру, если бы проектировал СУБД с нуля. Приятного чтения! Читать далее

#марк_ривкин #субд #oracle #oracle_database #postgres_professional #postgresql #postgres_pro | @habr_ai