SQL Portal | Базы Данных
14.1K subscribers
1.22K photos
142 videos
51 files
820 links
Присоединяйтесь к нашему каналу и погрузитесь в мир баз данных

Связь: @devmangx

РКН: https://clck.ru/3H4Wo3
Download Telegram
Мастерство SQL — не в знании синтаксиса. Оно в умении задавать вопросы, которые многие боятся даже сформулировать.

Написать SELECT * может каждый. Это базовый уровень.
Почему добавление индекса сделало запросы медленнее?

Почему один и тот же запрос завтра может получить другой план выполнения?

Почему UPDATE иногда обходится дороже, чем DELETE + INSERT?

Это не ошибки. Именно такие вопросы отличают тех, кто просто использует SQL, от тех, кто действительно понимает, как работают базы данных.

Знание синтаксиса помогает получить работу. Глубокое понимание делает вас незаменимым.

👉 @SQLPortal
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6
Я не мог разобраться в Document Store, пока не придумал эту аналогию.

Document Store — это разновидность NoSQL-базы данных, в которой основная структура хранения данных — документы.

Документ может быть представлен в формате XML, но чаще всего используется JSON.

Document Store можно рассматривать как разновидность Key-Value хранилища.

В реляционных базах данных (RDBMS):

• Tables (таблицы): основная структура для хранения данных. Напоминают электронную таблицу со строками и столбцами.

• Rows (строки): каждая строка представляет отдельную запись в таблице.

• Columns (столбцы): каждый столбец хранит определённый атрибут записи.

• Indexes (индексы): ускоряют поиск, сокращая количество просматриваемых записей.

• Joins (объединения): позволяют получать данные из двух или нескольких таблиц, связывая их по общим атрибутам.

В Document Store:

• Collection (коллекция): аналог таблицы в RDBMS. Объединяет документы.

• Documents (документы): основная единица хранения данных. Обычно представлены в JSON или похожем формате и описывают отдельную запись или объект.

• Fields (поля): аналог столбцов. Содержат атрибуты документа.

• Indexes (индексы): как и в RDBMS, используются для ускорения поиска.

• Embedding (встраивание): хранение связанных данных внутри одного документа, что позволяет сократить необходимость в JOIN. Это может приводить к дублированию данных и увеличению размера документов.

• Linking (связывание): документы хранятся отдельно, но содержат ссылки на другие документы — аналог внешних ключей в RDBMS.

RDBMS хорошо подходят для сложных запросов и транзакций, требующих строгой согласованности данных.

Document Store обеспечивают гибкость, масштабируемость и высокую производительность. Они также удобны для работы с полуструктурированными данными и быстрого изменения модели данных.

👉 @SQLPortal
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Пакетная обработка (Batching) — один из самых недооценённых приёмов оптимизации SQL

Разберёмся, как она работает и почему её стоит использовать. Многим системам приходится выполнять массовые операции: вставку, обновление и удаление данных.

Вместо выполнения множества отдельных операций, каждая из которых требует отдельного обращения к базе данных, их можно объединить в один пакетный запрос.

Пример:

Представьте, что вы импортируете файл, обрабатываете данные и должны добавить 100 строк в таблицу.

Без пакетной обработки придётся выполнить 100 отдельных SQL-команд INSERT. С Batching все 100 записей объединяются в один запрос (или несколько, если есть ограничения).

Что важно учитывать:

Пакетная обработка требует внимательной работы с ошибками. Если одна из операций завершится неудачно, может потребоваться откат всего пакета. Для этого могут пригодиться точки сохранения (Savepoints) или блоки try-catch.

Некоторые СУБД ограничивают размер пакета, поэтому большие пакеты может потребоваться разбивать на части. Обычно хорошо работают размеры от 100 до 1000 операций.

Пакетная обработка по-разному влияет на INSERT, UPDATE и DELETE. Тестируйте каждый сценарий отдельно.

Основные преимущества Batching:

Меньше сетевых обращений: отправка нескольких операций одновременно сокращает накладные расходы на взаимодействие между приложением и базой данных.

Эффективнее транзакции: все операции выполняются в рамках одной транзакции, что снижает затраты на управление множеством отдельных транзакций.

Выше производительность: в зависимости от сценария пакетная обработка может ускорить выполнение операций в 10–100 раз по сравнению с одиночными запросами.
В следующий раз, когда будете работать с массовыми операциями, попробуйте Batching.

Это как отправить одно групповое сообщение вместо 100 отдельных. Ваша база данных скажет спасибо! P. S. Использовали пакетную обработку? Как справлялись с ошибками?

👉 @SQLPortal
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
Aurora DSQ

Вот что нужно о ней знать. Десятилетиями масштабирование реляционных баз данных требовало компромиссов:

• Read replicas для масштабирования чтения.
• Шардирование для масштабирования записи.
• Целая куча дополнительного кода, чтобы имитировать глобальную согласованность.

Такова реальность, в которой мы живём. Но Aurora DSQL обещает масштабирование без ухищрений и компромиссов. Это новая бессерверная SQL-база данных, оптимизированная для обработки транзакций и созданная специально для облака.

Недавно она получила статус Generally Available (GA) — стала общедоступной, и это может изменить наш подход к масштабированию транзакционных систем.

В основе Aurora DSQL лежит PostgreSQL, распределённая архитектура обеспечивает масштабирование, а Rust помогает добиться низких задержек. База поддерживает активную работу сразу в нескольких регионах (active-active) и выводит распределённый SQL на новый уровень.

Все привычные возможности SQL на месте: транзакции, схемы, индексы, JOIN и многое другое. При этом обеспечиваются строгая согласованность и изоляция.

Один endpoint для каждого региона. Записывайте данные в любом регионе. Читайте из любого региона. Согласованность гарантирована.

Почему это важно:

• Масштабирование записи без шардирования.
• Полноценное переключение между регионами без простоя.
• Совместимость с PostgreSQL — приложения не нужно переписывать.
• Автоматическое масштабирование без сложной настройки инфраструктуры.

И да, это действительно похоже на то, как если бы DynamoDB и Aurora родили ребёнка, который говорит на SQL.

Мы наблюдаем сдвиг: распределённый SQL перестаёт быть предметом исследований или нишевым решением. Теперь это готовая к production облачная технология с учётом стоимости эксплуатации.

На мой взгляд, это открывает новые возможности для проектирования систем, которым одновременно нужны транзакционные гарантии и глобальное масштабирование — без необходимости выбирать что-то одно.

👉 @SQLPortal
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
JSON и JSONB удобны, когда нужно просто складывать схемно-нефиксированные данные, но иногда требуется добавить контроль структуры.

Можно использовать расширение pg_jsonschema, чтобы задать схему и валидировать содержимое. Это даёт больше контроля над форматом данных в таких колонках.

👉 @SQLPortal
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍1
Большинство разработчиков знают, как пользоваться базой данных. Но лишь немногие понимают, как она устроена изнутри.

Разберём, что происходит за кулисами при работе с базой данных.

1. Обработчик запросов (Query Processor)

• Parser: проверяет SQL-запрос и строит синтаксическое дерево.
• Optimizer: выбирает оптимальный план выполнения на основе статистики данных.
• DDL Interpreter и DML Compiler: обрабатывают команды определения и изменения данных.

2. Исполнитель запросов (Query Executor)

• Transaction Manager: гарантирует атомарность транзакций — либо изменения фиксируются полностью, либо выполняется откат.
• Concurrency Manager: управляет блокировками, уровнями изоляции и разрешением взаимных блокировок (deadlocks).

3. Менеджер безопасности (Security Manager)

• Authentication: проверяет личность пользователя.
• Authorization: определяет, какие действия ему разрешено выполнять.

4. Движок хранения данных (Storage Engine)

• Buffer Manager: кэширует страницы данных в оперативной памяти, сокращая количество обращений к диску.
• Cache Manager: ускоряет повторный доступ к часто используемым данным на более высоких уровнях.
• Recovery Manager: ведёт журналы предварительной записи (WAL), чтобы обеспечить восстановление после сбоев.
• Catalog: хранит метаданные о таблицах, столбцах и индексах.

5. Структуры хранения (Storage Structures)

На диске располагаются файлы индексов, данных и журналов.

• Файлы индексов ускоряют чтение.
• Файлы данных хранят строки и страницы.
• Файлы журналов обеспечивают надёжность хранения и восстановление после сбоев.

За каждым медленным запросом, простоем или ошибкой повреждения данных стоят процессы, происходящие внутри этих слоёв.

Понимание внутренней архитектуры баз данных помогает:

Быстрее находить и устранять проблемы.
Проектировать более надёжные системы.
Создавать приложения, способные масштабироваться.

Знание внутреннего устройства баз данных — серьёзное преимущество для разработчика.

👉 @SQLPortal
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍1
Если можете, выполняйте работу заранее — ещё на этапе записи данных.

Низкая задержка любит предварительные вычисления (precomputation). Рассмотрим ситуацию, с которой столкнулась Maya

В её таблице пользовательских профилей были необязательные поля: display_name, timezone и bio. В половине записей эти поля содержали NULL. При этом время чтения данных должно было оставаться ниже 20 мс при нагрузке 10 000 запросов в секунду.

Нужно было гарантировать, что каждый сервис получает одинаковое итоговое значение для каждого поля. Никаких NULL.

Вот какие варианты она рассматривала:

A → COALESCE во время чтения

Оставить столбцы допускающими NULL и использовать COALESCE(column, default) в каждом запросе.

Просто и удобно. Но каждый запрос теперь выполняет дополнительные вычисления на критическом пути. Логика может различаться между сервисами. Индексирование усложняется, а производительность падает.

B → Материализация итоговых значений во время записи

Вычислять значения один раз при записи или через CDC (Change Data Capture).

Хранить их в отдельных столбцах: effective_display_name, effective_timezone и так далее.

Чтение остаётся быстрым, значения по умолчанию единообразны. Запись становится немного сложнее, зато результат предсказуем, доступен для кэширования и мониторинга.

C → DEFAULT в БД + миграция на NOT NULL

Выглядит чисто и декларативно. Но изменение работающей таблицы с миллионами записей может обернуться серьёзными проблемами.

Значения DEFAULT применяются только к новым записям, но не исправляют существующие. Кроме того, сложные правила определения значений по умолчанию лучше не переносить в SQL.

D → Пусть каждый потребитель обрабатывает значения самостоятельно

Никаких изменений схемы. Но каждый сервис самостоятельно определяет, что считать значением по умолчанию. В итоге появляются пять разных версий истины, и ни одна из них не совпадает с остальными.

Maya выбрала вариант B.

Потому что при масштабировании операции чтения обычно преобладают над операциями записи. Каждая сэкономленная миллисекунда накапливается при большом количестве запросов. Вычислить значение один раз во время записи эффективнее, чем пересчитывать его 10 000 раз в секунду.

Компромиссы, на которые пришлось пойти:

Немного увеличилась задержка при записи.
Потребовались идемпотентность и контроль конкурентного доступа.
При асинхронном обновлении через CDC появилась задержка синхронизации.
Понадобилась фоновая задача (backfill) для исправления существующих данных.

Гнаться за производительностью может каждый. Но немногие умеют делать это без ущерба для надёжности. Запомните: низкая задержка любит предварительные вычисления.

👉 @SQLPortal
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
10 минут на Python могут сэкономить всего 1 секунду в SQL.

Так происходит, когда оптимизируешь не тот уровень системы. У вас задача на работу с наборами данных, а вы решаете её построчно.

Пример: Нужно получить все возможные комбинации товаров и регионов.

Большинство разработчиков используют вложенные циклы. Решение кажется простым, но может серьёзно ударить по производительности.

Почему? Потому что вы переносите работу из базы данных в код приложения. Для таких задач существует CROSS JOIN.

Он позволяет получить все возможные комбинации одной операцией:

• Товары × регионы.
• Пользователи × даты.
• Счета × месяцы.

Без циклов. Без дополнительных обращений к базе. Без лишнего связующего кода. Только работа с наборами данных.

Если ваша задача звучит как:

• «Для каждого X выполнить для каждого Y».
• «Сгенерировать все возможные комбинации».
• «Заполнить отсутствующие данные».

Возможно, решение стоит искать именно в SQL. Минуты против секунд. Та же логика. Но правильный инструмент.

👉 @SQLPortal
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍1💊1
Regex101 — онлайн-инструмент для работы с регулярными выражениями.

Помогает проверять RegEx в реальном времени, находить совпадения в тексте, разбирать группы захвата и понимать, почему выражение работает не так, как ожидалось.

Поддерживает разные движки, включая PCRE2, JavaScript, Python и Go. Есть подсветка совпадений и подробное объяснение каждого элемента регулярного выражения.

👉 @SQLPortal
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
Большинство «проблем с производительностью БД» — это просто плохо написанный SQL под маской проблем с базой данных.

Добавлять мощности серверу — самый простой, но далеко не всегда правильный выход. Чаще всего узкое место не в самой базе, а в том, как вы с ней работаете.

Грамотное проектирование запросов, индексов и схемы данных может дать гораздо больший прирост производительности, чем апгрейд сервера.

Пример: поиск товаров занимает 2,5 секунды даже на хорошо оснащённом сервере БД. Первая мысль — купить сервер помощнее.

Но вместо этого можно:

• Добавить покрывающий индекс по (category_id, active, price_cents, created_at).
• Заменить фильтрацию через LOWER(name) на GIN-индекс с триграммами по name.
• Перейти с пагинации через OFFSET на пагинацию по ключу (seek pagination).
• Возвращать только нужные столбцы вместо SELECT *.

Результат: 2,5 секунды → 80 мс. Без дополнительного оборудования и простоя.

Почему это важно:

Масштабирование оборудования линейно увеличивает расходы.
Оптимизация запросов действительно ускоряет работу.
Более мощное оборудование лишь маскирует плохую архитектуру — до следующего скачка нагрузки.

В следующий раз, когда захочется масштабировать базу, спросите себя:

• Анализировал ли я медленные запросы?
• Соответствуют ли индексы реальным сценариям доступа к данным?
• Помогает ли структура схемы данных производительности или мешает ей?

Масштабирование базы данных должно быть последним шагом, а не первым.

Ведь производительность, достигнутая за счёт эффективности, всегда надёжнее производительности, купленной за счёт более мощного оборудования.

👉 @SQLPortal
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤2
SQL — это не просто синтаксис. Глубокое понимание концепций отличает новичков от экспертов.

Что не так с этим SQL-скриптом? Когда я впервые столкнулся с таким вопросом, то сразу начал искать ошибку в синтаксисе SQL. Но проблема оказалась не в синтаксисе, а в данных и концепции под названием кардинальность (Cardinality).

Кардинальность — это количество уникальных значений в столбце относительно общего количества строк в таблице.

• Высокая кардинальность (High Cardinality) — столбец содержит много уникальных значений.
• Низкая кардинальность (Low Cardinality) — столбец содержит мало уникальных значений.

Создание индекса на столбце с низкой кардинальностью часто оказывается неэффективным по нескольким причинам:

• При низкой кардинальности каждому значению индекса соответствует много строк. Это снижает способность индекса сужать область поиска.
• Поддержка индекса требует дополнительного места и времени на обновление данных. Для таких столбцов эти затраты могут превышать пользу.
• Оптимизаторы запросов баз данных учитывают статистику столбцов, включая кардинальность. Если индекс имеет низкую избирательность, оптимизатор часто игнорирует его и выполняет полное сканирование таблицы (Full Table Scan).

Простой пример: представим таблицу Employees с 1 миллионом записей. Рассмотрим индексацию разных столбцов:

• ID: высокая кардинальность — 1 миллион уникальных значений. Индекс будет очень эффективен.
• Name: высокая кардинальность — много уникальных имён. Индекс может быть полезен для поиска.
• Department: средняя кардинальность — 10–20 уникальных значений. Индекс иногда может быть полезен, но обычно менее эффективен, чем индекс по EmployeeID или Name.
• Gender: очень низкая кардинальность — 2–3 уникальных значения. Оптимизатор запросов, скорее всего, проигнорирует такой индекс.

Когда стоит индексировать столбцы с низкой кардинальностью?

В некоторых случаях такой индекс всё же может быть полезен.

Например, можно объединить столбцы с низкой и высокой кардинальностью:
CREATE INDEX idx_dept_emp
ON Employees(Department, ID);


👉 @SQLPortal
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3
За каждым стеком с избыточным количеством баз данных стоит команда, которая даже не проверила, что уже умеет PostgreSQL.

Я сталкивался с таким десятки раз.

MongoDB — для JSON.
Redis — для сессий.
Elasticsearch — для поиска.
Pinecone — для векторов.
InfluxDB — для метрик.

Каждую из них добавили для решения реальной проблемы. Но у PostgreSQL уже было решение для каждой из этих задач.

1. Используете MongoDB для хранения JSON?

В PostgreSQL есть JSONB с GIN-индексами по вложенным полям. Полноценная поддержка планировщика запросов. JOIN. ACID-транзакции.

Разработчики, которые переходят с MongoDB, обычно говорят одно и то же: им гораздо сильнее, чем они ожидали, не хватало JOIN.

2. Используете Pinecone или Chroma для векторного поиска?

• pgvector поддерживает индексы HNSW и IVFFlat для векторов с плавающей точкой.
• Косинусное сходство.
• Евклидово расстояние (L2).
• Поиск по скалярному произведению.

Если ваш RAG-пайплайн уже обращается к PostgreSQL, это на один сетевой переход меньше и на один сервис меньше, за которым нужно следить.

3. Используете Elasticsearch для полнотекстового поиска?

pg_trgm + tsvector + GIN-индексы позволяют реализовать автодополнение, ранжированный поиск по документам и поиск с учётом опечаток, не выходя за пределы PostgreSQL.

• Нечёткий поиск.
• Ранжирование результатов.
• Языковые словари.

Elasticsearch действительно необходим в самых сложных 20% случаев. Но прежде чем добавлять его, убедитесь, что ваша задача действительно относится к этим 20%.

4. Используете InfluxDB для временных рядов?

TimescaleDB — это расширение PostgreSQL.

• Автоматическое секционирование.
• Встроенное сжатие.
• Непрерывные агрегаты.
• Интерфейс SQL.

Большинство команд узнают о существовании TimescaleDB только после того, как уже настроили InfluxDB. Именно поэтому InfluxDB вообще попала в этот список.

5. Используете Redis для Pub/Sub или лёгкой очереди задач?

В PostgreSQL есть LISTEN/NOTIFY для рассылки событий. Для надёжных очередей существует pg-boss — полноценная система управления задачами на базе PostgreSQL, которая используется в production даже при серьёзных нагрузках.

Это не замена Redis для масштабируемого кэширования с задержками менее миллисекунды. Но большинство команд обращаются к Redis, даже не попробовав сначала измерить производительность PostgreSQL.

Сначала проверьте. Каждая добавленная база данных — это:

• Новый пул подключений.
• Новая стратегия резервного копирования.
• Новая панель мониторинга.
• Новый сценарий отказа.
• Ещё одна причина, по которой вас могут разбудить в 3 часа ночи.

В 2026 году PostgreSQL с расширениями закрывает 80–90% потребностей в работе с данными. Прежде чем разворачивать специализированную СУБД, задайте себе вопрос: а может ли это PostgreSQL?

Цена полиглотного хранения данных (Polyglot Persistence) измеряется не только расходами на инфраструктуру. Она измеряется операционной сложностью, которая накапливается с течением времени.

👉 @SQLPortal
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5👍1
Что делать, если Greenplum работает, но масштабирование, стоимость и изменения в логике становятся всё дороже?

На вебинаре покажем, как перенести данные, SQL и пайплайны в Lakehouse, сохранив работающий контур и проверив результат до переключения.
• Разберём три слоя хранилища и покажем, как каждый из них ложится на Lakehouse.
• Покажем, что происходит с данными, SQL, процедурами, индексами и расширениями Greenplum.
• Перенесём данные из Greenplum в Iceberg через нативный коннектор CedrusData Engine.
• Перенесём cron-задания в Airflow, переведём загрузки в ELT и переподключим BI через Trino-коннекторы.
• Покажем, как AI-агенты помогают переносить пайплайны, DAG-и Airflow, джобы Spark и предлагать схемы Iceberg.
• Проверим данные, схемы, SQL-результаты и производительность, а затем запустим новый контур в тени.

📅 25 ноября, 16:00 мск
Регистрация на вебинар
❤3👍2🔥2
Если есть возможность, выполняйте вычисления во время записи данных.

Низкая задержка любит предварительные вычисления (Precomputation).

Вот с какой ситуацией столкнулась Maya: в её таблице пользовательских профилей были необязательные поля: display_name, timezone и bio. Половина записей содержала NULL.

При этом время чтения должно было оставаться ниже 20 мс при нагрузке 10 000 запросов в секунду. Ей нужно было обеспечить единое эффективное значение для каждого поля во всех сервисах. Никаких NULL.

Вот какие варианты она рассматривала:

A → COALESCE во время чтения

Оставить столбцы допускающими NULL и использовать COALESCE(column, default) в каждом запросе.

Просто. Пока не выясняется, что каждый запрос теперь выполняет дополнительные вычисления на критическом пути. Логика различается между сервисами. Индексировать такие выражения сложнее. Производительность падает.

B → Материализовать effective-столбцы во время записи

Вычислять значения один раз при записи или через CDC (Change Data Capture). Хранить effective_display_name, effective_timezone и другие аналогичные поля.

Чтение остаётся быстрым. Значения по умолчанию единообразны. Запись становится немного сложнее, зато поведение предсказуемо, данные можно кэшировать и отслеживать.

C → DEFAULT в БД + миграция на NOT NULL

Выглядит чисто и декларативно. Но изменение работающей таблицы с миллионами записей может обернуться серьёзными проблемами.

Значения по умолчанию применяются только к новым записям, но не исправляют старые. Сложные правила определения значений по умолчанию не должны находиться в SQL.

D → Пусть каждый потребитель обрабатывает значения по умолчанию самостоятельно

Никаких изменений схемы. Но каждый сервис по-своему определяет, что означает «значение по умолчанию».

Вскоре у вас появляется пять разных версий истины, и ни одна из них не совпадает с остальными. Maya выбрала вариант B.

Потому что при больших нагрузках чтений обычно больше, чем записей. Каждая сэкономленная миллисекунда на запросе даёт накопительный эффект. Вычислить значение один раз во время записи лучше, чем пересчитывать его 10 000 раз в секунду.

Компромиссы, на которые она пошла:

• Немного более высокая задержка при записи.
• Необходимость обеспечить идемпотентность и контроль конкурентного доступа.
• Задержки CDC при использовании асинхронных обновлений.
• Фоновая задача (Backfill) для исправления уже существующих данных.

Гнаться за производительностью может каждый. Но немногие умеют делать её надёжной. Не забывайте: низкая задержка любит предварительные вычисления.

👉 @SQLPortal
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3
Иногда в данных встречаются дубликаты, и умение находить их — полезный навык. Вот хороший пример на SQL.

Задача

Представим, что у вас есть таблица покупок клиентов.
Нужно выяснить, покупает ли один и тот же клиент один и тот же товар в одном и том же магазине несколько раз в течение 5 минут.

Это может указывать на дубликаты, возникшие из-за системных ошибок, или на несколько быстрых последовательных покупок.

Решение

Один из способов решить эту задачу — использовать функцию LAG. Функция LAG в SQL позволяет получить значение из предыдущей строки. Это полезно, когда нужно отследить закономерности в изменении данных.

По сути, вы сравниваете текущую строку с той, которая находится непосредственно перед ней.

Шаг за шагом

1. Создаём обобщённое табличное выражение (CTE) PurchasesWithLag и применяем в нём функцию LAG.
2. Используем PARTITION BY по CustomerId, StoreId и ProductId. Это означает, что функция начинает отсчёт заново для каждой уникальной комбинации этих полей.
3. В основном запросе вычисляем разницу во времени с помощью DATEDIFF.
4. Отбираем строки, для которых:

Время предыдущей покупки не равно NULL — так мы исключаем первую покупку в каждой группе.
Разница во времени составляет 5 минут или меньше.
В конце сортируем результаты для наглядности.

5.Функция LAG позволяет обращаться к предыдущим строкам без сложных JOIN-запросов.

В сочетании с DATEDIFF она помогает находить покупки, совершённые с небольшим интервалом друг от друга.

Такой подход особенно полезен, когда нужно искать дубликаты по временному интервалу, а не по полному совпадению записей.

Запомните

Когда речь заходит о дубликатах, последовательных записях или сравнении текущей строки с предыдущей или следующей, велика вероятность, что задачу можно решить с помощью LAG или её аналога LEAD.

Также будьте готовы объяснить, что произойдёт, если предыдущей строки нет. В таком случае LAG вернёт NULL.

👉 @SQLPortal
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤2
Сложные вопросы по SQL, которые вы боялись задать

1. WHERE vs HAVING

WHERE фильтрует строки до группировки, а HAVING — после неё.

HAVING используют вместе с агрегатными функциями, например SUM(), чтобы фильтровать уже сформированные группы.

2. Что такое оконные функции и чем они отличаются от агрегатных?

Оконные функции (например, ROW_NUMBER(), SUM() OVER()) работают с набором строк, связанных с текущей строкой, но не объединяют их в одну строку, как это делает GROUP BY.

Это позволяет одновременно видеть и отдельные записи, и общие значения.

3. Что такое CTE и чем они отличаются от подзапросов?

Обобщённые табличные выражения (CTE), создаваемые с помощью WITH, позволяют определить именованный временный набор результатов, который можно использовать в основном запросе.

В отличие от подзапросов, CTE делают запросы более читаемыми, поддерживают рекурсию и могут использоваться несколько раз в одном запросе.

4. Что такое дедлок (Deadlock) в SQL и как его избежать?

Дедлок возникает, когда две транзакции блокируют друг друга и не могут завершиться. Чтобы избежать этого:

Делайте транзакции короткими.
Всегда обращайтесь к таблицам в одном и том же порядке.
Используйте механизм повторного выполнения транзакций при возникновении ошибки.

5. Что такое секционированные таблицы (Partitioned Tables) и как они влияют на производительность?

Секционирование разделяет большую таблицу на несколько меньших частей, например по диапазонам дат или географическим регионам.

Если запрос фильтрует данные по столбцу, используемому для секционирования (например, по дате), база может пропустить ненужные секции. Это значительно ускоряет выполнение запроса.

6. Что такое материализованные представления (Materialized Views) и чем они отличаются от обычных?

Материализованные представления физически хранят результаты запроса, поэтому чтение данных происходит быстрее. Однако эти результаты могут устаревать.

Обычные представления не хранят данные — это сохранённые SQL-запросы.

7. Что такое покрывающие индексы (Covering Indexes) и чем они полезны?

Покрывающий индекс содержит все столбцы, необходимые для выполнения запроса. Благодаря этому база может получить нужные данные непосредственно из индекса, не обращаясь к самой таблице.

Это значительно ускоряет операции чтения, особенно для часто выполняемых запросов.

👉 @SQLPortal
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍3
Плохие данные — корень всех проблем. Ограничения SQL (Constraints) помогают предотвратить их появление.

Вот 6 типов ограничений с простыми объяснениями.

1. PRIMARY KEY Constraint (Первичный ключ)

Гарантирует, что значения в столбце не могут быть NULL и должны быть уникальными.

Каждая таблица в базе данных должна иметь первичный ключ для идентификации своих записей.

2. FOREIGN KEY Constraint (Внешний ключ)

Гарантирует, что значения в столбце должны соответствовать значениям столбца другой таблицы, обычно её первичного ключа.

Устанавливает связь между двумя таблицами с помощью одного или нескольких столбцов.

3. UNIQUE Constraint (Уникальность)

Гарантирует, что значения в столбце не повторяются во всей таблице.

Отлично подходит для полей с именем пользователя или электронной почтой в таблице Users.

4. CHECK Constraint (Проверка)

Требует, чтобы данные соответствовали заданному условию.

Например, если у вас есть столбец Score, содержащий проценты от 0 до 100, можно использовать CHECK, чтобы гарантировать соблюдение этого диапазона.

5. NOT NULL Constraint (Запрет NULL)

Гарантирует, что столбец не содержит значений NULL. Каждая строка должна иметь значение в этом столбце.
Используйте NOT NULL для столбцов, наличие значений в которых предполагает логика приложения.

6. DEFAULT Constraint (Значение по умолчанию)

Система автоматически присваивает столбцу значение по умолчанию, если вы не указали его явно.

Полезно, когда вместо NULL нужно подставлять заранее заданное значение.

Качественные данные = качественное ПО!

👉 @SQLPortal
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
Большинство считает, что SQL работает медленно. Но дело не в нём — дело в плохих запросах. Простое введение в функциональные индексы.

Что такое функциональный индекс?

• Обычный индекс помогает быстрее находить значения в столбце.
• Функциональный индекс помогает быстрее находить результат выполнения функции.

Пример:
-- Обычный фильтр (медленный)
WHERE EXTRACT(YEAR FROM order_date) = 2023;

-- С функциональным индексом
CREATE INDEX idx_order_year
ON orders ((EXTRACT(YEAR FROM order_date)));


Теперь базе не нужно вычислять год для каждой строки — она обращается к индексу, словно к словарю.

Зачем это нужно?

• Вы постоянно используете подобные выражения в запросах:
• LOWER(email) → поиск без учёта регистра;
• SUBSTRING(code, 1, 4) → поиск по части строки;
• price * quantity → вычисляемые значения;
• EXTRACT(MONTH FROM signup_date) → фильтрация по месяцу.

Без функционального индекса такие запросы могут работать медленно.

Когда стоит его использовать?

• Вы фильтруете данные по вычисляемым значениям.
• Используете операции с датами, строками или значениями столбцов.
• Ваше приложение преимущественно выполняет чтение.
• Хотите получать результаты запросов быстрее чем за 100 мс.

Запомните:

• Функциональные индексы хранят результаты вычисления функций.
• Они избавляют от необходимости пересчитывать значения при каждом запросе.
• Помогают значительно ускорить сложные условия фильтрации.
• Но занимают дополнительное место и подходят только для детерминированных функций.

Сохраните, попробуйте применить и поделитесь с теми, кто всё ещё пишет медленные запросы.

👉 @SQLPortal
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3
Ну забыл с кем не бывает 🫡

👉 @SQLPortal
Please open Telegram to view this post
VIEW IN TELEGRAM
😁9