Одна шпаргалка по SQL — всё необходимое для повторения в одном месте
Изучение SQL — это не просто запоминание команд. Важно понимать, как применять их для решения реальных задач. Именно с этим у многих возникают сложности на технических собеседованиях.
Вы можете знать, как писать
Можете разобраться с
Поэтому удобная шпаргалка по SQL может значительно упростить обучение. В ней собраны все основные темы:
• SELECT, WHERE и фильтрация данных
• ORDER BY, LIMIT и OFFSET
• GROUP BY, HAVING и агрегатные функции
• INNER, LEFT, RIGHT и FULL JOIN
• Подзапросы и CTE
• UNION, INTERSECT и EXCEPT
• Функции для работы со строками, датами и NULL
• CASE и условная логика
• Оконные функции и ранжирование
• Индексы и изменение данных
Главный урок: Не нужно запоминать каждую команду SQL. Важно понимать логику их работы и знать, какую конструкцию применить для решения конкретной бизнес-задачи.
Хорошее знание основ помогает разбираться даже в сложных SQL-запросах.
👉 @SQLPortal
Изучение SQL — это не просто запоминание команд. Важно понимать, как применять их для решения реальных задач. Именно с этим у многих возникают сложности на технических собеседованиях.
Вы можете знать, как писать
JOIN, но понимаете ли вы, когда использовать INNER JOIN, а когда LEFT JOIN?Можете разобраться с
GROUP BY, но знаете ли, в каких случаях оконные функции будут лучшим решением?Поэтому удобная шпаргалка по SQL может значительно упростить обучение. В ней собраны все основные темы:
• SELECT, WHERE и фильтрация данных
• ORDER BY, LIMIT и OFFSET
• GROUP BY, HAVING и агрегатные функции
• INNER, LEFT, RIGHT и FULL JOIN
• Подзапросы и CTE
• UNION, INTERSECT и EXCEPT
• Функции для работы со строками, датами и NULL
• CASE и условная логика
• Оконные функции и ранжирование
• Индексы и изменение данных
Главный урок: Не нужно запоминать каждую команду SQL. Важно понимать логику их работы и знать, какую конструкцию применить для решения конкретной бизнес-задачи.
Хорошее знание основ помогает разбираться даже в сложных SQL-запросах.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5
Вот хороший пример задачи на SQL.
Задача: Представьте, что вы помогаете отделу инвентаризации определить, в каких магазинах запасов товаров слишком много или слишком мало.
Для решения задачи нужно:
• Установить пороговые значения для определения высокого и низкого уровня запасов (в нашем примере — 10 единиц).
• Рассчитать количество каждого товара на складе.
• Вычислить средний уровень запасов по всем магазинам.
Звучит просто, но есть нюанс: использовать
Самый простой способ решить эту задачу — использовать
Клауза
Каждая такая группа обрабатывается отдельно при выполнении вычислений оконной функцией.
В отличие от
Что происходит в этом запросе:
• С помощью
• Рассчитанные средние значения временно сохраняются в общем табличном выражении (CTE).
• Затем запрос сравнивает запасы каждого магазина со средним значением для соответствующего товара.
• В итоговой таблице отображаются остатки каждого магазина, средний запас товара (рассчитанный с помощью
👉 @SQLPortal
Задача: Представьте, что вы помогаете отделу инвентаризации определить, в каких магазинах запасов товаров слишком много или слишком мало.
Для решения задачи нужно:
• Установить пороговые значения для определения высокого и низкого уровня запасов (в нашем примере — 10 единиц).
• Рассчитать количество каждого товара на складе.
• Вычислить средний уровень запасов по всем магазинам.
Звучит просто, но есть нюанс: использовать
GROUP BY нельзя, поскольку нам нужны подробные данные по каждому товару в каждом магазине.Самый простой способ решить эту задачу — использовать
PARTITION BY.Клауза
PARTITION BY в SQL разделяет результирующий набор на группы (окна) на основе одного или нескольких столбцов.Каждая такая группа обрабатывается отдельно при выполнении вычислений оконной функцией.
В отличие от
GROUP BY, данные не сворачиваются в одну строку на группу. Все исходные строки остаются в результирующем наборе.Что происходит в этом запросе:
• С помощью
PARTITION BY запрос вычисляет средний запас каждого товара по всем магазинам. Данные разделяются по ProductId, чтобы среднее значение рассчитывалось отдельно для каждого товара.• Рассчитанные средние значения временно сохраняются в общем табличном выражении (CTE).
• Затем запрос сравнивает запасы каждого магазина со средним значением для соответствующего товара.
• В итоговой таблице отображаются остатки каждого магазина, средний запас товара (рассчитанный с помощью
PARTITION BY) и статус: High, Low или Normal.PARTITION BY похож на GROUP BY, но сохраняет детализацию данных. Продолжайте учиться! Please open Telegram to view this post
VIEW IN TELEGRAM
👍2❤1🤔1
Избегать SQL — значит избегать настоящей backend-разработки.
API меняются. Фреймворки уходят в прошлое. Базы данных переживают миграции.
Большинство проблем с производительностью backend-систем возникает не из-за медленного кода приложения, а из-за:
Плохо написанных запросов.
Отсутствующих индексов.
Неудачной структуры таблиц.
Слабой модели данных.
Неправильных паттернов чтения и записи.
Отсутствующий индекс не исправить микросервисами. Дублирование данных не исправить кэшированием. Медленные отчёты не ускорить простым переписыванием API.
Если вы не понимаете ACID, уровни изоляции транзакций, блокировки, взаимные блокировки (deadlocks), индексы, партиционирование и планы выполнения запросов, рано или поздно ваша система начнёт ломаться под нагрузкой.
SQL — не опция, а необходимость.
Хорошее знание SQL помогает лучше разбираться в System Design, распределённых системах, производительности и надёжности. Учите SQL. Всё остальное строится на этом фундаменте.
👉 @SQLPortal
API меняются. Фреймворки уходят в прошлое. Базы данных переживают миграции.
Большинство проблем с производительностью backend-систем возникает не из-за медленного кода приложения, а из-за:
Плохо написанных запросов.
Отсутствующих индексов.
Неудачной структуры таблиц.
Слабой модели данных.
Неправильных паттернов чтения и записи.
Отсутствующий индекс не исправить микросервисами. Дублирование данных не исправить кэшированием. Медленные отчёты не ускорить простым переписыванием API.
Если вы не понимаете ACID, уровни изоляции транзакций, блокировки, взаимные блокировки (deadlocks), индексы, партиционирование и планы выполнения запросов, рано или поздно ваша система начнёт ломаться под нагрузкой.
SQL — не опция, а необходимость.
Хорошее знание SQL помогает лучше разбираться в System Design, распределённых системах, производительности и надёжности. Учите SQL. Всё остальное строится на этом фундаменте.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5
SQL предлагает решение практически для любой задачи с данными. Главное — освоить его!
Вот самый простой способ сформировать отчёт о продажах.
Если вы строите отчёты, вам нужны не только общие суммы, но и промежуточные итоги. И именно здесь многие допускают ошибку: используют
Рассмотрим пример.
Предположим, у нас есть таблица
•
•
•
Нужно сформировать отчёт, который включает промежуточные итоги по каждому товару и общий итог по всем продажам.
Одного
Модификатор
Что происходит при его использовании:
Обычные строки: для каждой комбинации товара и региона отображается общая сумма продаж.
Промежуточные итоги: строки, в которых
Общий итог: строка, в которой и
Вот в чём разница между «писать SQL» и действительно знать SQL. Многие разработчики решают задачи с данными вручную, просто потому что не знают о встроенных возможностях языка.
👉 @SQLPortal
Вот самый простой способ сформировать отчёт о продажах.
Если вы строите отчёты, вам нужны не только общие суммы, но и промежуточные итоги. И именно здесь многие допускают ошибку: используют
GROUP BY, но забывают про WITH ROLLUP.Рассмотрим пример.
Предположим, у нас есть таблица
Sales со следующими столбцами:•
product — название товара;•
region — регион продаж;•
sales_amount — сумма продаж.Нужно сформировать отчёт, который включает промежуточные итоги по каждому товару и общий итог по всем продажам.
Одного
GROUP BY для этого недостаточно. Здесь пригодится WITH ROLLUP.Модификатор
WITH ROLLUP используется вместе с GROUP BY и добавляет в результат сводные строки с промежуточными и общими итогами.Что происходит при его использовании:
Обычные строки: для каждой комбинации товара и региона отображается общая сумма продаж.
Промежуточные итоги: строки, в которых
region равен NULL, показывают сумму продаж по каждому товару.Общий итог: строка, в которой и
product, и region равны NULL, показывает сумму всех продаж.Вот в чём разница между «писать SQL» и действительно знать SQL. Многие разработчики решают задачи с данными вручную, просто потому что не знают о встроенных возможностях языка.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤2
SQL существовал ещё до моего рождения, но до сих пор остаётся одним из важнейших языков, которые стоит освоить.
Вот 5 уроков, которые я усвоил на собственном опыте.
1. Не создавайте слишком много индексов.
Индексы — мощный инструмент для ускорения поиска данных. Они работают за счёт создания дополнительной структуры, которую база данных использует для быстрого поиска строк.
Но за это приходится платить: каждый индекс занимает дополнительное место и замедляет операции записи.
Создавайте индексы для столбцов, которые используются в условиях поиска (
2. Структура запроса влияет на производительность.
Сложные запросы с подзапросами и вложенной логикой заставляют базу данных выполнять больше работы.
Иногда имеет смысл разделить такой запрос на два или несколько отдельных запросов и объединить результаты на стороне сервера.
Выбирайте только необходимые столбцы — так базе данных придётся обрабатывать и передавать меньше данных.
3. Обращайте внимание на JOIN и WHERE.
Правильно составленные
Используйте их с учётом существующих индексов.
4. Осторожнее с подзапросами.
Коррелированные подзапросы выполняются для каждой строки внешнего запроса, что может привести к снижению производительности.
Переписывание таких подзапросов с использованием
5. Проектирование базы данных влияет на производительность запросов.
Нормализация данных предполагает организацию схемы таким образом, чтобы уменьшить избыточность и повысить целостность данных. Но она может приводить к появлению сложных запросов с большим количеством
Денормализация упрощает запросы, но увеличивает избыточность данных.
👉 @SQLPortal
Вот 5 уроков, которые я усвоил на собственном опыте.
1. Не создавайте слишком много индексов.
Индексы — мощный инструмент для ускорения поиска данных. Они работают за счёт создания дополнительной структуры, которую база данных использует для быстрого поиска строк.
Но за это приходится платить: каждый индекс занимает дополнительное место и замедляет операции записи.
Создавайте индексы для столбцов, которые используются в условиях поиска (
WHERE, JOIN) и сортировке (ORDER BY).2. Структура запроса влияет на производительность.
Сложные запросы с подзапросами и вложенной логикой заставляют базу данных выполнять больше работы.
Иногда имеет смысл разделить такой запрос на два или несколько отдельных запросов и объединить результаты на стороне сервера.
Выбирайте только необходимые столбцы — так базе данных придётся обрабатывать и передавать меньше данных.
3. Обращайте внимание на JOIN и WHERE.
JOIN объединяет строки из двух или нескольких таблиц по связанным столбцам. WHERE фильтрует записи.Правильно составленные
JOIN и WHERE позволяют сократить количество строк, которые придётся обрабатывать на следующих этапах выполнения запроса.Используйте их с учётом существующих индексов.
4. Осторожнее с подзапросами.
Коррелированные подзапросы выполняются для каждой строки внешнего запроса, что может привести к снижению производительности.
Переписывание таких подзапросов с использованием
JOIN или временных таблиц может ускорить выполнение.5. Проектирование базы данных влияет на производительность запросов.
Нормализация данных предполагает организацию схемы таким образом, чтобы уменьшить избыточность и повысить целостность данных. Но она может приводить к появлению сложных запросов с большим количеством
JOIN.Денормализация упрощает запросы, но увеличивает избыточность данных.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤2
Мастерство SQL — не в знании синтаксиса. Оно в умении задавать вопросы, которые многие боятся даже сформулировать.
Написать
Почему добавление индекса сделало запросы медленнее?
Почему один и тот же запрос завтра может получить другой план выполнения?
Почему
Это не ошибки. Именно такие вопросы отличают тех, кто просто использует SQL, от тех, кто действительно понимает, как работают базы данных.
Знание синтаксиса помогает получить работу. Глубокое понимание делает вас незаменимым.
👉 @SQLPortal
Написать
SELECT * может каждый. Это базовый уровень.Почему добавление индекса сделало запросы медленнее?
Почему один и тот же запрос завтра может получить другой план выполнения?
Почему
UPDATE иногда обходится дороже, чем DELETE + INSERT?Это не ошибки. Именно такие вопросы отличают тех, кто просто использует SQL, от тех, кто действительно понимает, как работают базы данных.
Знание синтаксиса помогает получить работу. Глубокое понимание делает вас незаменимым.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6
Я не мог разобраться в Document Store, пока не придумал эту аналогию.
Document Store — это разновидность NoSQL-базы данных, в которой основная структура хранения данных — документы.
Документ может быть представлен в формате XML, но чаще всего используется JSON.
Document Store можно рассматривать как разновидность Key-Value хранилища.
В реляционных базах данных (RDBMS):
• Tables (таблицы): основная структура для хранения данных. Напоминают электронную таблицу со строками и столбцами.
• Rows (строки): каждая строка представляет отдельную запись в таблице.
• Columns (столбцы): каждый столбец хранит определённый атрибут записи.
• Indexes (индексы): ускоряют поиск, сокращая количество просматриваемых записей.
• Joins (объединения): позволяют получать данные из двух или нескольких таблиц, связывая их по общим атрибутам.
В Document Store:
• Collection (коллекция): аналог таблицы в RDBMS. Объединяет документы.
• Documents (документы): основная единица хранения данных. Обычно представлены в JSON или похожем формате и описывают отдельную запись или объект.
• Fields (поля): аналог столбцов. Содержат атрибуты документа.
• Indexes (индексы): как и в RDBMS, используются для ускорения поиска.
• Embedding (встраивание): хранение связанных данных внутри одного документа, что позволяет сократить необходимость в JOIN. Это может приводить к дублированию данных и увеличению размера документов.
• Linking (связывание): документы хранятся отдельно, но содержат ссылки на другие документы — аналог внешних ключей в RDBMS.
RDBMS хорошо подходят для сложных запросов и транзакций, требующих строгой согласованности данных.
Document Store обеспечивают гибкость, масштабируемость и высокую производительность. Они также удобны для работы с полуструктурированными данными и быстрого изменения модели данных.
👉 @SQLPortal
Document Store — это разновидность NoSQL-базы данных, в которой основная структура хранения данных — документы.
Документ может быть представлен в формате XML, но чаще всего используется JSON.
Document Store можно рассматривать как разновидность Key-Value хранилища.
В реляционных базах данных (RDBMS):
• Tables (таблицы): основная структура для хранения данных. Напоминают электронную таблицу со строками и столбцами.
• Rows (строки): каждая строка представляет отдельную запись в таблице.
• Columns (столбцы): каждый столбец хранит определённый атрибут записи.
• Indexes (индексы): ускоряют поиск, сокращая количество просматриваемых записей.
• Joins (объединения): позволяют получать данные из двух или нескольких таблиц, связывая их по общим атрибутам.
В Document Store:
• Collection (коллекция): аналог таблицы в RDBMS. Объединяет документы.
• Documents (документы): основная единица хранения данных. Обычно представлены в JSON или похожем формате и описывают отдельную запись или объект.
• Fields (поля): аналог столбцов. Содержат атрибуты документа.
• Indexes (индексы): как и в RDBMS, используются для ускорения поиска.
• Embedding (встраивание): хранение связанных данных внутри одного документа, что позволяет сократить необходимость в JOIN. Это может приводить к дублированию данных и увеличению размера документов.
• Linking (связывание): документы хранятся отдельно, но содержат ссылки на другие документы — аналог внешних ключей в RDBMS.
RDBMS хорошо подходят для сложных запросов и транзакций, требующих строгой согласованности данных.
Document Store обеспечивают гибкость, масштабируемость и высокую производительность. Они также удобны для работы с полуструктурированными данными и быстрого изменения модели данных.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Пакетная обработка (Batching) — один из самых недооценённых приёмов оптимизации SQL
Разберёмся, как она работает и почему её стоит использовать. Многим системам приходится выполнять массовые операции: вставку, обновление и удаление данных.
Вместо выполнения множества отдельных операций, каждая из которых требует отдельного обращения к базе данных, их можно объединить в один пакетный запрос.
Пример:
Представьте, что вы импортируете файл, обрабатываете данные и должны добавить 100 строк в таблицу.
Без пакетной обработки придётся выполнить 100 отдельных SQL-команд
Что важно учитывать:
Пакетная обработка требует внимательной работы с ошибками. Если одна из операций завершится неудачно, может потребоваться откат всего пакета. Для этого могут пригодиться точки сохранения (Savepoints) или блоки
Некоторые СУБД ограничивают размер пакета, поэтому большие пакеты может потребоваться разбивать на части. Обычно хорошо работают размеры от 100 до 1000 операций.
Пакетная обработка по-разному влияет на
Основные преимущества Batching:
Меньше сетевых обращений: отправка нескольких операций одновременно сокращает накладные расходы на взаимодействие между приложением и базой данных.
Эффективнее транзакции: все операции выполняются в рамках одной транзакции, что снижает затраты на управление множеством отдельных транзакций.
Выше производительность: в зависимости от сценария пакетная обработка может ускорить выполнение операций в 10–100 раз по сравнению с одиночными запросами.
В следующий раз, когда будете работать с массовыми операциями, попробуйте Batching.
Это как отправить одно групповое сообщение вместо 100 отдельных. Ваша база данных скажет спасибо! P. S. Использовали пакетную обработку? Как справлялись с ошибками?
👉 @SQLPortal
Разберёмся, как она работает и почему её стоит использовать. Многим системам приходится выполнять массовые операции: вставку, обновление и удаление данных.
Вместо выполнения множества отдельных операций, каждая из которых требует отдельного обращения к базе данных, их можно объединить в один пакетный запрос.
Пример:
Представьте, что вы импортируете файл, обрабатываете данные и должны добавить 100 строк в таблицу.
Без пакетной обработки придётся выполнить 100 отдельных SQL-команд
INSERT. С Batching все 100 записей объединяются в один запрос (или несколько, если есть ограничения).Что важно учитывать:
Пакетная обработка требует внимательной работы с ошибками. Если одна из операций завершится неудачно, может потребоваться откат всего пакета. Для этого могут пригодиться точки сохранения (Savepoints) или блоки
try-catch.Некоторые СУБД ограничивают размер пакета, поэтому большие пакеты может потребоваться разбивать на части. Обычно хорошо работают размеры от 100 до 1000 операций.
Пакетная обработка по-разному влияет на
INSERT, UPDATE и DELETE. Тестируйте каждый сценарий отдельно.Основные преимущества Batching:
Меньше сетевых обращений: отправка нескольких операций одновременно сокращает накладные расходы на взаимодействие между приложением и базой данных.
Эффективнее транзакции: все операции выполняются в рамках одной транзакции, что снижает затраты на управление множеством отдельных транзакций.
Выше производительность: в зависимости от сценария пакетная обработка может ускорить выполнение операций в 10–100 раз по сравнению с одиночными запросами.
В следующий раз, когда будете работать с массовыми операциями, попробуйте Batching.
Это как отправить одно групповое сообщение вместо 100 отдельных. Ваша база данных скажет спасибо! P. S. Использовали пакетную обработку? Как справлялись с ошибками?
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
Aurora DSQ
Вот что нужно о ней знать. Десятилетиями масштабирование реляционных баз данных требовало компромиссов:
• Read replicas для масштабирования чтения.
• Шардирование для масштабирования записи.
• Целая куча дополнительного кода, чтобы имитировать глобальную согласованность.
Такова реальность, в которой мы живём. Но Aurora DSQL обещает масштабирование без ухищрений и компромиссов. Это новая бессерверная SQL-база данных, оптимизированная для обработки транзакций и созданная специально для облака.
Недавно она получила статус Generally Available (GA) — стала общедоступной, и это может изменить наш подход к масштабированию транзакционных систем.
В основе Aurora DSQL лежит PostgreSQL, распределённая архитектура обеспечивает масштабирование, а Rust помогает добиться низких задержек. База поддерживает активную работу сразу в нескольких регионах (active-active) и выводит распределённый SQL на новый уровень.
Все привычные возможности SQL на месте: транзакции, схемы, индексы, JOIN и многое другое. При этом обеспечиваются строгая согласованность и изоляция.
Один endpoint для каждого региона. Записывайте данные в любом регионе. Читайте из любого региона. Согласованность гарантирована.
Почему это важно:
• Масштабирование записи без шардирования.
• Полноценное переключение между регионами без простоя.
• Совместимость с PostgreSQL — приложения не нужно переписывать.
• Автоматическое масштабирование без сложной настройки инфраструктуры.
И да, это действительно похоже на то, как если бы DynamoDB и Aurora родили ребёнка, который говорит на SQL.
Мы наблюдаем сдвиг: распределённый SQL перестаёт быть предметом исследований или нишевым решением. Теперь это готовая к production облачная технология с учётом стоимости эксплуатации.
На мой взгляд, это открывает новые возможности для проектирования систем, которым одновременно нужны транзакционные гарантии и глобальное масштабирование — без необходимости выбирать что-то одно.
👉 @SQLPortal
Вот что нужно о ней знать. Десятилетиями масштабирование реляционных баз данных требовало компромиссов:
• Read replicas для масштабирования чтения.
• Шардирование для масштабирования записи.
• Целая куча дополнительного кода, чтобы имитировать глобальную согласованность.
Такова реальность, в которой мы живём. Но Aurora DSQL обещает масштабирование без ухищрений и компромиссов. Это новая бессерверная SQL-база данных, оптимизированная для обработки транзакций и созданная специально для облака.
Недавно она получила статус Generally Available (GA) — стала общедоступной, и это может изменить наш подход к масштабированию транзакционных систем.
В основе Aurora DSQL лежит PostgreSQL, распределённая архитектура обеспечивает масштабирование, а Rust помогает добиться низких задержек. База поддерживает активную работу сразу в нескольких регионах (active-active) и выводит распределённый SQL на новый уровень.
Все привычные возможности SQL на месте: транзакции, схемы, индексы, JOIN и многое другое. При этом обеспечиваются строгая согласованность и изоляция.
Один endpoint для каждого региона. Записывайте данные в любом регионе. Читайте из любого региона. Согласованность гарантирована.
Почему это важно:
• Масштабирование записи без шардирования.
• Полноценное переключение между регионами без простоя.
• Совместимость с PostgreSQL — приложения не нужно переписывать.
• Автоматическое масштабирование без сложной настройки инфраструктуры.
И да, это действительно похоже на то, как если бы DynamoDB и Aurora родили ребёнка, который говорит на SQL.
Мы наблюдаем сдвиг: распределённый SQL перестаёт быть предметом исследований или нишевым решением. Теперь это готовая к production облачная технология с учётом стоимости эксплуатации.
На мой взгляд, это открывает новые возможности для проектирования систем, которым одновременно нужны транзакционные гарантии и глобальное масштабирование — без необходимости выбирать что-то одно.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
JSON и JSONB удобны, когда нужно просто складывать схемно-нефиксированные данные, но иногда требуется добавить контроль структуры.
Можно использовать расширение
👉 @SQLPortal
Можно использовать расширение
pg_jsonschema, чтобы задать схему и валидировать содержимое. Это даёт больше контроля над форматом данных в таких колонках.Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍1
Большинство разработчиков знают, как пользоваться базой данных. Но лишь немногие понимают, как она устроена изнутри.
Разберём, что происходит за кулисами при работе с базой данных.
1. Обработчик запросов (Query Processor)
• Parser: проверяет SQL-запрос и строит синтаксическое дерево.
• Optimizer: выбирает оптимальный план выполнения на основе статистики данных.
• DDL Interpreter и DML Compiler: обрабатывают команды определения и изменения данных.
2. Исполнитель запросов (Query Executor)
• Transaction Manager: гарантирует атомарность транзакций — либо изменения фиксируются полностью, либо выполняется откат.
• Concurrency Manager: управляет блокировками, уровнями изоляции и разрешением взаимных блокировок (deadlocks).
3. Менеджер безопасности (Security Manager)
• Authentication: проверяет личность пользователя.
• Authorization: определяет, какие действия ему разрешено выполнять.
4. Движок хранения данных (Storage Engine)
• Buffer Manager: кэширует страницы данных в оперативной памяти, сокращая количество обращений к диску.
• Cache Manager: ускоряет повторный доступ к часто используемым данным на более высоких уровнях.
• Recovery Manager: ведёт журналы предварительной записи (WAL), чтобы обеспечить восстановление после сбоев.
• Catalog: хранит метаданные о таблицах, столбцах и индексах.
5. Структуры хранения (Storage Structures)
На диске располагаются файлы индексов, данных и журналов.
• Файлы индексов ускоряют чтение.
• Файлы данных хранят строки и страницы.
• Файлы журналов обеспечивают надёжность хранения и восстановление после сбоев.
За каждым медленным запросом, простоем или ошибкой повреждения данных стоят процессы, происходящие внутри этих слоёв.
Понимание внутренней архитектуры баз данных помогает:
Быстрее находить и устранять проблемы.
Проектировать более надёжные системы.
Создавать приложения, способные масштабироваться.
Знание внутреннего устройства баз данных — серьёзное преимущество для разработчика.
👉 @SQLPortal
Разберём, что происходит за кулисами при работе с базой данных.
1. Обработчик запросов (Query Processor)
• Parser: проверяет SQL-запрос и строит синтаксическое дерево.
• Optimizer: выбирает оптимальный план выполнения на основе статистики данных.
• DDL Interpreter и DML Compiler: обрабатывают команды определения и изменения данных.
2. Исполнитель запросов (Query Executor)
• Transaction Manager: гарантирует атомарность транзакций — либо изменения фиксируются полностью, либо выполняется откат.
• Concurrency Manager: управляет блокировками, уровнями изоляции и разрешением взаимных блокировок (deadlocks).
3. Менеджер безопасности (Security Manager)
• Authentication: проверяет личность пользователя.
• Authorization: определяет, какие действия ему разрешено выполнять.
4. Движок хранения данных (Storage Engine)
• Buffer Manager: кэширует страницы данных в оперативной памяти, сокращая количество обращений к диску.
• Cache Manager: ускоряет повторный доступ к часто используемым данным на более высоких уровнях.
• Recovery Manager: ведёт журналы предварительной записи (WAL), чтобы обеспечить восстановление после сбоев.
• Catalog: хранит метаданные о таблицах, столбцах и индексах.
5. Структуры хранения (Storage Structures)
На диске располагаются файлы индексов, данных и журналов.
• Файлы индексов ускоряют чтение.
• Файлы данных хранят строки и страницы.
• Файлы журналов обеспечивают надёжность хранения и восстановление после сбоев.
За каждым медленным запросом, простоем или ошибкой повреждения данных стоят процессы, происходящие внутри этих слоёв.
Понимание внутренней архитектуры баз данных помогает:
Быстрее находить и устранять проблемы.
Проектировать более надёжные системы.
Создавать приложения, способные масштабироваться.
Знание внутреннего устройства баз данных — серьёзное преимущество для разработчика.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍1
Если можете, выполняйте работу заранее — ещё на этапе записи данных.
Низкая задержка любит предварительные вычисления (precomputation). Рассмотрим ситуацию, с которой столкнулась Maya
В её таблице пользовательских профилей были необязательные поля:
Нужно было гарантировать, что каждый сервис получает одинаковое итоговое значение для каждого поля. Никаких
Вот какие варианты она рассматривала:
A → COALESCE во время чтения
Оставить столбцы допускающими
Просто и удобно. Но каждый запрос теперь выполняет дополнительные вычисления на критическом пути. Логика может различаться между сервисами. Индексирование усложняется, а производительность падает.
B → Материализация итоговых значений во время записи
Вычислять значения один раз при записи или через CDC (Change Data Capture).
Хранить их в отдельных столбцах:
Чтение остаётся быстрым, значения по умолчанию единообразны. Запись становится немного сложнее, зато результат предсказуем, доступен для кэширования и мониторинга.
C → DEFAULT в БД + миграция на NOT NULL
Выглядит чисто и декларативно. Но изменение работающей таблицы с миллионами записей может обернуться серьёзными проблемами.
Значения DEFAULT применяются только к новым записям, но не исправляют существующие. Кроме того, сложные правила определения значений по умолчанию лучше не переносить в SQL.
D → Пусть каждый потребитель обрабатывает значения самостоятельно
Никаких изменений схемы. Но каждый сервис самостоятельно определяет, что считать значением по умолчанию. В итоге появляются пять разных версий истины, и ни одна из них не совпадает с остальными.
Maya выбрала вариант B.
Потому что при масштабировании операции чтения обычно преобладают над операциями записи. Каждая сэкономленная миллисекунда накапливается при большом количестве запросов. Вычислить значение один раз во время записи эффективнее, чем пересчитывать его 10 000 раз в секунду.
Компромиссы, на которые пришлось пойти:
Немного увеличилась задержка при записи.
Потребовались идемпотентность и контроль конкурентного доступа.
При асинхронном обновлении через CDC появилась задержка синхронизации.
Понадобилась фоновая задача (backfill) для исправления существующих данных.
Гнаться за производительностью может каждый. Но немногие умеют делать это без ущерба для надёжности. Запомните: низкая задержка любит предварительные вычисления.
👉 @SQLPortal
Низкая задержка любит предварительные вычисления (precomputation). Рассмотрим ситуацию, с которой столкнулась Maya
В её таблице пользовательских профилей были необязательные поля:
display_name, timezone и bio. В половине записей эти поля содержали NULL. При этом время чтения данных должно было оставаться ниже 20 мс при нагрузке 10 000 запросов в секунду.Нужно было гарантировать, что каждый сервис получает одинаковое итоговое значение для каждого поля. Никаких
NULL.Вот какие варианты она рассматривала:
A → COALESCE во время чтения
Оставить столбцы допускающими
NULL и использовать COALESCE(column, default) в каждом запросе.Просто и удобно. Но каждый запрос теперь выполняет дополнительные вычисления на критическом пути. Логика может различаться между сервисами. Индексирование усложняется, а производительность падает.
B → Материализация итоговых значений во время записи
Вычислять значения один раз при записи или через CDC (Change Data Capture).
Хранить их в отдельных столбцах:
effective_display_name, effective_timezone и так далее.Чтение остаётся быстрым, значения по умолчанию единообразны. Запись становится немного сложнее, зато результат предсказуем, доступен для кэширования и мониторинга.
C → DEFAULT в БД + миграция на NOT NULL
Выглядит чисто и декларативно. Но изменение работающей таблицы с миллионами записей может обернуться серьёзными проблемами.
Значения DEFAULT применяются только к новым записям, но не исправляют существующие. Кроме того, сложные правила определения значений по умолчанию лучше не переносить в SQL.
D → Пусть каждый потребитель обрабатывает значения самостоятельно
Никаких изменений схемы. Но каждый сервис самостоятельно определяет, что считать значением по умолчанию. В итоге появляются пять разных версий истины, и ни одна из них не совпадает с остальными.
Maya выбрала вариант B.
Потому что при масштабировании операции чтения обычно преобладают над операциями записи. Каждая сэкономленная миллисекунда накапливается при большом количестве запросов. Вычислить значение один раз во время записи эффективнее, чем пересчитывать его 10 000 раз в секунду.
Компромиссы, на которые пришлось пойти:
Немного увеличилась задержка при записи.
Потребовались идемпотентность и контроль конкурентного доступа.
При асинхронном обновлении через CDC появилась задержка синхронизации.
Понадобилась фоновая задача (backfill) для исправления существующих данных.
Гнаться за производительностью может каждый. Но немногие умеют делать это без ущерба для надёжности. Запомните: низкая задержка любит предварительные вычисления.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
10 минут на Python могут сэкономить всего 1 секунду в SQL.
Так происходит, когда оптимизируешь не тот уровень системы. У вас задача на работу с наборами данных, а вы решаете её построчно.
Пример: Нужно получить все возможные комбинации товаров и регионов.
Большинство разработчиков используют вложенные циклы. Решение кажется простым, но может серьёзно ударить по производительности.
Почему? Потому что вы переносите работу из базы данных в код приложения. Для таких задач существует
Он позволяет получить все возможные комбинации одной операцией:
• Товары × регионы.
• Пользователи × даты.
• Счета × месяцы.
Без циклов. Без дополнительных обращений к базе. Без лишнего связующего кода. Только работа с наборами данных.
Если ваша задача звучит как:
• «Для каждого X выполнить для каждого Y».
• «Сгенерировать все возможные комбинации».
• «Заполнить отсутствующие данные».
Возможно, решение стоит искать именно в SQL. Минуты против секунд. Та же логика. Но правильный инструмент.
👉 @SQLPortal
Так происходит, когда оптимизируешь не тот уровень системы. У вас задача на работу с наборами данных, а вы решаете её построчно.
Пример: Нужно получить все возможные комбинации товаров и регионов.
Большинство разработчиков используют вложенные циклы. Решение кажется простым, но может серьёзно ударить по производительности.
Почему? Потому что вы переносите работу из базы данных в код приложения. Для таких задач существует
CROSS JOIN.Он позволяет получить все возможные комбинации одной операцией:
• Товары × регионы.
• Пользователи × даты.
• Счета × месяцы.
Без циклов. Без дополнительных обращений к базе. Без лишнего связующего кода. Только работа с наборами данных.
Если ваша задача звучит как:
• «Для каждого X выполнить для каждого Y».
• «Сгенерировать все возможные комбинации».
• «Заполнить отсутствующие данные».
Возможно, решение стоит искать именно в SQL. Минуты против секунд. Та же логика. Но правильный инструмент.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍1💊1