Как прокачать свой SQL до уровня больших данных

Чем отличается SQL в больших данных от обычного SQL? В больших данных используются распределённые вычисления.

Вычисления распределяются между несколькими серверами. Одна база данных находится сразу на нескольких серверах. Результат запроса тоже вычисляется одновременно несколькими серверами. Алгоритмы распределённых вычислений описывает парадигма MapReduce. Давайте разберём, на что это влияет и как прокачать свой SQL до уровня больших данных.

⤷ Читать дальше

Гайды по БД и SQL

Эффективные SQL-запросы. 12 способов переписать запросы SQL для улучшения их производительности

Я часто работаю в условиях, когда при настройке производительности нет возможности менять индексы или параметры сервера. Я обычно сталкиваюсь с подобными сценариями, когда имею дело с:

Базами данных поставщиков.
“Хрупкими” системами.
Недостаточным местом на диске.
Ограниченным инструментарием/непосредственным анализом.
Возможностями, ограниченными системой безопасности.
Хотя всегда предпочтительней решать проблему производительности в корне, иногда единственным способом, которым я могу воспользоваться для решения проблемы в подобных условиях, является переписывание запросов.

⤷ Читать дальше

Гайды по БД и SQL

Оператор PIVOT

Несколько статей будут посвящены тому как в SQL Server реализован оператор PIVOT и UNPIVOT. Начнем с оператора PIVOT. Оператор PIVOT берет нормализованную таблицу и преобразует ее в другой вид, в котором столбцы результирующей таблицы получаются из значений исходной таблицы. Например, предположим, что мы хотим хранить данные о суммарной выручке от продаж за год по каждому из сотрудников.

⤷ Читать дальше

Гайды по БД и SQL

Миграция кода с Oracle на PostgreSQL: особенности и пути обхода, средства конвертации, вспомогательные модули

Эта статья завершает цикл о миграции с СУБД Oracle на СУБД PostgreSQL. В первых двух статьях рассматривались вопросы и устоявшиеся способы переноса данных из одной СУБД в другую (часть 1, часть 2). В третьей статье представлена часть особенностей, которые нужно учесть при переводе хранимого кода с PL/SQL на PL/pgSQL. В сегодняшнем материале рассматриваются.

⤷ Читать дальше

Гайды по БД и SQL

Хранимые процедуры SQL

Нередко операция с данными представляет набор инструкций, которые необходимо выполнить в определенной последовательности. Например, при добавлении данных покупки товара необходимо внести данные в таблицу заказов. Однако перед этим надо проверить, а есть ли покупаемый товар в наличии. Возможно, при этом понадобится проверить еще ряд дополнительных условий. То есть фактически процесс покупки товара охватывает несколько действий, которые должны выполняться в определенной последовательности. И в этом случае более оптимально будет инкапсулировать все эти действия в один объект - хранимую процедуру (stored procedure).

⤷ Читать дальше

Гайды по БД и SQL

Тренажёр для всех кто хочет прокачать свои навыки в написании SQL запросов. Более практических 160 задач разных уровней сложности от простейших до продвинутой аналитки.
Будет полезен как для студентов изучающих разработку так и для аналитиков с опытом работы.
Перейти к описанию

Приступить к практике

Оператор PIVOT

Несколько статей будут посвящены тому как в SQL Server реализован оператор PIVOT и UNPIVOT. Начнем с оператора PIVOT. Оператор PIVOT берет нормализованную таблицу и преобразует ее в другой вид, в котором столбцы результирующей таблицы получаются из значений исходной таблицы. Например, предположим, что мы хотим хранить данные о суммарной выручке от продаж за год по каждому из сотрудников.

⤷ Читать дальше

Гайды по БД и SQL

5 примеров атаки SQL-инъекций и их предотвращение

Эта атака позволяет хакерам выполнять вредоносные действия в онлайн-свойствах, где проверка входных данных немного ниже среднего. Согласно отчету Positive Technology, SQL-инъекция по-прежнему остается одной из основных лазеек в мире.

⤷ Читать дальше

Гайды по БД и SQL

Избегаем часто встречающихся ошибок при работе с MySQL

Работа с базой данных — зачастую самое слабое место в производительности многих web-приложений. И часто можно заметить, как на одни и те же грабли наступают разработчики при проектировании базы данных. Данная подборка советов поможет вам избежать многих ошибок и узнать для себя много полезного.

⤷ Ссылка на статью

Гайды по БД и SQL

Работа с базами данных Microsoft SQL Server: сценарии практических занятий (2020)

Автор: А. И. Митин

О книге: Пособие может быть рекомендовано в качестве методического руководства на семинарских занятиях и при подготовке к сдаче зачетов и экзаменов по курсам, связанным с базами данных.

Гайды по БД и SQL

SQL запросы быстро. Шпаргалка Часть 1.

Язык SQL очень прочно влился в жизнь бизнес-аналитиков и требования к кандидатам благодаря простоте, удобству и распространенности. Из собственного опыта могу сказать, что наиболее часто SQL используется для формирования выгрузок, витрин (с последующим построением отчетов на основе этих витрин) и администрирования баз данных. И поскольку повседневная работа аналитика неизбежно связана с выгрузками данных и витринами, навык написания SQL запросов может стать фактором, из-за которого кандидат или получит преимущество, или будет отсеян. Печальная новость в том, что не каждый может рассчитывать получить его на студенческой скамье. Хорошая новость в том, что в изучении SQL нет ничего сложного, это быстро, а синтаксис запросов прост и понятен. Особенно это касается тех, кому уже доводилось сталкиваться с более сложными языками.

⤷ Читать дальше

Гайды по БД и SQL

Руководство по архитектуре обработки запросов

Компонент Компонент SQL Server Database Engine обрабатывает запросы к различным архитектурам хранения данных, таким как локальные таблицы, секционированные таблицы и таблицы, распределенные по нескольким серверам. В следующих разделах описано, как SQL Server обрабатывает запросы и оптимизирует повторное использование запросов с помощью кэширования плана выполнения.

⤷ Читать дальше

Гайды по БД и SQL

Дашборд - лишь верхушка айсберга

В любой визуализации львиную долю занимает подготовка данных: выстраивание архитектуры, ETL, сборка витрины, проверка данных, оптимизации. 

⤷ Смотреть чек-лист подготовки дашборда

Подробнее про полный цикл подготовки данных и работе с отчетностью - в канале "Пирожки и бары | про BI".

Суперсила индексов для оптимизации SQL-запросов

Вы любите SQL и хотите улучшить свои навыки выполнения SQL-запросов? Вы знаете, что индексация  —  отличный инструмент для оптимизации запросов, но при этом не уверены, что она из себя представляет, с какой целью и как используется?

Добро пожаловать! Вы оказались именно там, где нужно. Сейчас объясним суть индексации на простом и понятном языке.

⤷ Ссылка на статью

Гайды по БД и SQL

От 0 до 300 SQL-запросов в месяц: 3 практических совета

До текущей работы бизнес-аналитиком, на которую автор устроилась в августе 2021 года, она написала всего несколько SQL-запросов. Автора наняли не из-за знания SQL (Structured Query Language, язык структурированных запросов). Однако в ноябре в компании внедрялась новая база данных. И она как единственный человек в команде, который когда-либо писал на языке программирования, стала самым подходящим кандидатом в специалисты по извлечению данных из новой БД.

⤷ Ссылка на статью

Гайды по БД и SQL

PostgreSQL продвинутые команды

В статье вы узнаете о продвинутых командах и получите ответы на свои вопросы

⤷ Ссылка на статью

Гайды по БД и SQL

Соединения таблиц без JOIN

Содержание:
1. Как соединять таблицы в запросах в блоке WHERE.
2. ANSI и не ANSI стандарты
3. Плюсы и минусы этих способов

⤷ Смотреть на ютуб

Гайды по БД и SQL

Встроенная база данных Python

Если вы разработчик программного обеспечения, то, скорее всего, вы знакомы с невероятно легкой базой данных SQLite или даже уже использовали ее. Она содержит практически все функции реляционной базы данных и представлена всего одним файлом. На официальном сайте можно найти несколько сценариев применения SQLite:

⤷ Читать дальше

Гайды по БД и SQL

Что такое триггеры в SQL

Триггер — это особая разновидность хранимой процедуры, которая автоматически выполняется при возникновении события на сервере базы данных.

Общие сведения: Итак, разберем такую сущность SQL как триггеры. Также как представления и процедуры — триггеры в SQL создаются и хранятся отдельно до момента их удаления. Триггеры по своей сути представляют обработчики событий. Они выполняются при наступлении какого-либо простого действия в SQL. Такими действиями обычно являются: удаление, вставка и обновление данных.

⤷ Читать дальше

Гайды по БД и SQL

От монолита к микросервисам: как металлурги переходят с Oracle и SQL на Java-стек

Поддерживать старый код или шагнуть в продвинутое настоящее? Сложно, но можно, если все рассчитать. История перехода металлургического комбината на современный стек.

⤷ Ссылка на статью

Гайды по БД и SQL