💻 Как база данных устроена изнутри, и почему PostgreSQL и ClickHouse решают разные задачи?

Привет! На связи Валерия Елпатьевская, ментор курса «Инженер данных» 👋🏻

Базы данных внешне могут выглядеть похоже, но внутри они оптимизированы под разные задачи. Выбирая инструмент, нужно помнить о том, какую именно задачу мы решаем: хотим ли мы быстро добавлять в базу новые строки и обновлять старые или мы хотим строить множество аналитических запросов и агрегаций.

И здесь важно понимать разницу между OLTP и OLAP.

💻 OLTP (Online Transaction Processing), как видно из названия, заточена под транзакции. То есть эти базы предполагают операционную нагрузку.

OLTP-системы отлично подойдут, когда у нас много коротких операций и важна консистентность, конкурентный доступ и быстрая работа с отдельными строками. Примеры данных, которые удобно хранить в OLTP: заказы, пользователи, платежи, статусы.

Под такую нагрузку обычно берут PostgreSQL. Он хранит данные построчно, использует индексы, WAL, MVCC и механизмы очистки старых версий. Это хорошо подходит для сценария: «найди пользователя по id», «обнови заказ» или «вставь новую запись».

💻 OLAP (Online Analytical Processing), как опять же ясно из названия, заточен под аналитику. Здесь запросы часто читают миллионы строк, считают различные агрегаты, группируют данные по времени, регионам, каналам. Примеры данных, которым больше подойдёт OLAP — метрики, продажи и поведение пользователей.

Под такие задачи лучше подходят колоночные базы вроде ClickHouse. Они хранят данные по колонкам, сильно сжимают их и эффективно сканируют большие объёмы. ClickHouse не очень подходит для частых одиночных обновлений и удалений. Он лучше работает с пакетной загрузкой и чтением больших массивов данных.

То есть важное различие между OLTP и OLAP в том, как данные хранятся и читаются: если нам важны быстрые транзакции, нам нужно хранить и читать по строкам, а если мы планируем доставать срезы по признакам и строить агрегаты, лучше подойдёт организация по колонкам.

Если сильно упростить:
➡️ PostgreSQL — про состояние системы и транзакции.
➡️ ClickHouse — про аналитику по большим потокам событий.

На практике это часто работает вместе. PostgreSQL хранит основные бизнес-данные: пользователей, заказы, настройки. ClickHouse собирает события, метрики и поведение для дашбордов и отчётов.

Ставьте ❤️, если полезно, и сохраняйте, чтобы не потерять!

📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

Привет! Меня зовут Ева Панкратова, и я новый ментор курса «Аналитик данных» в Симулейтив 👋🏻

Я руковожу отделом продуктовой аналитики в компании Метр Квадратный. Вместе с командой мы помогаем бизнесу принимать правильные решения — для этого придумываем метрики для оценки новых продуктов, проводим эксперименты и аналитические исследования.

Пять фактов обо мне:
➖ Работаю с данными больше 6 лет: финтех, телеком и IT:  Accenture, МегаФон, Райффайзенбанк, М2. Последние два года — в руководящей роли.
➖ Строила аналитику со всех сторон: начинала как DWH-аналитик, который строит и тестирует витрины данных, а затем перешла к плотной работе с бизнесом и проверке продуктовых гипотез.
➖ Специализируюсь на А/В и экспериментах. Провела десятки тестов как аналитик, а потом запускала А/B-тестирование в компании, занимаясь как выбором платформы для тестов, так и выстраиванием культуры экспериментов.
➖ Провела 162 собеседования, собирая команду. Так что не понаслышке знаю, что спрашивают на собеседованиях и как выглядит цепляющее резюме.
➖ Считаю важным делиться опытом: пишу курсы и веду воркшопы для корпоративного университета, выступаю на профессиональных конференциях и периодически менторю студенческие стартапы.

Я буду разбирать ваши задачи, отвечать на вопросы в чате и показывать, как данные становятся источником решений, а не просто красивых отчётов.

Присоединяйтесь, старт потока 31 августа ❤️

📌 Записаться на профессию «Аналитик данных»

📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

💻 Ошибка в SQL: избыточные подзапросы

Проверяя работы студентов на нашем курсе «Аналитик данных», мы часто встречаемся с ошибкой избыточных подзапросов. То, что можно было решить в один запрос, студенты решают за 3. 

✅ Почему так происходит?

Из-за того, что многие пишут SQL-запросы так же, как это «звучит» в их голове. А SQL работает немного иначе — на нём нужно буквально «мыслить». Но это приходит с опытом, за счёт большого количества практики (как правило, к концу модуля по SQL такие ошибки уже никто не делает). 

✅ Пример

Он будет довольно простым — наверняка вы бы написали здесь сразу один запрос. Однако эта ошибка проявляется даже в таких случаях, чего уж говорить про более сложные. 

Итак, задача: вывести id транзакции и предыдущую сумму транзакции со знаком минус. Вот решение студента:

SELECT id, 
       LAG(neg) OVER(ORDER BY id) 
       AS lg
FROM (
      SELECT id, sm, -sm AS neg
      FROM (
            SELECT id, sum AS sm 
            FROM transactions t
  ) t
) t1

И это ещё не всё, можно и побольше накрутить. Но зачем так, если можно так:

SELECT id, LAG(-sum) OVER(ORDER BY id) 
FROM transactions t

✅ А как писать такие запросы? 

Отсекайте лишнее. Напишите запрос так, как получилось. Затем попробуйте упростить. Затем ещё. И так до тех пор, пока не получите минимально возможный запрос.

✅ Совет

Не старайтесь сразу писать сложные и оптимизированные конструкции. Напишите сначала, как сможете, а затем пытайтесь упростить запрос. Как говорил знаменитый дядюшка Кнут: «Преждевременная оптимизация — корень всех зол».

Ставьте 🔥, если полезно, и сохраняйте, чтобы не потерять!

📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

💻💻💻💻💻Как использовать ИИ в аналитике на трёх уровнях?

Два аналитика посчитали retention по одному и тому же вопросу — один получил 34%, другой 21%. Оба SQL-запроса технически верны, но каждый объяснял нейросети метрику по-разному. Как такое может быть?

29 августа вместе с Ильёй Ковалёвым, тимлидом команды клиентской аналитики в Dodo Brands, разберём, как устроена работа с ИИ на трёх уровнях — от разового промпта до процесса, который сам ловит свои ошибки.

На вебинаре вы:
➡️ Узнаете, почему хороший промпт из пяти блоков даёт совсем другой результат, чем «напиши запрос», и увидите это на реальном SQL-примере;
➡️ Разберётесь, как контекст команды выносится из головы аналитика в репозиторий, и почему это меняет качество ответов ИИ;
➡️ Увидите на одной и той же задаче — расчёте retention — все три уровня подряд и разницу в результате;
➡️ Узнаете три правила, которые не меняются ни на одном из уровней.

🧑🏻‍💻 Спикер: Илья Ковалёв, тимлид команды клиентской аналитики в Dodo Brands, автор Telegram-канала Кусочек пиццы

📆 Когда: 29 августа, 12:00 МСК
➡️ Поставить напоминание в календарь

📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

💻💻💻💻💻 Кто такой аналитик данных? Разбираем профессию с лидом из Альфа-Банка

Хотите понять, что вообще происходит с профессией аналитика данных прямо сейчас, и с чего начинать, если решили зайти в неё с нуля?

1 сентября открываем новый поток бесплатного интенсива по SQL — вместе с ментором интенсива Евгением Буториным разберём профессию по полной: от рынка труда до практики!

На вебинаре вы:
➡️ Узнаете, кто такой аналитик данных и какие задачи он решает каждый день;
➡️ Разберёте свежее исследование рынка аналитиков данных за 2025 год — что происходит с наймом, зарплатами и требованиями к кандидатам;
➡️ Порешаете пару реальных SQL-задач вместе с ментором;
➡️ Услышите личный совет от Евгения — что бы он делал, если бы прямо сейчас решил зайти в аналитику с нуля.

👨🏻‍💻 Спикер: Евгений Буторин, руководитель CRM-аналитики развития клиентской базы в Альфа Банке, ментор бесплатного интенсива по SQL.

📆 Когда: 1 сентября, 19:00 МСК
➡️ Поставить напоминание в календарь

📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

🍂 Расписание в сентябре

Присоединяйтесь к потокам в сентябре и освойте актуальные и востребованные профессии за 10 недель 📈

🛎️ Напоминаем, что все наши курсы (включая те, что выйдут в течение следующего года) доступны по подписке с выгодой до 70%!

15 сентября

🍂 Профессия «Аналитик данных»
Ментор курса: Ева Панкратова, руководитель продуктовой аналитики в Метр Квадратный

23 сентября

🍂 Дата-сайентист
Ментор курса: Мария Жарова, ML-инженер в команде рекомендаций в Wildberries

28 сентября

🍂 Профессия «Аналитик данных»
Ментор курса: Ева Панкратова, руководитель продуктовой аналитики в Метр Квадратный

🍂 Инженер данных
Ментор курса: Валерия Елпатьевская, инженер данных в Альфа-Банке

📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

💻💻💻💻💻 Профессия инженер данных: строим витрину продаж с нуля

Хотите разобраться, чем на самом деле занимается дата-инженер, сколько это стоит на рынке и с чего начинать, если решили зайти в профессию?

6 сентября вместе с Юрием Ламиховым, дата-инженером в Wildberries, за час пройдём путь от теории до практики: разберём профессию по уровням и вживую соберём витрину продаж на dbt.

На вебинаре вы:
➡️ Узнаете, чем занимается дата-инженер на практике;
➡️ Разберётесь в уровнях профессии: что должен знать джун, миддл и сеньор, и что сейчас происходит с зарплатами и требованиями на рынке;
➡️ С нуля соберёте dbt-проект: превратите сырую таблицу заказов в готовую витрину продаж.

🧑🏻‍💻 Спикер: Юрий Ламихов, дата-инженер в Wildberries

📆 Когда: 6 сентября, 18:00 МСК
➡️ Регистрация

Записи не будет. Приходите на живой эфир!

📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

Как подать себя на собеседовании? 5 советов от того, кто провёл 162 интервью за год

Привет! На связи Ева Панкратова, ментор курса «Аналитик данных» 👋🏻

За прошлый год я отсмотрела 500+ резюме и провела 162 собеседования на позиции продуктовых аналитиков. И вот что скажу: чаще всего кандидаты проваливаются не потому, что чего-то не знают. А потому что забывают показать главное — как они думают.

Ниже 5 советов, как подать себя на собеседовании:

1️⃣ Не бросайтесь решать задачу с наскока

Почти на каждом интервью вам дадут мини-кейс, где намеренно мало вводных. Это не забывчивость интервьюера — это и есть задание. Сильный кандидат сразу замечает пробелы и начинает с вопросов:
➖ О каком продукте и сегменте пользователей речь?
➖ Какую метрику мы считаем целевой и за какой период?
➖ Что уже известно, а что придётся допустить?

Слабый начинает накидывать ответы и надеяться, что попадёт. Иногда попадает, но берут не за это.

2️⃣ Думайте вслух

Интервьюер не умеет читать мысли — он оценивает ровно то, что услышал. Проговаривайте развилки: «здесь два варианта, я пойду по первому, потому что…», «это допущение может сломаться, если…». Ответ, который вы можете обосновать логикой, ценится выше «правильного» ответа, взявшегося из воздуха.

3️⃣ Нейронки и гугл — не читерство

ИИ давно стал обычным рабочим инструментом, и на многих собеседованиях им разрешают пользоваться. Если разрешили — пользуйтесь спокойно, но вслух: покажите, как формулируете запрос и как проверяете то, что вам ответили. Это отличный способ продемонстрировать, как вы разруливаете сложную задачу в реальной работе.

4️⃣ Светлый ум не отменяет хардов

Умение думать слабо связано с грейдом: бывают джуны, которые структурируют мысль лучше сеньоров. Но встроить в команду человека, который не пишет код, — боль для всех. Так что SQL, Python и статистика всё равно должны быть в форме: подготовьте оконные функции, дизайн A/B-теста и разбор метрик до автоматизма.

5️⃣ Резюме — это уже первый этап собеседования

Из большинства резюме понятно только одно: человек работал работу. Какие задачи были важны и что изменилось благодаря аналитику — загадка. А задача аналитика не в том, чтобы собрать побольше дашбордов или закрыть побольше тикетов. Задача аналитика — заставить данные заработать деньги. Пишите не «строил отчётность», а «перевёл команду на единый источник правды, ad-hoc-запросы сократились на треть».

Помните: у компании нет цели найти самого классного кандидата — ей нужно закрыть вакансию человеком, в котором она уверена. Поэтому от сомнительных кандидатов отказываются быстро. Ваша работа на интервью — не оставить поводов для сомнений.

Ставьте 🔥 и сохраняйте к себе!

📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS