Применяю SQL потому что лень писать на Python)

Решал типовую рабочую задачу.
Суть в том, что данные были получены с помощью python и по датасету нужно было сделать несколько преобразований и вычислений метрик.

Преобразования сами по себе стандартные: фильтрация, агрегация, сортировка. Можно взять написать все эти операции с помощью pandas к уже имеющемуся датафрейму.

Но мне так стало лень писать несколько строк кода на python, что для меня было проще написать всю логику в одном select запросе на sql 😁
Вы спросите

"нафига так делать???" чтобы применить sql данные нужно положить в базу данных

Нет, точнее не всегда) Данные остались в том же датафрейме, а обработку я сделал с помощью pandasql.

Простой пример применения и сравнения pandas VS pandasql 👇

import pandas as pd 
from pandasql import sqldf

data = {
    'product_id': [1, 2, 1, 3, 2, 3, 1],
    'sale_date': ['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04'],
    'amount': [100, 200, 150, 300, 250, 350, 400]
}

df = pd.DataFrame(data)

# логика с pandas (фильтруем по датам, группируем по product_id, считаем агрегат суммы по полю amount и сортируем по нему же)
result_df = (
    df[df['sale_date'].between('2023-01-02', '2023-01-03')]
    .groupby('product_id', as_index=False)['amount']
    .sum()
    .sort_values(by='amount', ascending=False)
)

# или применяя sqldf
query = """
    SELECT product_id, SUM(amount) as total_amount
    FROM df
    WHERE sale_date BETWEEN '2023-01-02' AND '2023-01-03'
    GROUP BY product_id
    ORDER BY total_amount DESC
"""

sql_result = sqldf(query, globals())

Я на работе настолько привык крутить все данные с помощью SQL, что в голове любые преобразования я продумываю на логике sql-запросов, а потом если все таки нужно могу переложить это на python скрипты.

Это как с разговорными языками. Если например переезжаете в другую страну и начинаете разговаривать/писать/слушать на другом языке, то у вас мозг со временем начинает мыслить на этом же языке. У меня так было с английским 🇬🇧, когда учеба и работа была полностью на английском, при этом жил в Москве, но все равно замечал что формулирую предложения сначала на английском, а потом уже осознаю что можно на русском)

P.S. sqldf применяет диалект SQLite, поэтому можно использовать все функции которые доступны для этой базы.

👍 если узнали новенькое для себя из поста

Чем мне помогает ИИ на реальных задачах аналитика данных

По моим наблюдениям есть 3 лагеря людей
1. "ИИ не может помочь мне в моих задачах потому что ..."
2. "Я делаю практически все через ИИ, хотя сам этого никогда не делал"
3. "Использую ИИ как помощника, который ускоряет мой процесс работы и снимает часть рутины и объема, но главные вещи я делаю сам"

Первый и второй лагерь - это две крайности. Одни игнорируют удобство ИИ, а другие им злоупотребляют и с небольшими собственными техническими навыками сильно полагаются на него.
Я отношусь к 3-му лагерю и называю это "осознанное использование" 😁, где ИИ реально экономит 3–5 часов в неделю

Например, часть моих сценариев

🔹 Генерация и проверка SQL и Python кода по ТЗ/задаче. Даёшь ИИ описание и сэмпл данных: «Нужно посчитать LTV по когортам, окно 12 месяцев, исключить возвраты, группировка по source и country» — и получаешь рабочий запрос с оконными функциями и CTE. Дальше проверяешь логику, оптимальность, правишь сам или через итерации с агентом и доводишь до финала. Это не сразу «готовое решение», а черновик, который экономит время на написание кода с нуля.

НО ЕСЛИ ТЫ САМ НЕ ЗНАЕШЬ SQL ИЛИ PYTHON, такой подход будет содержать кучу ошибок, которые ты даже проверить не сможешь. Это сравнимо с тем, чтобы попросить ИИ написать текст на китайском, а результат ты никак не оценишь, если сам китайского не знаешь.

🔹 Рефакторинг кода. Есть старый запрос на 700 строк без комментариев? Кидаешь его в ИИ с промптом: «Разбей на CTE, добавь алиасы, прокомментируй каждый блок одной строкой, объясни логику преобразования данных». Получаешь читаемую структуру, которая поможет разобраться в чужом коде и быстрей его понять

🔹 Работа с документацией и поиском информации по гиту. Нужно быстро найти, как считается конкретная метрика или где и как используется конкретная таблица? Натравил ИИ на репозиторий со всеми файлами или на выборку документации и просишь: «Найди все места, где упоминается Retention, выпиши формулы, источники данных. За пару минут получаешь выжимку, которую раньше искал вручную через поиск или спрашивая других аналитиков.

🔹 Прототипирование дашбордов и макетов. Это не про тему навайбкодить готовый дашборд, так в крупных компаниях с установленным набором инструментов и доступов не прокатит. Это про структуру разрабатываемого отчета: «Дай список метрик, измерений и фильтров для панели “Продажи по регионам”» или «Предложи 3 варианта визуализации для динамики оттока». Это помогает быстрее согласовать макет с бизнесом и не тратить время на «переделки».

🔹 Разбор ошибок и логов. Получил непонятную ошибку в ETL потоке данных? Кидаешь текст ошибки и фрагмент кода — ИИ часто подсказывает, в чём проблема: «Ошибка связана с приведением типов в JOIN, проверь, что id в обеих таблицах — INT, а не VARCHAR» или «В подзапросе нет алиаса для агрегированного поля».

➡️ИИ не заменяет экспертизу аналитика. Он не знает всех бизнес-правил, особенностей логики, хотелки заказчиков и «подводные камни». Но он отлично закрывает рутину: синтаксис, структуру, выжимки, черновики. А финальное решение, проверка данных и ответственность — всегда на аналитике.

🎯 Всего один фактор в разы увеличивает успех прохождения собеседований


Это не накрученный опыт, ИИ-агент или зубрежка теории.

➡️Это уверенность в себе: в своих знаниях и своем практическом опыте.

Недавно получил сообщение от ученика с курса, он сейчас проходит технические собеседования.

Потому что когда не делал вживую все равно чувствуется неуверенность. А когда хотя бы раз сделал сам или по примеру то другое дело. даже сложный дашборд готов был сверстать хоть из таблицы хоть с построением витрины)))

За виды витрин и типы обновлений так рассказал,как будто каждый день делаю.

Именно это чувство «как будто делаю каждый день» и есть главный маркер сильной кандидатуры и уверенности на собеседовании. Когда не просто догадываешься или размышляешь как сделать задачу, а когда ты уже прожил подобный опыт и рассказываешь как это сделал бы повторно. И заметьте, для этого не обязательно иметь коммерческий опыт в компании, нужен хороший и качественный практический трек в рамках обучения. Будь это самостоятельный проект, практический курс, занятия с практикующим ментором или другой вид практики.

Рекрутер и техлид считывают уверенность моментально: перед ними не человек, который зубрил теорию в ночь перед интервью, а специалист, который уже «трогал» задачу руками.

Вот почему практика решает и для наглядности приведу примеры с технических собесов:

🔹 Ты не просто знаешь про типы обновлений SCD, а можешь с ходу объяснить, чем SCD2 отличается от SCD3 на примере витрины клиентов — потому что сам настраивал логику версионности в проекте.

🔹 Ты не пугаешься слова «автоматизация»: если спросят про выгрузку или оркестрацию, ты не теряешься, а спокойно говоришь про пайплайны, зависимости и обработку ошибок — ведь уже делал первую автоматизацию в рамках своей практики.

🔹 Когда на собеседовании дают кейс «сверстай отчёт по выручке», ты не придумываешь план из головы, а предлагаешь: «Сначала схожу уточню требования, потом исследую данные и проверю их на качество и возможность покрыть требования к отчету, сделаю логику для сбора данных, потом рассчитаю метрики, потом визуализирую».

Именно поэтому в своем курсе я не даю абстрактных примеров. Мы идём по реальному пайплайну: от staging до витрины, от SQL-запросов до дашбордов в BI. Ты решаешь задачи, которые реально встречаются в вакансиях DWH-аналитика и Data Analyst: миграции, дедупликация, построение метрик, оптимизация запросов, работа с оконными функциями и рекурсивными CTE. И к моменту собеседования у тебя уже есть не просто знания, а опыт — и, как следствие, уверенность.

Присоединяйся к практической группе, старт 14 сентября

В группе будет:
✅ работа в инструментах, которые спрашивают на интервью (SQL, Python, ETL, DWH-архитектуры, BI);
✅ код-ревью и фидбек по твоим решениям;
✅ выполнение реальных рабочих задач аналитика