Обсуждаем ETL/ELT-процессы через 2 часа

Георгий Семёнов ждёт вас в эфире! Подключайтесь в 19:00 МСК, чтоб узнать, как построить надёжный и эффективный процесс обработки данных и узнать, из чего складываются надёжные дата-процессы в крупных компаниях.

➡️ Регистрация

📈 Симулейтив

Pandas vs SQLite: когда стоит «нырнуть» в SQL прямо из Python

Привет! На связи Александр Грудинин, ментор курса «Аналитик данных» 👋🏻

Pandas — это отличный инструмент, но иногда попадаешь в ситуацию, где что-то идёт не так:

🟠 groupby + transform превращается в многоэтажную конструкцию;
🟠 Коллега присылает готовый SQL-запрос, и его нужно «просто запустить»;
🟠 Данных много, и держать всё в памяти не хочется.

В такие моменты удобно знать, что SQLite можно поднять прямо внутри Python без сервера, без установки и даже без файла на диске. Просто :memory: — и всё живёт в оперативке как обычный датафрейм, только запросы пишешь на SQL.

Давайте покажу на примере.

Данные

import pandas as pd
import numpy as np
import sqlite3

dates  = pd.date_range('2026-01-01', periods=30, freq='D')
stores = ['Москва', 'СПб', 'Казань']

df = pd.DataFrame([
{'date': d, 'store': s,
'revenue': np.random.randint(50_000, 300_000),
'orders':  np.random.randint(10, 150)}
for d in dates for s in stores
])

Задача: по каждому магазину посчитать накопленную выручку, скользящее среднее за 7 дней и ранг дня по выручке.

🐼 Вариант 1: pandas

df = df.sort_values(['store', 'date'])

df['running_total'] = df.groupby('store')['revenue'].cumsum()

df['rolling_avg_7d'] = (
df.groupby('store')['revenue']
.transform(lambda x: x.rolling(7, min_periods=1).mean())
)

df['day_rank'] = (
df.groupby('store')['revenue']
.rank(method='dense', ascending=False)
)

🗄 Вариант 2: SQLite

conn = sqlite3.connect(':memory:')  # всё в оперативке, налету, никаких файлов!
df.to_sql('sales', conn, index=False)

result = pd.read_sql("""
SELECT 
  *,
  SUM(revenue) OVER (PARTITION BY store ORDER BY date) AS running_total,
  ROUND(AVG(revenue) OVER (PARTITION BY store ORDER BY date ROWS BETWEEN 6 PRECEDING AND CURRENT ROW), 0) AS rolling_avg_7d,                   DENSE_RANK() OVER (PARTITION BY store ORDER BY revenue DESC)  AS day_rank
FROM    sales 
ORDER BY    store, date

""", conn)

conn.close()

Подведём итог. Когда можно использовать SQLite:

➡️ Есть готовый SQL-запрос, который жалко переписывать на pandas;
➡️ Оконная логика сложная, и OVER читается понятнее, чем groupby + transform;
➡️ Нужно произвести сложные JOIN’ы.

В целом SQLite — это не конкурент pandas, а ещё один способ решить задачу работы с данными. И порой самое элегантное решение — кинуть датафрейм в :memory:, написать читаемый запрос и вернуть результат обратно в Python.

Было полезно? Ставьте 🔥 и ждите от меня ещё больше полезных материалов!

📈 Симулейтив

Решаем задачи по SQL на вебинаре

Подключайтесь в 19:00 МСК — вместе с Евгением Буториным обсудим, насколько SQL важен для аналитика данных, порешаем задачи по SQL и рассмотрим рынок аналитиков внимательнее. Приходите, чтобы задать вопросы!

➡️ Регистрация

📈 Симулейтив

Вакансии в аналитике: что важно работодателям?

Всем привет! На связи Александр Грудинин, ментор курса «Аналитик данных» 👋🏻

Сегодня посмотрим на свежие вакансии для аналитиков данных. Акцент сделаем на обязанностях и требованиях к кандидатам, а также формату работы.

Вот список вакансий:

https://hh.ru/vacancy/130941500 (в архиве)
https://hh.ru/vacancy/130886039
https://hh.ru/vacancy/130890343
https://hh.ru/vacancy/130955912
https://hh.ru/vacancy/130952083 (уже закрыта)
https://hh.ru/vacancy/130871256
https://hh.ru/vacancy/130761447
https://hh.ru/vacancy/130320128 (в архиве)

Начнём с обязанностей. Почти везде есть базовый набор: подготовка дашбордов и отчётности, ad-hoc аналитика, взаимодействие с бизнесом. Интереснее смотреть на отличия.

🟠 Аналитика данных и отчётность присутствуют во всех 8 вакансиях без исключения — и это неудивительно. Данные сами по себе не имеют ценности, пока кто-то не превратит их в понятную картину для принятия решений. Именно этим и занимается аналитик: проводит исследования, строит дашборды, поддерживает отчёты, готовит презентации для бизнеса/руководства.

🟠 Ad-hoc аналитика явно упоминается у Сбера, Т-Банка и X5, в остальных подразумевается. Ad-hoc бывает разный: когда-то могут попросить сделать выгрузку, иногда — разобраться, почему упала метрика, или сделать отчёт «ко вчера» 🙂 То есть всегда важно уточнять, какого рода ad-hoc практикуется в компании и каков его объём.

🟠 A/B-тесты и эксперименты — только X5 Digital и Яндекс. A/B-тесты — тема непростая, и не в каждой компании есть культура и инфраструктура для них. С другой стороны, и не все аналитики готовы этим заниматься.

🟠 Работа с источниками данных, парсинг и автоматизация — Сбер и Флюид-Лайн: аналитик должен настраивать сбор и парсинг логов, кластеризировать сырые данные. Это уже инженерная задача, что показывает тренд на ещё большее размытие границ между дата-специалистами.

🟠 Взаимодействие с бизнесом фигурирует в том или ином виде в каждой вакансии. Это говорит о том, что аналитик данных — не строго технический специалист: необходимо уметь общаться с людьми и понятно презентовать результаты своей работы.

Теперь пройдемся по хард-скиллам.

➖ SQL — 8 из 8. В разных компаниях просят разный уровень. В любом случае SQL остаётся одним из основных навыков, которым стоит овладеть на достаточно уверенном уровне, если вы хотите начать ходить на собеседования.

➖ Python — 7 из 8 (нет только у Альфа-Банка). Везде как минимум классика — pandas/numpy. Также почти must-have для аналитика данных. Без знания этого языка можно работать, но это накладывает ряд ограничений, а многие компании не будут рассматривать вашу кандидатуру без него.

➖ BI-инструменты — 7 из 8. Чаще всего Power BI. FineBI у Совкомбанка — обязательное условие, и видимо, это достаточно специфичная вакансия, раз опыт владения инструментом прописан явно. Здесь я как и всегда скажу: стоит овладеть на достаточном уровне каким-либо одним BI-инструментом и делать упор на базовые принципы визуализации, так как компании, как правило, не требуют строго конкретного инструмента.

➖ Excel — 4 из 8, преимущественно банки. Мой опыт говорит, что даже если его не указывают в описании, минимально уметь пользоваться Excel или Google Sheets всё равно стоит. А если освоите ВПР / VLOOKUP — это, несомненно, добавит респекта в глазах коллег 🙂

➖ Опыт — Яндекс и Сбер (стажировка) берут без опыта, большинство — от 1–2 лет, X5 — от 3 лет. Что-то мне подсказывает, что на вакансию с требованием от 1–2 лет можно попробовать откликнуться и с учебным опытом 😉

Из необычного — в Сбере уже начали явно прописывать опыт работы с нейросетями. Думаю, скоро такое будет в каждой второй вакансии.

Большинство вакансий — офис или гибрид. Полная удалёнка встречается только в одном случае из восьми. Гибрид у двух компаний прописан явно, у одной — «по договорённости с руководителем», что по факту не гарантия.

Вот такой срез рынка на начало марта. Если вы сейчас в поиске или только планируете войти в профессию — надеюсь, это помогло сориентироваться!

📈 Симулейтив

⬆️ Ментор курса «Аналитик данных» Александр Грудинин поделился, на что он смотрит перед тем, как пригласить человека на собеседование.

Кстати, поток с его менторской поддержкой уже стартовал! Присоединяйтесь: simulative.ru/data-analyst

Вебинар: как аналитику данных эффективно использовать ИИ

Часто бывает так: бизнес даёт размытый запрос («растим заказы, но падают оценки, разберитесь»), а вы не знаете, с какой стороны подойти к задаче.

На вебинаре с Мариной Ермак мы пройдём полный путь решения реальной проблемы. В прямом эфире разберём кейс на открытом датасете: от туманной формулировки и построения гипотез до их проверки и визуализации метрик.

Вы увидите, как нейросети помогают аналитику не утонуть в рутине, а сфокусироваться на выводах. Все материалы будут у вас на руках — ссылки и QR-коды для повторения скинем во время вебинара!

➡️ Зарегистрироваться на вебинар

На вебинаре разберём по шагам:

➖ Как ИИ помогает превратить размытый запрос бизнеса в чёткий план действий;
➖ Как быстро находить первые сигналы проблемы, анализируя с ИИ готовые отчёты и дашборды;
➖ Как выстроить весь процесс анализа с использованием ИИ.

❗️ Присоединяйтесь 18 марта в 19:00 МСК.
🎁 Бонус за регистрацию — подборка из 15 промптов для работы аналитика!

➡️ Зарегистрироваться на вебинар

📈 Симулейтив | ВК | YouTube

Как автоматизировать дашборд при помощи ИИ

Привет! На связи Марина Ермак, автор курса «ИИ для анализа данных» 👋🏻

Есть популярное заблуждение: сейчас подключим ИИ, и он сам соберёт нам красивый, умный и полезный дашборд. К сожалению, это далеко не так — но с рутиной ИИ действительно помогает.

Если смотреть на самые популярные варианты автоматизации, то обычно это:

📈 Power BI + Copilot — помогает собирать черновики отчётов, подсказывает визуализации, объясняет формулы и отвечает на вопросы по данным;
📈 Tableau + AI/Pulse — хорош для исследования данных, поиска аномалий и коротких summary по метрикам;
📈 Looker + Gemini — удобен там, где уже есть нормальная модель метрик и хочется общаться с данными текстом.

Как этим пользоваться на практике?

На самом деле самое важное здесь — порядок и понимание конечной цели. Сначала привести в чувство метрики, названия полей и логику расчётов, потом — отдавать ИИ черновую сборку дашборда, подбор визуалов, поиск отклонений и ответы на типовые вопросы. То есть не «сделай всё сам», а «ускорь мне первый проход».

Что не стоит отдавать на автоматизацию:
➖ Финальную логику KPI;
➖ Доступ к чувствительным данным без ограничений;
➖ Проверку качества источников;
➖ Итоговые выводы для бизнеса без ревью человеком.

Потому что ИИ неплохо отвечает на вопрос «что происходит», но на вопрос «почему это произошло» часто начинает очень уверенно фантазировать 😀

Хороший сценарий использования выглядит так: человек проектирует смысл, ИИ ускоряет сборку и анализ, человек проверяет результат.

То есть ИИ в дашбордах — это не замена аналитика. Это очень быстрый помощник, которому нельзя без проверки доверять финальные выводы.

💡 Я рекомендую начать с простого: взять один конкретный сценарий и пройтись по нему с ИИ. Например, взять еженедельный дашборд по продажам, сделать для него AI-саммари отклонений и поштормить с ним возможные проблемы, чтобы предусмотреть тонкие места на будущее.

Но автоматизация дашбордов — лишь малая часть применения ИИ в работе над анализом данных. На курсе я расскажу фундаментальные подходы к автоматизации рутин, разберёмся с тем, как и какие ИИ-инструменты и где использовать, и как можно быстро и наглядно визуализировать данные.

♾ Присоединяйтесь к курсу, стартуем уже 20 марта: simulative.ru/ai-for-da

📈 Симулейтив | ВК | YouTube

Почему вы до сих пор не в аналитике данных (или боитесь начинать)?

Хотим провести для вас полезный эфир и понять, что реально мешает людям войти в профессию. Расскажите, что для вас является самой большой болью (оставьте реакцию под постом):

👍 — страх математики/статистики
🔥 — непонятно, где брать опыт после курсов
❤️ — дорогое и долгое обучение
😥 — сомнения, что профессия перегрета и джунов больше не берут
🧑‍💻 — технический барьер (например, SQL/Python даются тяжело, руки не доходят)

Или пишите в комментариях, какой у вас самый главный страх или возражение? Что вас останавливает прямо сегодня? 👇

📈 Симулейтив | ВК | YouTube

Кейс: как перевести конкурентный анализ на автопилот и спасти культуру созвонов

Привет! На связи Марина Ермак, автор курса «ИИ для анализа данных» 🚀

Я часто встречалась с подходом, когда анализ конкурентов считали либо «творческой», либо разовой задачей. Но на самом деле это трудозатратная операционка, на которую часто тратятся часы сотрудников, или её делают «на коленке» перед самым созвоном.

В консалтинговой компании я внедрила систему регулярного мониторинга через периодические задачи в ChatGPT и сэкономила часы нашей команде 😎

Архитектура решения

Вместо того чтобы вручную проверять сайты и соцсети, мы выстроили трёхэтапный цикл:

1️⃣ Сбор и агрегация: настройка периодических запросов. ChatGPT получает структурированные данные о критериях изучения трендов или конкурентов. Здесь самое важное — точно прописать в промпте фокус исследования, иначе получится каша из данных.

2️⃣ Работа GPT и само сравнение. Хороший промпт сфокусирован на сравнительном анализе. В ряде случаев можно даже отдать ИИ на откуп совокупную оценку тренда или изменения у конкурентов. Здесь мы получаем самые ценные данные.

3️⃣ Рутина. Раз в неделю (или чаще, если захотите) команда получает лаконичный дайджест — это структурированный отчёт. Обычно я делала сначала краткое содержание с ключевыми трендами, а потом уже таблицы с подробным анализом по критериям. Не забывайте про ссылки и про их проверку — всё-таки нейросети любят галлюцинировать!

Главный результат: смерть «информационных» созвонов

Раньше у нас первые 20-30 минут каждой встречи уходили на синхронизацию. Сейчас каждый участник заходит в Zoom, уже прочитав двух-минутный дайджест от ИИ. У всех в голове один и тот же контекст. Мы больше не обсуждаем вопрос «Что произошло?» — мы сразу начинаем с «Что мы будем с этим делать?». Время встреч сократилось минимум на треть, а их глубина выросла в разы.

Получается, что автоматизация через ChatGPT — это не просто способ «не читать новости», это инструмент управления фокусом команды. Когда рутину по сбору и первичной аналитике забирает нейросеть, у людей высвобождается когнитивный ресурс для того, что ИИ пока делает хуже — для принятия сложных стратегических решений 💪🏻

🧑‍💻 Записаться на курс «ИИ для анализа данных»

📈 Симулейтив | ВК | YouTube

Присоединяйтесь сегодня к вебинару по использованию ИИ

В 19:00 МСК вместе с Мариной Ермак разбираем бизнес-кейс и решаем задачу с помощью нейросетей — от туманной формулировки и построения гипотез до их проверки и визуализации метрик. Все материалы вы сможете повторить в прямом эфире, ждём вас!

➡️ Зарегистрироваться

📈 Симулейтив | ВК | YouTube

Пройдите опрос и получите подарок!

Мы хотим лучше узнать нашу аудиторию, чтобы делать наш продукт и контент ещё полезнее. Заполните небольшой опрос (займёт не более 5 минут) и получите полезный материал в подарок.

✍🏻 Пройти опрос

📈 Симулейтив | ВК | YouTube

Запустили Telegram-канал про Data Science и машинное обучение

В нём практикующие ML/DL-инженеры рассказывают доступным языком про прод, пайплайны, метрики, ошибки, фичи, архитектуры и реальные бизнес-кейсы.

В канале вы найдёте:
➡️ Разборы ключевых концепций и подходов в ML/DL на языке инженера;
➡️ Кейсы из продакшена: что сработало, что сломалось, какие выводы сделали;
➡️ Факапы, которые помогут не наступать на те же грабли;
➡️ Карьерные маршруты: какие скиллы нужны ML/DL-инженеру и как их системно прокачивать.

Кому будет полезно:
➖ Действующим ML/DL-инженерам и дата-сайентистам, которые хотят глубже в архитектуры, прод и инженерные практики;
➖ Начинающим ML‑инженерам и DS, которые ищут понятные ориентиры, реальные кейсы и честный взгляд на профессию;
➖ Аналитикам и дата-инженерам, планирующим переход в ML/DL и не желающим тонуть в разрозненных материалах.

Если вы хотите расти как инженер и собирать работающие ML/DL‑системы — присоединяйтесь!

✅ Подписаться

📈 Симулейтив | ВК | YouTube