Почему аналитику важно иметь инженерные навыки работы с данными

Расскажу из своего опыта те основные моменты, которые мне помогли дорасти до текущих результатов с помощью сильных hard-навыков

1️⃣Не бояться сложных задач и их реализации
Как следствие приобретенные навыки помогали мне всегда брать задачи более сложные и выходящие часто за мою основную зону ответственности. Навыки разбираться в технических мелочах, инфраструктуре, логах ошибок и пробовать новые инструменты дает мне преимущество перед другими аналитиками, которые не выходят из своей зоны привычных инструментов. Реализация таких задач показывает компании насколько ты ценный сотрудник и дает тебе возможность расти внутри по грейду и в заработке.

🔡Дополнительные проекты
В свободное от основной работы время я или меня находят находят проекты, в которых как правило нужно сделать всю работу под ключ. От подключения к источникам данных, выгрузки в аналитическую базу, определение модели хранения данных, настройка ETL процессов и построение отчетов для бизнеса. Сейчас это еще все ускоряет AI, но без фундаментальных знаний как строится правильная работа с платформой данных не получится сделать качественное решение, которое будет приносить пользу заказчику в аналитике и его операционной отчетности. Небольшие компании не располагают бюджетом держать свою команду инженеров данных + аналитиков, поэтому они находятся в поиске "швейцарского ножа" или оутсорс-компании, которая по контракту сделает им нужный объем работы под ключ.

3️⃣Быстрый switch между профессиональными ролями
Для себя я понимаю, что могу проще и гораздо быстрей перейти на позицию data engineer полноценно с моими навыками аналитика-инженера. И если мне такой карьерный трек покажется привлекательным, то для меня не составит труда пойти по нему.

Поэтому кросс-функциональные технические навыки на стыке аналитики и инженерии данных я считаю максимально полезными.

➡️26 октября приглашаю всех в группу, кто хочет также на практике получить эти навыки с моей поддержкой в рамках практического обучения на рабочих задачах

Завтра открою доступ в группу, где проведем мини-интенсив и чуть более глубокое погружение в процесс обучения.

По плану на следующей неделе провести 2-х или даже 3-х дневный практический интенсив по разработке аналитического решения от начала и до конца

От поставленной бизнес-задачи ➡️ До готового аналитического отчета

Покажу как совмещаю аналитические и инженерные навыки для этого и буду консультировать по поводу практического обучения. Оно не каждому подойдет, поэтому интенсив это хороший формат попробовать себя в роли аналитика-инженера и понять надо оно вам или нет.

Уже готовлю песочницу и инфраструктуру, где сможете сами повторять действия за мной.

Материалы будут в группе ➡️Вступить

Как выглядит мой рабочий день (удалёнщика аналитика-инженера)

🕘 9:00 - просыпаюсь, умываюсь, завтракаю. никакой йоги, бассейна, утреннего зала, покупки раф-кофе 😁 или других полезностей нет)

🕙 10:00 - открываю ноут, начинаю читать чаты и составлять план работы на день

До 18 или 19:00 идет рабочий день
🔹2-3 часа в день в среднем уходит на созвоны
🔹5-6 часов на задачи и остальную коммуникацию в чатах

Перерыв на обед обычно плавающий, зависит от расписания созвонов и моего чувства голода)

Сделал диаграмму, которая показывает какой % от всего рабочего времени в среднем в день я трачу на тот или иной тип задач и соответствующие инструменты 📊

бОльшая часть задач включает в себя написание SQL-запросов для создания витрин данных, adhoc-задач или запросов для автоматизации выгрузок. Также достаточно много времени уходит на коммуникацию, уточнение задач, приоритеты и разные тим-лид активности по планированию работы команды.

Здесь следует уточнить, что разделение рабочего времени на задачи и активности может сильно отличаться от
- роли аналитика (продуктовый, data, BI, аналитик-инженер...)
- типа и формата команды (у нас core команда клиентской аналитики, не привязанная к конкретному продукту)
- грейда аналитика (чем выше грейд, тем больше задач нужно делегировать и включаться в задачи команды)
- текущего планирования и приоритетов задач в рамках года/квартала/спринта

Я дал лично свою картину, часто на консультациях спрашивают чем именно я занимаюсь и как распределяется между этим рабочее время, вот расписал 😉

Рассказываю программу и процесс обучения изнутри

Результаты обучения:
✅ Реализую сложные бизнес и технические задачи с помощью продвинутого знания SQL
✅ Реализую потоки данных с инкрементальной и полной загрузкой данных
✅ Пишу код на Python для автоматизации потоков данных и ETL/ELT
✅ Умею работать с Airflow и разрабатывать DAGи
✅ Работаю и пишу весь код правильно через Git и Github
✅ Работаю с serverless облачными технологиями и пишу Cloud Functions на Python

Старт: 26 октября

Все уроки доступны в личном кабинете, учись когда удобно

https://datastudy.ru/sql_advanced

Записаться в группу

Долго грузится дашборд?

Обычно проблема находится на уровне обращения к данным, а именно

❌ датасет отчета построен на SQL запросе, а не готовой таблице
❌ датасет состоит из набора исходных таблиц, соединяемых на уровне BI-инструмента
❌ базовая фильтрация данных настроена на уровне чартов и отчета, а не на уровне датасета или базы данных

Как ускорить свои дашборды ➡️ строить витрины данных. Это таблицы, в которых собраны нужные для вашего отчета данные, со всей фильтрацией, сложной логикой обогащения, JOINов, UNIONов, тяжелых оконных функций.

Ваша задача сделать как можно лучше подготовленные данные на уровне хранилища DWH (или базы данных), чтобы BI работал по большей части для визуализации готовых данных, а не сложных трансформаций "на лету".

Также думайте про вид материализации данных. Например, представление, будет менее эффективным чем сохраненные данные в таблицу, т.к. представление этот тот же сохраненный SQL запрос, выполняющийся каждый раз на лету при обращении к представлению.

Хочешь строить качественную аналитику и отчеты, приходи на курс "Продвинутый SQL и автоматизация витрин данных", где разбираем весь процесс от сбора требований,разработки бизнес-логики на SQL и Python, до автоматизации в Apache Airflow с написанием DAGов.

На реальных рабочих задачах аналитиков соберете 10 витрин данных и автоматизируете обновление в них разными способами: инкременты по дате, ключам, полная перезагрузка и т.д., научитесь писать Python-функции, работать с Github репозиторием и интерфейсом Airflow. Общаемся в группе, а все уроки доступны сразу в личном кабинете онлайн.

ТРЕНАЖЕРОВ НЕТ, работаете в реальной инфраструктуре как в компаниях

Старт группы уже 26 октября, следующая группа будет только в 2027 году❗️

Записаться в группу