📈 Залетай в BI | #3 Dashboard Canvas 🍿
Вчера перевозил данные на новый комп и нашел файл с последней записью второго сезона зум-сериала Залетай в BI, где я вместе с компанией Синапс занимался разработкой системы дашбордов в прямом эфире. Прошло более полугода, а я, оказывается, случайно забыл её выложить 🙈

Ну как случайно. Во время сбора требований для дашборда всё пошло не так, как должно было быть «по методике». Получается я всех учу пользоваться своим Dashboard Canvas, а сам не могу по нему собрать требования. Отстой! Поэтому мой мозг решил не расстраиваться, забыть про эту запись и не рассказывать про неё вам )))))

📽Драма
Во время встречи с ребятами я смог разработать классный макет дашборда, но просто делал это из опыта, а не по алгоритму и в какой-то момент на встрече просто забил на заполнение кенваса, а сразу пошёл делать макет. Анализируя этот опыт, понял две вещи:
— Я зря расстроился, что не смог пойти прямо по алгоритму. Алгоритм — помощник в том, чтобы научиться делать правильно, но когда опыта много, то уже быстрее думать и работать автоматом, а не пытаясь разложить всё по полочкам.
— У меня все дальше развивается мысль, что для разных типов дашбордов, нужны разные методики проектирования и сбора требований. Странно натягивать один и тот же подход и на овервью дашборд, где будет куча метрик для мониторинга, и на дашборд по АБ-тестам, где будет несколько графиков с совершенно другой целью. Теперь есть идея, что для каждого типа дашборда нужен свой список вопросов и свои детальные дизайн-гайды и типовые решения. Ждите обновления моих мыслей про Dashboard Map и Dashboard Canvas =)

А запись 👉 я решил выложить 👈 Поэтому вы можете посмотреть как я местами нервничаю, туплю и потом забиваю на кенвас. И это классно, так как показывает реальную жизнь как есть, без приукрас и чего-то волшебного.

Получился отличный проект, спасибо большое ребятам за смелость поделиться своими проблемами и запросами бизнеса. Мы даже собрали данные и я сделал на них классный дешик в DataLens, он как раз на картинке. А еще у меня тут произошли изменения на работе, поэтому думаю, что запущу новый сезон сериала, но уже про себя и свои реальные процессы, надеюсь вам будет интересно =) Stay tuned

Все серии:
— Dashboard Map
— Метрики и срезы
— Dashboard Canvas
#залетайвbi

📈 Залетай в BI: Архитектура аналитического решения S3E1
В команде, куда я перешёл, нет DWH и BI, всё делается через ERP и выгрузки в Excel. Поэтому первой задачей стоит разработка архитектуры аналитического решения и выбор технологий.

Начнём с того, что разберемся в том, что входит в тот самый «modern data stack». В интернете можно найти кусу схем с дата-лейками, стримингом, reverse ETL и другими сложными терминами. Для своей задачи я выберу упрощённую схему из 6 основных компонентов:

Data sources
Источники данных из нашего «бек-энда». Это логи и события из приложений или данные из SaaS-сервисов. В моём случае основными источниками будут ERP и различные SaaS-инструменты для HR-менеджмента, управления закупками и т.п.

Data Ingestion
Этап сбора данных из всех источников в одну базу данных или озеро. Это может быть стриминговое пополнение данных (реалтайм логи из приложений) или батчевая загрузка по расписанию. В моём случае будет только батчевая загрузка. Реализовать её можно вручную с помощью скриптов, опрашивающих API приложений и раскладывающих JSON в таблицы, или с помощью инструментов, имеющих готовые коннекторы к источникам данных.

Raw Data Storage
Место для хранения всех сырых данных, полученных из источников. Тут всё просто, должно быть дешёвое и работать без перебоев.

Transforamtoin and Semantic Layer
Сырые данные нужно преобразовать в витрины данных, которые аналитики и бизнес смогут удобно использовать в работе. Исходные данные будут агрегированы, очищены и проверены на качество. Здесь же хранится логика и правила преобразования данных – семантический слой. Скрипты для преобразования нужно регулярно запускать по правилам и событиям — это называется оркестрацией.

Data Marts Storage
Преобразованные данные нужно сложить в хранилище. Это может быть отдельная база данных или таблицы в том же месте, где хранятся сырые данные (тогда это будет «data lake», так как исходные данные и конечные витрины храним в одном месте).

Presenting Layer
Интерфейсы или инструменты, где конечные пользователи могут использовать данные: Jupiter Notebook для аналитиков или BI-системы для бизнес-пользователей.

Вух, пока писал, казалось, что пишу банльщину, а с другой стороны столько всего получилось в чем нужно разбираться аналитику, что кажется, что такое будет полезно. И это мы ещё не затронули Data Governance, Quality, Security и техническую инфраструктуру и Observability .

Дальше мы разберём каждый шаг подробнее, а в следующей серии расскажу, как составить список источников и выбрать инструменты для сбора данных.

Как вам такие вводные теоретические посты?

Все серии:
— S3E0: Трейлер
— S3E1: Архитектура решения
— S3E2: Data Ingestion
— S3E3: Инструмент Data Ingestion
— S3E4: Итоги за полгода
#залетайвbi