Think. Visualize
77 subscribers
3 photos
4 links
BI под другим углом, с аналитической глубиной.
Полные статьи с удобным форматированием: https://think-visualize.ru
Download Telegram
Channel created
#python #pandas #preprocessing

На этой неделе открыл для себя новый формат данных — .parquet: работает быстрее, умеет сохранять вложенные структуры, лучше работает с датами, итоговые файлы более лёгкие.

Если вы хотя бы раз удивлялись размеру вашего .csv файла, или устали постоянно колдовать с датой и временем, или мучаетесь с сохранением столбца списков или столбца словарей, то вам точно стоит приглядеться.

Подробно и с примерами объяснил в коротком видео: https://youtu.be/cZE_ooN2Lz4
#мотивация #выгорание

Если любишь свою работу и причисляешь себя к трудоголикам, то рано или поздно столкнёшься с эмоциональным выгоранием. Часто слышал, когда под этим понятием подразумевают грусть или лень одного дня («не хочу что-то сегодня работать»). На самом деле это более серьёзная тема, которая развивается в течение нескольких месяцев и выливается в клиническую депрессию, если вовремя не предпринять меры.

Сам с этим столкнулся — это мой главный вопрос 2020 года. К счастью, получилось вытащить себя из этого состояния. Но пост на самом деле не об этом.

Нашёл интересное исследование, которое проводилось среди руководителей на эту тему. Основные инсайты:
- авторы выделили 4 категории стрессоров: внешние и внутренние, конкретные и размытые
- категории взаимодействуют друг с другом. Может происходить эффект домино — событие из одной категории вызывает стрессы в других, иногда входя в замкнутый цикл
- самая большая опасность в «скрытых стрессорах». Часто — это мысли, которые пытаемся отогнать или на которые даже не обращаем внимания. Но это как китайская пытка — маленькая капля, которая бьёт в одно место достаточно долго, оказывает сильный эффект.
- важно отслеживать «эмоциональный долг», который накопился в течение дня, чтобы потом его компенсировать. Один из вариантов — ведение дневника.
- если «эмоциональный долг» не компенсировать, наша устойчивость к стрессу снижается, и стрессором для нас становятся всё более незначительные события
- саббатикал (отпуск от 3 до 6 мес.) — то, что способно вернуть прежний уровень устойчивости к стрессу и помогает справиться с выгоранием

Там ещё тонна всего интересного и полезного, например, wiki в Notion с советами по устранению и предотвращению, которая ведётся сообществом. В общем, рекомендую.

Исследование: https://docs.google.com/document/d/18FfZ86PGA_uSFf425EzKXAmiFQLFBPqjqPN7iu1TZRw/edit
Wiki: https://resilient.wiki/Emotional-Resilience-Wiki-6f025a6bb6b7456b8f3b9925440352f6
Channel name was changed to «Think. Visualize»
(давайте знакомиться)

Я Серёжа, тружусь в Т-Банке в роли BI Tech Lead. Придумываю что и как будет сделано с точки зрения: кода, макетирования, дизайна, графиков, дашбордов, их деплоя и презентации заказчикам. Параллельно всё это реализуя в (Т-)Путешествиях. В общем, отвечаю за качественный BI

—————————————
(и в лужу падал)

За свою карьеру успел поработать маркетологом, проджект менеджером и продуктовым аналитиком. Все эти переходы были довольно плавными.

Так получалось, что в каждой из сфер были какие-то типы задач, которые мне очень нравились, а какие-то вызывали скуку и отторжение. Второе постепенно затмевало первое. Я терпел, терпение заканчивалось, наступал кризис, который означал новую главу и переход.

В один из последних кризисов я понял, что новая ветка развития для меня лежит в области BI, потому что мне всегда нравилось:
- превращать хаос в структуру
- погружаться в новые области
- объяснять непонятное понятным языком
- создавать системы и продукты
- оптимизировать процессы

Такой переход из продуктовой аналитики в BI выглядел самым логичным решением. И могу сказать, что я не прогадал, а весь предыдущий опыт позволил мне взглянуть на профессию под другим углом и с этой призмой приносить пользу для бизнеса в новой роли

—————————————
(зачем мы здесь?)

На мой взгляд очень много контента и обсуждений в области BI сфокусировано на визуализации данных, оставляя на втором плане бизнес-смыслы и аналитику. И в своей работе это тоже часто встречаю. Это не хорошо и не плохо, просто мне хочется по-другому и бизнесу хочется по-другому.

BI-аналитик — это в первую очередь аналитик, а аналитик — это не про набор хард-скиллов. Это про способ мышления и подход к коммуникации, и уже потом всё остальное. С этой парадигмы и постараюсь рассказывать

—————————————
(обозначим поле тем)

Будет много про:

Техническое
- Superset
- организацию и оптимизацию датасетов в ClickHouse, GreenPlum (Postgres), Trino+Iceberg
- автоматизацию в Python

Аналитическое
- создание BI продуктов: дашбордов и рассылок
- принципы проектирования систем
- прожарку отчётов

Метафизическое
- выстраивание отношений с бизнесом (продакты, лиды, руководители)
- сбор требований от заказчиков
- как делать нужное и не делать не нужное

Уверен, найдутся и другие темы

—————————————

Надеюсь будет полезно! До новых встреч!

😀😀😀😀😀😀😀
Please open Telegram to view this post
VIEW IN TELEGRAM
28
(что такое дата-продукт?)

Дата-продукт — превращение данных в ценность для пользователей. Для аналитиков это: исследования, дашборды, рассылки и выгрузки.

При разработке продуктов важно учитывать 2 ключевых пункта:
1. Пользователь на первом месте. Мы решаем его проблему, делаем это удобно и эффективно.
2. Работаем итеративно. Подстраиваемся под реальность, учитываем обратную связь от пользователей, дорабатываем решение.

—————————————
(что такое хороший дата-продукт?)

Эти 2 пункта очерчивают понятную зону того, на что должны быть направлены принципы:
1. Как понять, что мы решаем нужную и важную проблему?
2. Как решить проблему эффективно?
3. Как подготовить почву под будущие изменения, чтобы сэкономить свой ресурс?

У нас в команде недавно такой документ появился. Это 30 страничный гайд, идя по которому сверху вниз можно получить качественный инструмент.

Чтобы не перегружать информацией, я буду кусочками подавать информацию и раскрывать каждую из составляющих в следующих постах. А пока основное.

—————————————
(принципы хорошего дата-продукта)

Составляющие вы уже увидели по превью, поэтому давайте озвучим их и немного раскроем:

1. Решение задачи (требования).
Цель: погрузиться в контекст, получить пониманием системы, синхронизироваться с заказачками
Вызов: заказчики могут сами не видеть весь процесс и проблему, поэтому придётся делать это вместе с ними
Итог: системное решение, которое покрывает процесс и легко адаптируется к изменениям

2. Макро-визуал (повествование).
Цель: создать логичную историю по блокам информации на основе фактов из п.1
Вызов: при сложных продуктах и процессах можно запутаться во взаимосвязях и потерять логику
Итог: полнота информации, ясность, логичность и эффективность восприятия

3. UX.
Цель: помочь пользователю удобно взаимодействовать с данными
Вызов: понять, как пользователь будет взаимодействовать с данными
Итог: минимизируется количество лишних действий, повышается КПД продукта

4. Выбор визуализаций.
Цель: минимизировать искажение восприятия данных
Вызов: визуализировать данные с множеством точек и измерений
Итог: увеличивается КПД получения каждой единицы информации

5. Микро-визуал (UI).
Цель: улучшить восприятие инструмента, задать единый стиль
Вызов: учесть большое количество мелочей
Итог: вау-эффект от инструмента и довольный внутренний перфекционист

—————————————
(забавная закономерность)

Для полезности дата-продукта важнее ранние пункты из списка.
Для удовлетворённости заказчиками дата-продуктом важнее поздние пункты из списка (как минимум, от первого впечатления)

Решение задачи
- Полезность: 5
- Удовлетворённость: 1
Макро-визуал
- Полезность: 4
- Удовлетворённость: 2
UX
- Полезность: 3
- Удовлетворённость: 3
Выбор визуализаций
- Полезность: 2
- Удовлетворённость: 4
Микро-визуал (UI)
- Полезность: 1
- Удовлетворённость: 5

Поэтому будьте ответственны, не забывайте про удовольствие от работы с вашим инструментом, но и не ставьте удобство на первое место, упуская важность и смыслы.

—————————————
Надеюсь, было полезно! До новых встреч!

😀😀😀😀😀😀😀
Please open Telegram to view this post
VIEW IN TELEGRAM
4🔥74
Сегодня рассказываю про то, как мы переезжали из Tableau в Superset.

Полная версия в Телетайп, там картинки, таблицы и вообще удобно:
https://think-visualize.ru/tableau-to-superset-migration

Главное, что хотел донести — мы не стали просто копировать старые дашборды в новую платформу, а увидели в этом шанс навести порядок и полностью переосмыслить наш подход к созданию BI инструментов.

Вот что сделали:

1. Провели «генеральную уборку»:
Пересмотрели все существующие отчеты с аналитиками и бизнес-заказчиками и честно ответили на вопрос: «А что из этого действительно нужно?». Большую часть старых и неиспользуемых дашбордов мы просто оставили в прошлом.

2. Погрузились в бизнес и стали партнёрами:
Вместо того чтобы сразу строить графики, мы сфокусировались на задачах, которые должен решать каждый отчет. Это помогло нам создавать действительно полезные и глубокие дашборды, которые покрывают процессы, а не просто показывают красивые цифры.

3. Создали шаблоны:
Чтобы не изобретать велосипед каждый раз, мы разработали в Superset единые шаблоны. Это сильно ускорило нашу работу и сделало все отчеты консистентными.

В итоге этот вынужденный переезд стал крайне полезным проектом. Мы не просто сменили инструмент, а сделали наш BI более осмысленным и эффективным.

Надеюсь, наш опыт будет полезен и вам.

—————————————

Переходите в полную статью:
https://think-visualize.ru/tableau-to-superset-migration

😀😀😀😀😀😀😀 😀😀😀
Please open Telegram to view this post
VIEW IN TELEGRAM
58
(почему мой заказчик мудак?)

Когда-нибудь такой вопрос может всплыть в голове. Делаешь дашборд, всё как попросили в задаче. Она даже по SMART. Сроки — чёткие. Метрики — расписаны.
Но на выходе:
- Не то хотели
- Надо добавить ещё разрезов
- Руководству не понравилось

И думаешь: "Ну как же они все достали...". А может быть проблема не в них?

Ты решаешь не ту задачу. Ищешь источники, строишь графики, но не понимаешь зачем вообще всё это нужно.

Это скользкая дорожка, потому что превращает тебя в интерфейс к БД, а не бизнес-партнёра. Люди-интерфейсы — первые под замену LLM моделями.

—————————————
(что ж делать?)

Собирать требования. На первый взгляд это сложный процесс, но пара задач и будет достаточно часовой встречи, чтобы всё это собрать
и превратить в качественный дата-продукт. Вот этапы:

1. Понять потребность
Это не «нужен график», а боль, страх, проблема бизнеса.

MAU в разрезе по подпискам
Платные пользователи отваливаются и мы не понимаем, что делать

2. Выявить бизнес-требования
Что будет делать заказчик, если цифры упадут?
Какие цели есть у продукта?
Какие решения примут по этим данным?

3. Выслушать (и фильтровать) хотелки заказчика
Они могут быть не связаны с реальной проблемой или закрывать её очень частично.
Ты должен помочь ему понять, что он хочет на самом деле.

4. Сформировать требования к решению
- Какие метрики?
- Какие срезы?
- Как часто обновлять?
- Кому и как раскатывать?

—————————————
(вывод)
Правильное погружение в задачу может решить много проблем: от выгорания и карьерного роста до разворота задач и превращение их в большие и интересные проекты.

—————————————
(пост — небольшое интро)
Полная статья с объяснением по этапам и примерами диалогов:
https://think-visualize.ru/principles-of-good-data-product-requirements

Пишите комментарии, отправляйте коллегам, ставьте сердечки и огонёчки, для меня это важно!

😀😀😀😀😀😀😀😀
Please open Telegram to view this post
VIEW IN TELEGRAM
912