#python #pandas #preprocessing
На этой неделе открыл для себя новый формат данных —
Если вы хотя бы раз удивлялись размеру вашего
Подробно и с примерами объяснил в коротком видео: https://youtu.be/cZE_ooN2Lz4
На этой неделе открыл для себя новый формат данных —
.parquet
: работает быстрее, умеет сохранять вложенные структуры, лучше работает с датами, итоговые файлы более лёгкие. Если вы хотя бы раз удивлялись размеру вашего
.csv
файла, или устали постоянно колдовать с датой и временем, или мучаетесь с сохранением столбца списков или столбца словарей, то вам точно стоит приглядеться.Подробно и с примерами объяснил в коротком видео: https://youtu.be/cZE_ooN2Lz4
YouTube
Parquet – замена csv в pandas
На этой неделе открыл для себя новый формат данных — .parquet: работает быстрее, умеет сохранять вложенные структуры, лучше работает с датами, итоговые файлы более лёгкие.
Если вы хотя бы раз удивлялись размеру вашего .csv файла, или устали постоянно колдовать…
Если вы хотя бы раз удивлялись размеру вашего .csv файла, или устали постоянно колдовать…
#мотивация #выгорание
Если любишь свою работу и причисляешь себя к трудоголикам, то рано или поздно столкнёшься с эмоциональным выгоранием. Часто слышал, когда под этим понятием подразумевают грусть или лень одного дня («не хочу что-то сегодня работать»). На самом деле это более серьёзная тема, которая развивается в течение нескольких месяцев и выливается в клиническую депрессию, если вовремя не предпринять меры.
Сам с этим столкнулся — это мой главный вопрос 2020 года. К счастью, получилось вытащить себя из этого состояния. Но пост на самом деле не об этом.
Нашёл интересное исследование, которое проводилось среди руководителей на эту тему. Основные инсайты:
- авторы выделили 4 категории стрессоров: внешние и внутренние, конкретные и размытые
- категории взаимодействуют друг с другом. Может происходить эффект домино — событие из одной категории вызывает стрессы в других, иногда входя в замкнутый цикл
- самая большая опасность в «скрытых стрессорах». Часто — это мысли, которые пытаемся отогнать или на которые даже не обращаем внимания. Но это как китайская пытка — маленькая капля, которая бьёт в одно место достаточно долго, оказывает сильный эффект.
- важно отслеживать «эмоциональный долг», который накопился в течение дня, чтобы потом его компенсировать. Один из вариантов — ведение дневника.
- если «эмоциональный долг» не компенсировать, наша устойчивость к стрессу снижается, и стрессором для нас становятся всё более незначительные события
- саббатикал (отпуск от 3 до 6 мес.) — то, что способно вернуть прежний уровень устойчивости к стрессу и помогает справиться с выгоранием
Там ещё тонна всего интересного и полезного, например, wiki в Notion с советами по устранению и предотвращению, которая ведётся сообществом. В общем, рекомендую.
Исследование: https://docs.google.com/document/d/18FfZ86PGA_uSFf425EzKXAmiFQLFBPqjqPN7iu1TZRw/edit
Wiki: https://resilient.wiki/Emotional-Resilience-Wiki-6f025a6bb6b7456b8f3b9925440352f6
Если любишь свою работу и причисляешь себя к трудоголикам, то рано или поздно столкнёшься с эмоциональным выгоранием. Часто слышал, когда под этим понятием подразумевают грусть или лень одного дня («не хочу что-то сегодня работать»). На самом деле это более серьёзная тема, которая развивается в течение нескольких месяцев и выливается в клиническую депрессию, если вовремя не предпринять меры.
Сам с этим столкнулся — это мой главный вопрос 2020 года. К счастью, получилось вытащить себя из этого состояния. Но пост на самом деле не об этом.
Нашёл интересное исследование, которое проводилось среди руководителей на эту тему. Основные инсайты:
- авторы выделили 4 категории стрессоров: внешние и внутренние, конкретные и размытые
- категории взаимодействуют друг с другом. Может происходить эффект домино — событие из одной категории вызывает стрессы в других, иногда входя в замкнутый цикл
- самая большая опасность в «скрытых стрессорах». Часто — это мысли, которые пытаемся отогнать или на которые даже не обращаем внимания. Но это как китайская пытка — маленькая капля, которая бьёт в одно место достаточно долго, оказывает сильный эффект.
- важно отслеживать «эмоциональный долг», который накопился в течение дня, чтобы потом его компенсировать. Один из вариантов — ведение дневника.
- если «эмоциональный долг» не компенсировать, наша устойчивость к стрессу снижается, и стрессором для нас становятся всё более незначительные события
- саббатикал (отпуск от 3 до 6 мес.) — то, что способно вернуть прежний уровень устойчивости к стрессу и помогает справиться с выгоранием
Там ещё тонна всего интересного и полезного, например, wiki в Notion с советами по устранению и предотвращению, которая ведётся сообществом. В общем, рекомендую.
Исследование: https://docs.google.com/document/d/18FfZ86PGA_uSFf425EzKXAmiFQLFBPqjqPN7iu1TZRw/edit
Wiki: https://resilient.wiki/Emotional-Resilience-Wiki-6f025a6bb6b7456b8f3b9925440352f6
Google Docs
Emotional Resilience In Leadership Report
Emotional Resilience In Leadership Report WITH COMMENTS | PRINT OPTIMISED Jonny Miller (Curious Humans) & Jan Chipchase (Studio D) Executive Summary This interactive report shares a summary of the Emotional Resilience in Leadership survey. Completed by 261…
(давайте знакомиться)
Я Серёжа, тружусь в Т-Банке в роли BI Tech Lead. Придумываю что и как будет сделано с точки зрения: кода, макетирования, дизайна, графиков, дашбордов, их деплоя и презентации заказчикам. Параллельно всё это реализуя в (Т-)Путешествиях. В общем, отвечаю за качественный BI
—————————————
(и в лужу падал)
За свою карьеру успел поработать маркетологом, проджект менеджером и продуктовым аналитиком. Все эти переходы были довольно плавными.
Так получалось, что в каждой из сфер были какие-то типы задач, которые мне очень нравились, а какие-то вызывали скуку и отторжение. Второе постепенно затмевало первое. Я терпел, терпение заканчивалось, наступал кризис, который означал новую главу и переход.
В один из последних кризисов я понял, что новая ветка развития для меня лежит в области BI, потому что мне всегда нравилось:
- превращать хаос в структуру
- погружаться в новые области
- объяснять непонятное понятным языком
- создавать системы и продукты
- оптимизировать процессы
Такой переход из продуктовой аналитики в BI выглядел самым логичным решением. И могу сказать, что я не прогадал, а весь предыдущий опыт позволил мне взглянуть на профессию под другим углом и с этой призмой приносить пользу для бизнеса в новой роли
—————————————
(зачем мы здесь?)
На мой взгляд очень много контента и обсуждений в области BI сфокусировано на визуализации данных, оставляя на втором плане бизнес-смыслы и аналитику. И в своей работе это тоже часто встречаю. Это не хорошо и не плохо, просто мне хочется по-другому и бизнесу хочется по-другому.
BI-аналитик — это в первую очередь аналитик, а аналитик — это не про набор хард-скиллов. Это про способ мышления и подход к коммуникации, и уже потом всё остальное. С этой парадигмы и постараюсь рассказывать
—————————————
(обозначим поле тем)
Будет много про:
Техническое
- Superset
- организацию и оптимизацию датасетов в ClickHouse, GreenPlum (Postgres), Trino+Iceberg
- автоматизацию в Python
Аналитическое
- создание BI продуктов: дашбордов и рассылок
- принципы проектирования систем
- прожарку отчётов
Метафизическое
- выстраивание отношений с бизнесом (продакты, лиды, руководители)
- сбор требований от заказчиков
- как делать нужное и не делать не нужное
Уверен, найдутся и другие темы
—————————————
Надеюсь будет полезно! До новых встреч!
😀 😀 😀 😀 😀 😀 😀
Я Серёжа, тружусь в Т-Банке в роли BI Tech Lead. Придумываю что и как будет сделано с точки зрения: кода, макетирования, дизайна, графиков, дашбордов, их деплоя и презентации заказчикам. Параллельно всё это реализуя в (Т-)Путешествиях. В общем, отвечаю за качественный BI
—————————————
(и в лужу падал)
За свою карьеру успел поработать маркетологом, проджект менеджером и продуктовым аналитиком. Все эти переходы были довольно плавными.
Так получалось, что в каждой из сфер были какие-то типы задач, которые мне очень нравились, а какие-то вызывали скуку и отторжение. Второе постепенно затмевало первое. Я терпел, терпение заканчивалось, наступал кризис, который означал новую главу и переход.
В один из последних кризисов я понял, что новая ветка развития для меня лежит в области BI, потому что мне всегда нравилось:
- превращать хаос в структуру
- погружаться в новые области
- объяснять непонятное понятным языком
- создавать системы и продукты
- оптимизировать процессы
Такой переход из продуктовой аналитики в BI выглядел самым логичным решением. И могу сказать, что я не прогадал, а весь предыдущий опыт позволил мне взглянуть на профессию под другим углом и с этой призмой приносить пользу для бизнеса в новой роли
—————————————
(зачем мы здесь?)
На мой взгляд очень много контента и обсуждений в области BI сфокусировано на визуализации данных, оставляя на втором плане бизнес-смыслы и аналитику. И в своей работе это тоже часто встречаю. Это не хорошо и не плохо, просто мне хочется по-другому и бизнесу хочется по-другому.
BI-аналитик — это в первую очередь аналитик, а аналитик — это не про набор хард-скиллов. Это про способ мышления и подход к коммуникации, и уже потом всё остальное. С этой парадигмы и постараюсь рассказывать
—————————————
(обозначим поле тем)
Будет много про:
Техническое
- Superset
- организацию и оптимизацию датасетов в ClickHouse, GreenPlum (Postgres), Trino+Iceberg
- автоматизацию в Python
Аналитическое
- создание BI продуктов: дашбордов и рассылок
- принципы проектирования систем
- прожарку отчётов
Метафизическое
- выстраивание отношений с бизнесом (продакты, лиды, руководители)
- сбор требований от заказчиков
- как делать нужное и не делать не нужное
Уверен, найдутся и другие темы
—————————————
Надеюсь будет полезно! До новых встреч!
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤8
(что такое дата-продукт?)
Дата-продукт — превращение данных в ценность для пользователей. Для аналитиков это: исследования, дашборды, рассылки и выгрузки.
При разработке продуктов важно учитывать 2 ключевых пункта:
1. Пользователь на первом месте. Мы решаем его проблему, делаем это удобно и эффективно.
2. Работаем итеративно. Подстраиваемся под реальность, учитываем обратную связь от пользователей, дорабатываем решение.
—————————————
(что такое хороший дата-продукт?)
Эти 2 пункта очерчивают понятную зону того, на что должны быть направлены принципы:
1. Как понять, что мы решаем нужную и важную проблему?
2. Как решить проблему эффективно?
3. Как подготовить почву под будущие изменения, чтобы сэкономить свой ресурс?
У нас в команде недавно такой документ появился. Это 30 страничный гайд, идя по которому сверху вниз можно получить качественный инструмент.
Чтобы не перегружать информацией, я буду кусочками подавать информацию и раскрывать каждую из составляющих в следующих постах. А пока основное.
—————————————
(принципы хорошего дата-продукта)
Составляющие вы уже увидели по превью, поэтому давайте озвучим их и немного раскроем:
1. Решение задачи (требования).
Цель: погрузиться в контекст, получить пониманием системы, синхронизироваться с заказачками
Вызов: заказчики могут сами не видеть весь процесс и проблему, поэтому придётся делать это вместе с ними
Итог: системное решение, которое покрывает процесс и легко адаптируется к изменениям
2. Макро-визуал (повествование).
Цель: создать логичную историю по блокам информации на основе фактов из п.1
Вызов: при сложных продуктах и процессах можно запутаться во взаимосвязях и потерять логику
Итог: полнота информации, ясность, логичность и эффективность восприятия
3. UX.
Цель: помочь пользователю удобно взаимодействовать с данными
Вызов: понять, как пользователь будет взаимодействовать с данными
Итог: минимизируется количество лишних действий, повышается КПД продукта
4. Выбор визуализаций.
Цель: минимизировать искажение восприятия данных
Вызов: визуализировать данные с множеством точек и измерений
Итог: увеличивается КПД получения каждой единицы информации
5. Микро-визуал (UI).
Цель: улучшить восприятие инструмента, задать единый стиль
Вызов: учесть большое количество мелочей
Итог: вау-эффект от инструмента и довольный внутренний перфекционист
—————————————
(забавная закономерность)
Для полезности дата-продукта важнее ранние пункты из списка.
Для удовлетворённости заказчиками дата-продуктом важнее поздние пункты из списка (как минимум, от первого впечатления)
Решение задачи
- Полезность: 5
- Удовлетворённость: 1
Макро-визуал
- Полезность: 4
- Удовлетворённость: 2
UX
- Полезность: 3
- Удовлетворённость: 3
Выбор визуализаций
- Полезность: 2
- Удовлетворённость: 4
Микро-визуал (UI)
- Полезность: 1
- Удовлетворённость: 5
Поэтому будьте ответственны, не забывайте про удовольствие от работы с вашим инструментом, но и не ставьте удобство на первое место, упуская важность и смыслы.
—————————————
Надеюсь, было полезно! До новых встреч!
😀 😀 😀 😀 😀 😀 😀
Дата-продукт — превращение данных в ценность для пользователей. Для аналитиков это: исследования, дашборды, рассылки и выгрузки.
При разработке продуктов важно учитывать 2 ключевых пункта:
1. Пользователь на первом месте. Мы решаем его проблему, делаем это удобно и эффективно.
2. Работаем итеративно. Подстраиваемся под реальность, учитываем обратную связь от пользователей, дорабатываем решение.
—————————————
(что такое хороший дата-продукт?)
Эти 2 пункта очерчивают понятную зону того, на что должны быть направлены принципы:
1. Как понять, что мы решаем нужную и важную проблему?
2. Как решить проблему эффективно?
3. Как подготовить почву под будущие изменения, чтобы сэкономить свой ресурс?
У нас в команде недавно такой документ появился. Это 30 страничный гайд, идя по которому сверху вниз можно получить качественный инструмент.
Чтобы не перегружать информацией, я буду кусочками подавать информацию и раскрывать каждую из составляющих в следующих постах. А пока основное.
—————————————
(принципы хорошего дата-продукта)
Составляющие вы уже увидели по превью, поэтому давайте озвучим их и немного раскроем:
1. Решение задачи (требования).
Цель: погрузиться в контекст, получить пониманием системы, синхронизироваться с заказачками
Вызов: заказчики могут сами не видеть весь процесс и проблему, поэтому придётся делать это вместе с ними
Итог: системное решение, которое покрывает процесс и легко адаптируется к изменениям
2. Макро-визуал (повествование).
Цель: создать логичную историю по блокам информации на основе фактов из п.1
Вызов: при сложных продуктах и процессах можно запутаться во взаимосвязях и потерять логику
Итог: полнота информации, ясность, логичность и эффективность восприятия
3. UX.
Цель: помочь пользователю удобно взаимодействовать с данными
Вызов: понять, как пользователь будет взаимодействовать с данными
Итог: минимизируется количество лишних действий, повышается КПД продукта
4. Выбор визуализаций.
Цель: минимизировать искажение восприятия данных
Вызов: визуализировать данные с множеством точек и измерений
Итог: увеличивается КПД получения каждой единицы информации
5. Микро-визуал (UI).
Цель: улучшить восприятие инструмента, задать единый стиль
Вызов: учесть большое количество мелочей
Итог: вау-эффект от инструмента и довольный внутренний перфекционист
—————————————
(забавная закономерность)
Для полезности дата-продукта важнее ранние пункты из списка.
Для удовлетворённости заказчиками дата-продуктом важнее поздние пункты из списка (как минимум, от первого впечатления)
Решение задачи
- Полезность: 5
- Удовлетворённость: 1
Макро-визуал
- Полезность: 4
- Удовлетворённость: 2
UX
- Полезность: 3
- Удовлетворённость: 3
Выбор визуализаций
- Полезность: 2
- Удовлетворённость: 4
Микро-визуал (UI)
- Полезность: 1
- Удовлетворённость: 5
Поэтому будьте ответственны, не забывайте про удовольствие от работы с вашим инструментом, но и не ставьте удобство на первое место, упуская важность и смыслы.
—————————————
Надеюсь, было полезно! До новых встреч!
Please open Telegram to view this post
VIEW IN TELEGRAM
4🔥7❤4
Сегодня рассказываю про то, как мы переезжали из Tableau в Superset.
Полная версия в Телетайп, там картинки, таблицы и вообще удобно:
https://think-visualize.ru/tableau-to-superset-migration
Главное, что хотел донести — мы не стали просто копировать старые дашборды в новую платформу, а увидели в этом шанс навести порядок и полностью переосмыслить наш подход к созданию BI инструментов.
Вот что сделали:
1. Провели «генеральную уборку»:
Пересмотрели все существующие отчеты с аналитиками и бизнес-заказчиками и честно ответили на вопрос: «А что из этого действительно нужно?». Большую часть старых и неиспользуемых дашбордов мы просто оставили в прошлом.
2. Погрузились в бизнес и стали партнёрами:
Вместо того чтобы сразу строить графики, мы сфокусировались на задачах, которые должен решать каждый отчет. Это помогло нам создавать действительно полезные и глубокие дашборды, которые покрывают процессы, а не просто показывают красивые цифры.
3. Создали шаблоны:
Чтобы не изобретать велосипед каждый раз, мы разработали в Superset единые шаблоны. Это сильно ускорило нашу работу и сделало все отчеты консистентными.
В итоге этот вынужденный переезд стал крайне полезным проектом. Мы не просто сменили инструмент, а сделали наш BI более осмысленным и эффективным.
Надеюсь, наш опыт будет полезен и вам.
—————————————
Переходите в полную статью:
https://think-visualize.ru/tableau-to-superset-migration
😀 😀 😀 😀 😀 😀 😀 😀 😀 😀
Полная версия в Телетайп, там картинки, таблицы и вообще удобно:
https://think-visualize.ru/tableau-to-superset-migration
Главное, что хотел донести — мы не стали просто копировать старые дашборды в новую платформу, а увидели в этом шанс навести порядок и полностью переосмыслить наш подход к созданию BI инструментов.
Вот что сделали:
1. Провели «генеральную уборку»:
Пересмотрели все существующие отчеты с аналитиками и бизнес-заказчиками и честно ответили на вопрос: «А что из этого действительно нужно?». Большую часть старых и неиспользуемых дашбордов мы просто оставили в прошлом.
2. Погрузились в бизнес и стали партнёрами:
Вместо того чтобы сразу строить графики, мы сфокусировались на задачах, которые должен решать каждый отчет. Это помогло нам создавать действительно полезные и глубокие дашборды, которые покрывают процессы, а не просто показывают красивые цифры.
3. Создали шаблоны:
Чтобы не изобретать велосипед каждый раз, мы разработали в Superset единые шаблоны. Это сильно ускорило нашу работу и сделало все отчеты консистентными.
В итоге этот вынужденный переезд стал крайне полезным проектом. Мы не просто сменили инструмент, а сделали наш BI более осмысленным и эффективным.
Надеюсь, наш опыт будет полезен и вам.
—————————————
Переходите в полную статью:
https://think-visualize.ru/tableau-to-superset-migration
Please open Telegram to view this post
VIEW IN TELEGRAM
5❤8
(почему мой заказчик мудак?)
Когда-нибудь такой вопрос может всплыть в голове. Делаешь дашборд, всё как попросили в задаче. Она даже по SMART. Сроки — чёткие. Метрики — расписаны.
Но на выходе:
- Не то хотели
- Надо добавить ещё разрезов
- Руководству не понравилось
И думаешь: "Ну как же они все достали...". А может быть проблема не в них?
Ты решаешь не ту задачу. Ищешь источники, строишь графики, но не понимаешь зачем вообще всё это нужно.
Это скользкая дорожка, потому что превращает тебя в интерфейс к БД, а не бизнес-партнёра. Люди-интерфейсы — первые под замену LLM моделями.
—————————————
(что ж делать?)
Собирать требования. На первый взгляд это сложный процесс, но пара задач и будет достаточно часовой встречи, чтобы всё это собрать
и превратить в качественный дата-продукт. Вот этапы:
1. Понять потребность
Это не «нужен график», а боль, страх, проблема бизнеса.
❌ MAU в разрезе по подпискам
✅ Платные пользователи отваливаются и мы не понимаем, что делать
2. Выявить бизнес-требования
Что будет делать заказчик, если цифры упадут?
Какие цели есть у продукта?
Какие решения примут по этим данным?
3. Выслушать (и фильтровать) хотелки заказчика
Они могут быть не связаны с реальной проблемой или закрывать её очень частично.
Ты должен помочь ему понять, что он хочет на самом деле.
4. Сформировать требования к решению
- Какие метрики?
- Какие срезы?
- Как часто обновлять?
- Кому и как раскатывать?
—————————————
(вывод)
Правильное погружение в задачу может решить много проблем: от выгорания и карьерного роста до разворота задач и превращение их в большие и интересные проекты.
—————————————
(пост — небольшое интро)
Полная статья с объяснением по этапам и примерами диалогов:
https://think-visualize.ru/principles-of-good-data-product-requirements
Пишите комментарии, отправляйте коллегам, ставьте сердечки и огонёчки, для меня это важно!
😀 😀 😀 😀 😀 😀 😀 😀
Когда-нибудь такой вопрос может всплыть в голове. Делаешь дашборд, всё как попросили в задаче. Она даже по SMART. Сроки — чёткие. Метрики — расписаны.
Но на выходе:
- Не то хотели
- Надо добавить ещё разрезов
- Руководству не понравилось
И думаешь: "Ну как же они все достали...". А может быть проблема не в них?
Ты решаешь не ту задачу. Ищешь источники, строишь графики, но не понимаешь зачем вообще всё это нужно.
Это скользкая дорожка, потому что превращает тебя в интерфейс к БД, а не бизнес-партнёра. Люди-интерфейсы — первые под замену LLM моделями.
—————————————
(что ж делать?)
Собирать требования. На первый взгляд это сложный процесс, но пара задач и будет достаточно часовой встречи, чтобы всё это собрать
и превратить в качественный дата-продукт. Вот этапы:
1. Понять потребность
Это не «нужен график», а боль, страх, проблема бизнеса.
❌ MAU в разрезе по подпискам
✅ Платные пользователи отваливаются и мы не понимаем, что делать
2. Выявить бизнес-требования
Что будет делать заказчик, если цифры упадут?
Какие цели есть у продукта?
Какие решения примут по этим данным?
3. Выслушать (и фильтровать) хотелки заказчика
Они могут быть не связаны с реальной проблемой или закрывать её очень частично.
Ты должен помочь ему понять, что он хочет на самом деле.
4. Сформировать требования к решению
- Какие метрики?
- Какие срезы?
- Как часто обновлять?
- Кому и как раскатывать?
—————————————
(вывод)
Правильное погружение в задачу может решить много проблем: от выгорания и карьерного роста до разворота задач и превращение их в большие и интересные проекты.
—————————————
(пост — небольшое интро)
Полная статья с объяснением по этапам и примерами диалогов:
https://think-visualize.ru/principles-of-good-data-product-requirements
Пишите комментарии, отправляйте коллегам, ставьте сердечки и огонёчки, для меня это важно!
Please open Telegram to view this post
VIEW IN TELEGRAM
Teletype
Почему мой заказчик мудак?
Если вы хотя бы раз задавались таким вопросом, потому что проделали работу в стол или в последний момент вам вносят большие правки...
9❤12