How to. Not to make FinDash for CFO
~2014 год (После 20 и 22 года предыдущие немного смешались, сорри). CIO приходит и говорит, блин, CFO хочет дэшик про наш финансовый портфель, все данные уже есть, ваще задача небольшая, давайте сделаем ему iPad красивый со всеми метриками по тому, где какие кредитные линии открыты, средние ставки, ну в общем прям чтобы было удобно! (Политика, все дела)
Я отвечаю - ну если с данными все ок, да, погрузимся в метрики, разберемся с сетевыми доступами, пусть будет 1 месяц. 🥲

- Пошли в блок фин контроля. оказалось, с данными вообще все плохо в ERP, никто не вдет нормально, с платежами не закрывают вовремя. То есть, получить фин состояние T-1 нереально, а W-1 можно.... в Excel..
- Сделали первую версию-прототип, на данных Excel, пошли пару недель к CFO
- Он не дурак, состоялся диалог:

- А Завтра данные обновлятся, когда транш пройдет?
- Не, тут с данными плохо
- А как так? а как же ERP?
- Ну финики не вносят, бухгалтера выравнивают раз в месяц =/
- То есть не в IT дело?
- Не
- Идите, исправляйте процессы вместе

- Спустя пару месяцев - данные полились, поняли, что частично криво в экселе считали, пересобрали датасет
- Сделали классный дэшик, даже оффлайн еще работал, вообще супер!
- на встрече с CFO:

- Молодцы, жаль, что через квартал, но прям хорошо полезно, правда есть одно но...
- Что такое?
- А можно вместо графиков вот тут и тут и вообще везде -- таблички

Через месяц компания отказалась от одной из самых бессмысленных и дорогих кредитных линий, в тч благодаря правильно посчитанным в итоге метрикам, А iPad со средними ставками CFO носил на встречу с банками, чтобы "давить" цифровизацией =)

Выводы:
- Everybody Lies
- Узнавайте цель и проблематику на берегу, что на самом деле нужно ЛПР
- 90% времени это данные, процессы, люди, 10 - рисование

Friday cry.
Цвета. Интересно, почему они решили инверсию цветов суши и моря сделать?🤯

+ Upd. хехе, сверху масштаб, а снизу приписка, что масштаб не соблюдён =)

Наконец! =)
Если честно, пока не выкатили API во внешний (по отношению к Yandex) мир, не мог с чистым сердцем сказать, что DataLens подойдет всем, раз уж Яндекс только на нем сидит 4 года. Вот теперь прямо могу сказать: в DataLens можно поднимать аналитику для любой компании с любым уровнем зрелости Data.

А Маша из Маркета в прошлом году тизерно уже рассказывала, сколько у нас внутри всяких автоматизаций вокруг API уже есть.

How to. Manipulate
Не видел такого еще =) Классика из серии "Не читайте советских газет"

Спасибо Паше, коллеге из Маркета!

ClickHouse What's New
Относительно регулярная рубрика - что нового в версиях ClickHouse для Использования в BI-read продуктах =)

25.12
- В проекциях можно задавать размер гранул! Это полезно, если проекции имеют большой размер строки(частый кейс с Agg полями)
(WITH SETTINGS index_granularity = 64)
- Минимизация чтения записей диска по скип индексу, если нужно ORDER BY LIMIN N по полю, по которому есть скип индекс - -60% времени
- Улучшение ленивого чтения с диска "когда нужно"
- Скип индексы поддерживают микс AND / OR логику
- НЕ ВЫДЕЛЯЕТСЯ память на колонки, которые есть только в WHERE/PREWHERE, но нет в колонках к использованию
- Из пункта вышел следует -> Улучшение скорости JOIN, так как ненужные блоки не читаются в JOIN табличку
- Новый способ изменения порядка JOIN - dpsize - такой же, как в Postges, перебирает все возможные комбинации и выбирает наилучший способ соединения.
-
26.1
- DISTINCT на LowCardinality работают х2 быстрее!

Блин, я же так и не провел вторую часть вебинара по оптимизации ClickHouse внутри BI, надо запланировать

How to. Make Mass Entering

В Tableau было из коробки: можно было встать в любой селектор и там cmd+v нажать - автоматом выбрал бы все значения из буфера. У нас пока не так, но есть вариант решения.

Массовый ввод из экселя большого количества значений нужен, чтобы SELECT был корректный в виде field in (a,b,c), для ClickHouse это влияет на производительность.
Пример

Friday Joke
Самое сложное в обосновании - это маркетинговые траты и реклама. Там прям сложно доказуема причинно-следственная связь.

Очень просто с онлайном и моделью CPC ( cost per click) и в целом с цифровым следом..

А что сделать с ТВ? Там адские бюджеты и сложно осязаемый эффект.

Знаю одну FMCG компанию, в которой есть правило: никогда не выключать в сезон рекламу. Несмотря на высочайшую узнаваемость бренда, постоянная подпитка нейронок потребителя требует постоянной рекламы. Но посчитать математикой косты на товар практически нереально, только размазать валово. 🤷‍♂

Внезапно, про ИИ, но не про кодинг, дату.
Сегодня на ковке обсуждали клинок, который принес один из учеников. Преподаватели не могли понять, что за клинок, к какому оружию был, даже к какой войне (1 или 2)
- Опус, что за клинок?
- Сложно сказать, пришли размеры и фотку ручки покрупнее, похоже на японский или Маузер
- Вот, размер 380-400
- Ну точно японский, а где нашли? Вообще, состояние не очень, пружину потеряли, крепления тоже (почувствовал себя на станции тех обслуживания), вообще, качество сборки не очень, как будто это окончание 2ой мировой, там были проблемы с производством
- где нашли не знаю, но вот еще фотка сзади
- о, точно японский, тут круглое крепление, проверь, радиус должен быть 15.5мм, если такой - точно японский

—
Берем штангенциркуль - 15.5мм

А ребята принесли учебник, энциклопедии, не могли определиться..
Каждый раз после таких ситуаций думаю, что надо пробовать ИИ использовать в совершенно разных задачах, а не только в тех, которые кажутся очевидными.

Экстракты
Но не те, о которых вы подумали =)
Читаю роман Алексея Иванова о временах Петра I, там диалог:
• Подготовить екстракт или так прочитаете?
• Давай екстракт! 😳

Пошел разбираться. Экстракт - выжимка документа для первых лиц, которым нужно принимать множество решений, а им приносят горы бумаг по разным делам.

Давайте теперь спроецируем это на аналитику. Каким бы большим ни было исследование, сколько бы ни хотелось красивых графиков с инсайтами - с точки зрения бизнеса подача информации должна быть сжатой, позволяющей быстро принять решение. В дашборде мы называем эту вкладку Overview (Может, называть ее Екстракт c 1 марта?), на которой надо оставлять только самые важные метрики и минимальный набор фильтров.

Иванов прям очень нравится весь, где исторические события

Friday Joke
Лучший дашборд - отсутствие дашборда

LineCHeART
⚠️Анимация в BI это очень редко приносящая пользу фича, то есть, вообще не для бизнеса, правда!

Просто хотел понять, сколько времени у меня и AI займет это сделать внутри BI , как будто 10 минут =)
С праздником!

Привет!
Понял, что много чего интересного есть еще рассказать про ускорение ClickHouse в BI. Но хочется уточнить у вас, как лучше усваивается контент (будет голосовалка ниже)

Если что, вот ссылка на ч.1

Friday Maslennizza Joke
Да, с глютеном, свободная от ограничений
Кто сколько блинов съел?
Я - 3 раза, штук 10 уже =)

How to. Clickhouse Merge()
С началом весны!
Как создавать Merge-таблички писал тут в виде статьи, а зачем оно нужно в BI с небольшими примерами записал в видосике

PS Пойдем в серию постов, по итогам голосования

10 марта в 12:00 вместе с Сашей Баловым из Магнита буду рассказывать про использование API DataLens и DataLens, использующий API =)

Сегодня прогонялись, получается бодрый контент и крутые примеры использования, приходите позадавать вопросы и попробовать, если вдруг еще нет. Это прям game changer, приближающий GenBI

Хорошее начало короткой недели!

How to. ClickHouse Projections
Простой способ ускорить самые популярные метрики и разрезы дэша - проекции.

Проекции физически хранят предпосчитанные метрики на диске, за ними не надо следить: они считаются автоматически при обновлении таблички или какой-то партиции, и позволяют вам прилично снизить нагрузку на железо.

Friday Fun
Ну, во-первых, тут про ClickHouse,
во-вторых, получилось прям весело и свежо — я такое впервые вижу,
В третьих, в каждой шутке есть доля шутки

Посмотрите "Техно на прокачку" в конце рабочего дня, имхо, получился топчик

Ссылочки для всех:
YouTube
RUTUBE
VK

Sankey + barchart - полезно!
Я не большой любитель Sankey, но тут попросили друзья помочь сделать шаблон и я понял, что, если там на точке еще добавить барчарты - становится и полезно и "красиво"

Данные - как люди меняют виды спорта весной и осенью, ИИ прошла с 20 сайтов, посвященных спорту, чтобы попытаться "не соврать" относительно пропорций — впервые так использовал ИИшку