Friday cry.
Цвета. Интересно, почему они решили инверсию цветов суши и моря сделать?🤯

+ Upd. хехе, сверху масштаб, а снизу приписка, что масштаб не соблюдён =)

Наконец! =)
Если честно, пока не выкатили API во внешний (по отношению к Yandex) мир, не мог с чистым сердцем сказать, что DataLens подойдет всем, раз уж Яндекс только на нем сидит 4 года. Вот теперь прямо могу сказать: в DataLens можно поднимать аналитику для любой компании с любым уровнем зрелости Data.

А Маша из Маркета в прошлом году тизерно уже рассказывала, сколько у нас внутри всяких автоматизаций вокруг API уже есть.

How to. Manipulate
Не видел такого еще =) Классика из серии "Не читайте советских газет"

Спасибо Паше, коллеге из Маркета!

ClickHouse What's New
Относительно регулярная рубрика - что нового в версиях ClickHouse для Использования в BI-read продуктах =)

25.12
- В проекциях можно задавать размер гранул! Это полезно, если проекции имеют большой размер строки(частый кейс с Agg полями)
(WITH SETTINGS index_granularity = 64)
- Минимизация чтения записей диска по скип индексу, если нужно ORDER BY LIMIN N по полю, по которому есть скип индекс - -60% времени
- Улучшение ленивого чтения с диска "когда нужно"
- Скип индексы поддерживают микс AND / OR логику
- НЕ ВЫДЕЛЯЕТСЯ память на колонки, которые есть только в WHERE/PREWHERE, но нет в колонках к использованию
- Из пункта вышел следует -> Улучшение скорости JOIN, так как ненужные блоки не читаются в JOIN табличку
- Новый способ изменения порядка JOIN - dpsize - такой же, как в Postges, перебирает все возможные комбинации и выбирает наилучший способ соединения.
-
26.1
- DISTINCT на LowCardinality работают х2 быстрее!

Блин, я же так и не провел вторую часть вебинара по оптимизации ClickHouse внутри BI, надо запланировать

How to. Make Mass Entering

В Tableau было из коробки: можно было встать в любой селектор и там cmd+v нажать - автоматом выбрал бы все значения из буфера. У нас пока не так, но есть вариант решения.

Массовый ввод из экселя большого количества значений нужен, чтобы SELECT был корректный в виде field in (a,b,c), для ClickHouse это влияет на производительность.
Пример

Friday Joke
Самое сложное в обосновании - это маркетинговые траты и реклама. Там прям сложно доказуема причинно-следственная связь.

Очень просто с онлайном и моделью CPC ( cost per click) и в целом с цифровым следом..

А что сделать с ТВ? Там адские бюджеты и сложно осязаемый эффект.

Знаю одну FMCG компанию, в которой есть правило: никогда не выключать в сезон рекламу. Несмотря на высочайшую узнаваемость бренда, постоянная подпитка нейронок потребителя требует постоянной рекламы. Но посчитать математикой косты на товар практически нереально, только размазать валово. 🤷‍♂

Внезапно, про ИИ, но не про кодинг, дату.
Сегодня на ковке обсуждали клинок, который принес один из учеников. Преподаватели не могли понять, что за клинок, к какому оружию был, даже к какой войне (1 или 2)
- Опус, что за клинок?
- Сложно сказать, пришли размеры и фотку ручки покрупнее, похоже на японский или Маузер
- Вот, размер 380-400
- Ну точно японский, а где нашли? Вообще, состояние не очень, пружину потеряли, крепления тоже (почувствовал себя на станции тех обслуживания), вообще, качество сборки не очень, как будто это окончание 2ой мировой, там были проблемы с производством
- где нашли не знаю, но вот еще фотка сзади
- о, точно японский, тут круглое крепление, проверь, радиус должен быть 15.5мм, если такой - точно японский

—
Берем штангенциркуль - 15.5мм

А ребята принесли учебник, энциклопедии, не могли определиться..
Каждый раз после таких ситуаций думаю, что надо пробовать ИИ использовать в совершенно разных задачах, а не только в тех, которые кажутся очевидными.

Экстракты
Но не те, о которых вы подумали =)
Читаю роман Алексея Иванова о временах Петра I, там диалог:
• Подготовить екстракт или так прочитаете?
• Давай екстракт! 😳

Пошел разбираться. Экстракт - выжимка документа для первых лиц, которым нужно принимать множество решений, а им приносят горы бумаг по разным делам.

Давайте теперь спроецируем это на аналитику. Каким бы большим ни было исследование, сколько бы ни хотелось красивых графиков с инсайтами - с точки зрения бизнеса подача информации должна быть сжатой, позволяющей быстро принять решение. В дашборде мы называем эту вкладку Overview (Может, называть ее Екстракт c 1 марта?), на которой надо оставлять только самые важные метрики и минимальный набор фильтров.

Иванов прям очень нравится весь, где исторические события

Friday Joke
Лучший дашборд - отсутствие дашборда

LineCHeART
⚠️Анимация в BI это очень редко приносящая пользу фича, то есть, вообще не для бизнеса, правда!

Просто хотел понять, сколько времени у меня и AI займет это сделать внутри BI , как будто 10 минут =)
С праздником!

Привет!
Понял, что много чего интересного есть еще рассказать про ускорение ClickHouse в BI. Но хочется уточнить у вас, как лучше усваивается контент (будет голосовалка ниже)

Если что, вот ссылка на ч.1

Friday Maslennizza Joke
Да, с глютеном, свободная от ограничений
Кто сколько блинов съел?
Я - 3 раза, штук 10 уже =)

How to. Clickhouse Merge()
С началом весны!
Как создавать Merge-таблички писал тут в виде статьи, а зачем оно нужно в BI с небольшими примерами записал в видосике

PS Пойдем в серию постов, по итогам голосования

10 марта в 12:00 вместе с Сашей Баловым из Магнита буду рассказывать про использование API DataLens и DataLens, использующий API =)

Сегодня прогонялись, получается бодрый контент и крутые примеры использования, приходите позадавать вопросы и попробовать, если вдруг еще нет. Это прям game changer, приближающий GenBI

Хорошее начало короткой недели!

How to. ClickHouse Projections
Простой способ ускорить самые популярные метрики и разрезы дэша - проекции.

Проекции физически хранят предпосчитанные метрики на диске, за ними не надо следить: они считаются автоматически при обновлении таблички или какой-то партиции, и позволяют вам прилично снизить нагрузку на железо.

Friday Fun
Ну, во-первых, тут про ClickHouse,
во-вторых, получилось прям весело и свежо — я такое впервые вижу,
В третьих, в каждой шутке есть доля шутки

Посмотрите "Техно на прокачку" в конце рабочего дня, имхо, получился топчик

Ссылочки для всех:
YouTube
RUTUBE
VK

Sankey + barchart - полезно!
Я не большой любитель Sankey, но тут попросили друзья помочь сделать шаблон и я понял, что, если там на точке еще добавить барчарты - становится и полезно и "красиво"

Данные - как люди меняют виды спорта весной и осенью, ИИ прошла с 20 сайтов, посвященных спорту, чтобы попытаться "не соврать" относительно пропорций — впервые так использовал ИИшку