📌 Аналитический департамент. Кто?

О том, что делает продуктовый аналитик мы уже говорили. Давай сделаем шаг назад и посмотрим где эта фантастическая тварь вообще обитает. Как устроен, откуда вырос и как развивается аналитический департамент.

Сразу поясню, что IT — штука довольно гибкая, и у тебя может возникнуть острая боль в нижней части спины, потому что вот конкретно у тебя в компании не так. Это нормально. Но всё же есть относительно общая универсальная схема.

🌸 Ноги это дела всегда растут из маркетинга. В какой-то момент MVP стартапа запускается и появляется потребность обкатать его на реальных юзерах. Маркетологи создают рекламные кампании и зарождают первый аналитический артефакт — разметку. Их цель глобально в повышении стоимости потраченных денег, а локально в оценке эффективности кампаний и источников траффика, поэтому глубокую продуктовую разметку они не делают. Эта история скорее про UTM-метки и ключевые конверсии.

Тут подрубаются коробочные решения типа GA, AppsFlyer, AppAnnie и т.д., всё что умеет считать инсталлы и базовые ивенты.

🌸 Если MVP с треском не провалился, можно озадачиться повышением качества точек входа в продукт — рекламных лендосов и всего околомаркетингового. Это самая простая точка роста на стартовом этапе развития. Но т.к. маркетологам на это тупо не хватает времени, то в команде может появиться первый веб- (или маркетинговый) аналитик, который начинает крутить лендосы, чтобы повысить конверсии в регу.

Он притянет GTM, GA, Firebase, AppMetrica — кароч всякое для веб-аналитики.

🌸 Бизнес потихоньку растёт, бэклог активно наполняется продуктовыми задачами из головы ведущих лиц бизнеса и в целом всё хорошо. Вот тут уже появляется потребность в оценке эффективности самого продукта. Но прежде чем начинать его анализировать, нужно подготовить, так сказать, рабочее место. Идеальный момент чтобы нанять дата-инженера и инвестировать в будущее. Это важный ключевой момент в развитии аналитики. Задача инженера собрать все источники данных, которые уже нагенерили предыдущие ребята, и построить единую платформу для работы с данными.

Сквозная аналитика, warehouse, dataLake — вот это набор слов отсюда. Тут инфра сильно увеличивается на сервера, оркестраторы и всякую инженерную магию.

🌸 Когда инфраструктура более-менее подготовлена, можно расширяться на аналитиков — дата- для отладки качества данных, подхвата адхоков и построения всякой базы типа начальных BI + продуктового, для подготовки почвы под дальнейшую работу по улучшению продукта. Тут мы обычно начинаем с разметки событийки и отладки того, как это всё работает.

Подключаются user-based трекеры типа Segment (или пишутся свои), настраиваются ETL-процессы, ставится какая-то простая SQL-based BI-система вроде Redash или Superset.

🌸 В целом, базовый набор готов, параллельно с этими этапами (где-то ближе к началу) прикручиваем CDO, чтобы питчить идеи в C-level, выбивать бюджеты и содержать весь этот зоопарк.

🌸 С ростом объёмов обрабатываемых данных, бизнес начинает смотреть в сторону более узких специалистов, тут появляется BI-аналитик, который забирает на себя витрины и дашборды, параллельно плюясь, матерясь и переделывая то что уже наворотили.

Redash на этом этапе эволюционирует в какой-нибудь более сложный инструмент вроде QlickSense, Power BI или Tableau.

🌸 Когда бизнес уже основательно разросся, неизбежно появляются задачи предсказаний и персонализации. Так в отделе появляется элита в лице датасайентистов.

Как-то так это устроено. Конечно, это всё схематично, на самом деле каждый чел из списка это скорее мини-команда со своим тимлидом и процессами, но логика мсштабирования примерно такая.

Привет, рассказываю про планы на бложик 🙂

Вы, наверное, могли заметить, что я почти месяц где-то пропадал. Это, во многом было связано с лёгкой усталостью от ведения канала. Я отдохнул, подумал что с этим делать и решил что-то поменять, так сказать, сделать следующий шаг и поставить таки эту телегу на рельсы монетизации. К тому же, каналу уже скоро год, пора бы.

Но все предложения рекламы, которые мне летят, это в основном какой-то скам типа “курс с нуля до про за 2 часа”, “войти в айти на 300к без опыта и навыков” и тому подобное. А я вас достаточно люблю чтобы не спамить такое 😘

Поэтому главный апдейт, который уже был заспойлерен — планирую раскатить Boosty со всякими платными подписочками, если вы вдруг хотите меня поддержать.

Нет, этот канал туда не переезжает, это другое.

Что пока планируется там:

✨ Большие посты. Каждый второй пост для телеги получается слишком объёмным и не влезает по лимитам, поэтому приходится сокращать половину. На бусти такой проблемы нет, т.к. формат больше статейный. Ну и картинки в середину текста можно ставить. Там уже дозревает гайд по SQL для самых маленьких и кулстори про систему приоритезации задач (с кодом и демкой).

✨ Эксклюзивы. Часть постов в телегу дублировать я не буду, а то вы не подпишетесь.

✨ Вопросник. Док, куда все желающие смогут закинуть свой вопрос (или апнуть чужой), а как что-то накапает, поразбираем в какой-нибудь тематической рубрике. Такое условно-бесплатное групповое менторство 💅

✨ Разборы резюмешек. Это скорее приватная история, мы с HR поразгоняем твоё CV с разных точек зрения.

✨ Разборы твоих тестовых задачек. Я не пропагандирую волчистость, поэтому решать за тебя не буду, но помогу разобраться что от тебя хотят на выходе, подскажу план действий с запросом и методом анализа.

✨ Разбор реальных задачек. Без настоящей инфы, конечно, но максимально приближенно к типовым в разных доменных областях. Посмотреть чем занимается аналитик в жизни, а не на курсах 🙂

Ну и ещё несколько идей для всяких рубрик. Когда ты чувствуешь отдачу на карточке, это мотивирует делать что-то регулярнее и качественнее.

Что останется тут:

✨ В общем виде всё останется как и было — большинство постов с бусти из первого тарифа в урезанной версии (точнее в обычной для этого канала, это там расширено) пойдут и сюда.

✨ Больше коротких постов, как в телеге и задумано дизайном. Что-то ближе к твиттеру.

Что будет (наверное) ещё:

✨ Аккуратно поглядываем в сторону видео-формата, может и до ютуба и (прости господи) вк-видео докатимся. Смотря как бусти пойдёт 💅

✨ Поэкспериментируем с дизайном. Пора бы уже и визуал какой-то более целостный накатывать.

Как вы могли понять, мой продюсер тоже отдохнул 😀 Кароч планов много, будем потихонечку развивать это всё.

Приветики, а помните в прошлом году в мире многие страны тестировали 4-х дневную рабочую неделю? Они теперь периодически постят результаты, и там прям прекрасное 🤩

Вот из недавнего по Великобритании:

🔵Большинство участвующих компаний в Великобритании сделали эту политику постоянной. Из 61 компании 54 (89%) продолжают придерживаться этого графика, а 31 компания (51%) официально перешли на четырехдневную неделю.

🔵82% компаний отметили улучшение благополучия сотрудников, а 50% — снижение текучести кадров. Позитивное влияние на организацию отметили все опрошенные руководители, причем более половины описали его как «очень положительное».

🔵Основные улучшения наблюдались в work-life балансе и физическом / психическом здоровье.

🔵Там даже зафиксировали улучшение качества воздуха. Видимо, потому что все душнилы остались по домам.

Ждём когда эта практика докатится и до нас? 🍿

📌 Часть 2/2

🔖 Собственно, часть с дизайном. АБ-направление, как правило, это или отдельный подотдел внутри аналитического, или просто сайдквест аналитиков. А задачи им, обычно, поставляют заказчики в лице менеджеров, продактов, дизайнеров и т.д. Т.е. нужна какая-то общая точка доступа, чтобы они могли записывать свои идеи, планировать график и тд. Из этой логики выросли раздел “Гипотезы”, “Планирование”, “Оценка выборки” которые закрывают этап подготовки экспа.

🔖 Анализатор это итак понятно, тут особо не буду вдаваться в подробности, можно доку на сайте почитать, если интересно. Лучше расскажу как мы это дело связывали с контуром клиента.

Вообще есть 3 метода поставки данных в нашу систему.

1️⃣ Самый простой это просто загрузить CSV. Файл хранится локально на время сесии, закрыл вкладку - файл выпилился.

2️⃣ Второй, это настройка загрузки по АПИ по графику, условно вы складываете свои данные на наш защищенный сервак, они по пути шифруются и лежат пердят там 2 недели, потом автоматически выпиливаются. Но у вас есть прямой доступ к своей папке, так что можно удалить руками с нашего сервака когда вздумается. Метод простой, но жёсткие безопасники будут ругаться, если вы супер секретные ребята.

3️⃣ И третий, самый секьюрный, это развернуть раннер в своём контуре, движок сидит у вас, за данными ходит к вам, считает у вас, и кидает в облако только всякие доверительные интервалы да p-value, чтобы красиво было. Там просто докер-образ, который у себя разворачиваете, логируете и смотрите что уходит.

При настройке 2-м или 3-м методом, автоматически по графику обновления ваших данных катаются всякие последовательные тестирования и прогнозы куда вообще катится эксп и стоит ли его дожимать. Ну и SRM на лету чекает, чтобы быть уверенным что там нормально сплитуется всё.

И ещё потом накрутили по мелочи всякой косметики, типа раздел для заметок, библиотеку метрик для дизайнов, AI на базе GPT для интерпретации результатов человеческим языком, аггрегацию статистики для понимания куда вообще катятся наши эксперименты, где мы умеем, а где не особо, и пока простенький конфигуратор сообщений в корп мессенджеры, типа дайджестов для пингов команды, типа “На этой неделе катим вот это, а на прошлой завершились вот эти”.

Доступ ограничен ключами, сейчас подумываем о разделении корпоративных (платных, для работы с командой) и фри-прайвэт чисто для себя. Чтобы потыкаться надо запросить ключ через форму баг-фиксов (пока так, да).

Заточен под европейский рыночек, т.к. там сервак в Германии и страйп и юр лицо забугорное, но ру локализация имеется.

Ну и собственно, зацените что получилось, тыкайте, в РФ вроде работает 🙃

https://ab-labz.com/ru/

📌 Про оценку направления экспериментов, 1/4

Я как-то недавно выступал на одной конфе, рассказывал про эксперименты (а про что ж ещё на конфах рассказывать), но не про духоту всякую, а про культуру, скорее. И там значит был у меня блок про то, как оценивать направление целиком. Понятное дело, что правильный ответ давно известен — “как карта ляжет, и хорошо если вообще хоть как-то оцениваете”, — но именно где-то там я вообще задался этим вопросом с точки зрения минимизации информации и одновременно её целостности.

Кароч суть да дело, накидал я вот такую систему, которая, вроде как, закрывает основные вопросы. Собственно тут ей и поделюсь.

Что вообще такое направление экспериментов под капотом? Ну глобально это что-то типа команды, со своими процессами, регламентами и нормативами. Каждая команда может быть разложена на 3 условных уровня:

🟡 Операционный (как хорошо вообще сама машина едет),

🟡 Продуктовый (а что именно эта машина везёт, куда и зачем)

🟡И бизнесовый (а по чём там литр солярки сейчас?).

И вот исходя из этой концепции и начинаем накидывать идеи.

📌 2/4, Операционный уровень. Эта часть про то, насколько оптимально расходуются ресурсы. В контексте экспериментальной бригады я бы выделил 3 ключевых показателя:

✅ Утилизация слотов — насколько вообще у нас забит график тестирований, нет ли простоя или завала. Не проводим ли мы 2 экспа в квартал, при пропускной способности, например, 60 экспов за этот же период.

✅ Тех. качество — доля экспов, которые отработали качественно технически, не провалились по srm, не пересоздавались потому что забыли что-то прикрутить в тестовый вариант и т.д.

✅ Достаточность выборки — тут про долю экспов, которые идут в своём темпе, мы их не закрываем раньше срока и не передерживаем.

В совокупности по этим показателям мы можем ответить на вопрос, работает ли наша машина вообще, и насколько хорошо с т.з. операционки.