Интернет-аналитика
29.5K subscribers
1.39K photos
23 videos
236 files
1.3K links
Конференция по Product science - matemarketing.ru/aha 6 июня 2024 года

Все вопросы - @a_nikushin
Download Telegram
Пожалуй, буду выкладывать сюда заметки, которые пишу по итогам тредов в чате аналитиков.

Возник вопрос о поиске хороших гайдов по дизайну метрик.

Сразу порекомендовали
1. Towards universal event analytics - building an event grammar от Snowplow (хотя это руководство больше про ивенты, чем про метрики)
2. Guide to product metrics от Mixpanel
3. Designing and evaluating metrics
4. Отслеживание роста продукта на длинном периоде и подходы к оценке устойчивости собраны в статье Data informed product building (главы 1-5) из блога Sequoia

Одна из целей дизайна метрик - определение NSM (North Star Metric) - главной стратегической метрики. Поэтому, был упомянут чеклист для NSM от Amplitude c оговоркой, что он довольно абстрактный.

1. It expresses value. We can see why it matters to customers.
2. It represents vision and strategy. Our company’s product and business
strategy are reflected in it.
3. It’s a leading indicator of success. It predicts future results, rather than reflecting past results.
4. It’s actionable. We can take action to influence it.
5. It’s understandable. It’s framed in plain language that non-technical
partners can understand.
6. It’s measurable. We can instrument our products to track it.
7. It’s not a vanity metric. When it changes we can be confident that the change is meaningful and valuable, rather than being something that doesn’t actually predict long-term success—even if it makes the team feel good about itself.

Для погружения в проблематику подходов к определению NSM, можно посмотреть лекцию Андрея Пушвинцева из Miro с прошлого Матемаркетинга (необходима регистрация), где он рассказывает о процессе внедрения NSM-framework для фокусирования компании на ценности для пользователей, а не на деньгах.

Важное замечание к ссылкам выше: любой гайд, в котором нет руководства про проверке метрик на надежность и чувствительность, не является полноценным и поэтому подход к имплементации и внедрению ”в лоб” довольно опасен и может скрывать множество подводных камней. О том, как искать прокси-метрики в продуктах хорошо рассказано здесь. При этом, важно учитывать, что чувствительно метрик и чувствительность KPI не совсем одно и тоже - с KPI сложнее и чувствительность низкая. Для погружения в тему можно изучить руководство по Measuring Metrics.

@internetanalytics
Digital-агентство Adventum запускает новую услугу по защите аналитики от санкций

Из России так или иначе ушли Tableau, Power BI. Под угрозой продукты Google. Важно оперативно подстроить свою аналитику под изменения, чтобы не потерять данные.

Специалисты Adventum помогают компаниям настроить аналитику на российских и open source сервисах.

Так вашу аналитику не коснутся санкции, и у вас всегда будет доступ к данным для анализа маркетинга и поиска точек роста.

Оставьте заявку на сайте, чтобы обсудить настройку аналитики на альтернативных сервисах: https://analytics.adventum.ru/nastroika-analitiki
Интернет-аналитика
Пожалуй, буду выкладывать сюда заметки, которые пишу по итогам тредов в чате аналитиков. Возник вопрос о поиске хороших гайдов по дизайну метрик. Сразу порекомендовали 1. Towards universal event analytics - building an event grammar от Snowplow (хотя это…
Ключевые свойства метрик. Продолжаем заметки из чата.

Ключевые свойства метрик какие? Верно - Направленность, Чувствительность Интерпретируемость Надежность

Разбираемся что всё это значит.

Направленность. Хорошая метрика не должна иметь расхождений с известными вердиктами экспериментов. То есть, хорошая метрика обязана иметь ясную интерпретацию направления ее изменения. И это является одним из ключевых критериев при выборе метрики, потому что без этого свойства аналитик не может принимать правильные решения об успешности или неуспешности тестируемого обновления продукта или веб-сервиса.
Соответственно, сонаправленость - это когда эффект одинаков по знаку и пропорционален (аддиктивно/мультипликативно [1]) по размеру.

Чувствительность - способность метрики показывать стат. значимую разницу в случаях, когда есть разница между контролем и экспериментом.
Чем выше чувствительность, тем меньшие изменения могут быть замечены и тем меньший размер выборки может быть использован

Интерпретируемость — это свойство метрики, которое показывает, что структуру этой метрики может объяснить человек. При этом структура метрики не должна противоречить данным, на которых эта метрика основана. То есть интерпретируемость это про то, что метрике можно доверять.

Надежность – отсутствие у метрики известных уязвимостей. Как построить надежную метрику? Проанализировать, что в метрике зависит от юзера, а что от самого сервиса, руководствуясь принципом «Решение за пользователем». То есть, важно чтобы сервис мог воздействовать на метрику только через поведение пользователя и только через качество сервиса.

Пример. Рассмотрим среднее время, которое пользователь тратит на покупки в интернет-магазине:
- если рассматривать только «удобство сайта», то метрика надежна
- если сравнивать товарный ассортимент, то метрика манипулируема увеличением/уменьшением ассортимента.

В математическом смысле
Надежность = 1 – вероятность ошибки первого рода [2].

Нередки случаи, когда команда вырастила метрику на какое-то количество процентных пунктов, но при разложении этой метрики, на метрики, которые лучше проксируют и/или отсекают наличие статистически значимых изменений, эффект не наблюдается. Таким образом, получается что работа была проделана впустую, а исходная метрика была ненадежной.

Прокси-метрику следует искать именно через направленность, так как способы поиска прокси-метрики, например, через корреляцию - спорные. При этом, важно различать высокочувствительные и низкочувствительные метрики. Для прокси низкочувствительных метрик вполне можно использовать данные корреляции t-статистик [3]

Допматериалы:
- Как строить метрики https://youtu.be/-e3PqKqG2CU
- Как искать прокси метрики в продуктах https://youtu.be/fSRKOr3L6AI
- Мануал по измерениям https://exp-platform.com/Documents/2016CIKM_MeasuringMetrics.pdf

Уточнения и ссылки:

1. Модели, где временной ряд представлен в виде суммы перечисленных компонентов называются аддитивными, если в виде произведения – мультипликативными моделями.

+ несколько хороших учебных курсов (бесплатных) по теории временных рядов:
а) https://univer-nn.ru/ekonometrika/modeli-vremennyx-ryadov-additivnaya-i-multiplikativnaya-model/
б) https://machinelearningmastery.com/time-series-forecasting-python-mini-course/
в) https://www.coursera.org/learn/tensorflow-sequences-time-series-and-prediction/lecture/mD0yM/time-series-examples
г) https://www.machinelearningplus.com/time-series/time-series-analysis-python/

2. Ошибка первого рода (α-ошибка, ложноположительное заключение) — ситуация, когда отвергнута верная нулевая гипотеза (об отсутствии связи между явлениями или искомого эффекта). Нулевая гипотеза, как мы все знаем, принимаемое по умолчанию предположение о том, что не существует связи между двумя наблюдаемыми событиями.

3. t-статистика - отношение оценки коэффициента Стьюдента к его стандартной ошибке


@internetanalytics
Ситуация на российском рынке интернет-рекламы круто изменилась. Привычные инструменты оказались недоступны, — часть аудитории и бюджетов перетекают в работающие системы: Яндекс Директ, myTarget, Реклама в ВК. А это значит, что рынку понадобятся специалисты, которые умеют работать со всеми этими каналами сразу.

Яндекс Практикум запускает курс «Трафик-менеджер»‎, который за 4 месяца выпускает универсальных специалистов по работе с рекламой в интернете. Модули написаны на основе курсов по таргетированной и контекстной рекламе, но адаптированы к новой реальности.

Курс подойдёт и новичкам, и опытным специалистам по рекламе. Освойте актуальные для России рекламные инструменты с Практикумом.

На курсе студенты научатся:
— запускать таргетированную и контекстную рекламу;
— управлять рекламным трафиком;
— составлять сквозную отчётность по всем источникам;
— формулировать гипотезы роста;
— анализировать и оптимизировать рекламные кампании, чтобы запускать эффективную рекламу и не расходовать бюджет впустую.

Начните бесплатную вводную часть, чтобы познакомиться с курсом. Если решите продолжать учиться — по промокоду TRAFMNG можно получить 20% скидки на оплату.
Вчера был день рождения Рунета. 28 лет. Хочется с’острить, что Рунет чуть-чуть было не вошел в ”клуб 27”, но что-то как-то не время для шуток.

Так вот, чтобы понять что это за зверь такой - Рунет - очень важно посмотреть мини-сериал о зарождении Рунета. Это 7 серий о том, как в России появился интернет, о создании Rambler и его конкуренции с «Яндексом», о Мейлру, Юрии Мильнере и Павле Дурове, о смерти ЖЖ и расцвете «фабрики троллей», о разгоне «Ленты.ру» и уголовных делах за экстремизм. В общем, это прекрасно снято еще пару лет назад, но не утратило своей актуальности.

Ссылка на плейлист в YouTube

В одной из последний серий есть прекрасная речь (3 минуты) Димы Думика @dumik. Два года назад она невероятно сильно срезонировала во мне и не утратила своей актуальности сегодня
OMD OM провели исследование потребительского отношения к финансовому кризису, медиаканалам и рекламе в реалиях нашего нового времени.

Опросили 454 респондента в возрасте от 18 до 55 лет в период 25−31 марта 2022 года и выяснили, как россияне реагируют на экономические новые реалии:

• Более 50% опрошенных ожидают ухудшения в экономике, 28% - верят в скорое восстановление. И только 20% считают, что их уровень жизни улучшится
• Россияне считают, что скорее всего страну ждёт безработица и рост цен на товары и услуги. В дефицит верят 49% опрошенных
• Одно из наиболее вероятных событий по мнению опрошенных - рост количества российских товаров, а также отечественного производства в продовольственной сфере
• Улучшение ситуации, по мнению 31% населения, наступит не раньше чем до конца года
• Потребители испытывают высокое доверие к банкам: 62% считают счет в банке лучшим способом хранения сбережений
• Потребители, опасаясь инфляции закупились впрок
• Наблюдается снижение офлайн-покупок — потребители перемещаются в онлайн после спада ажиотажного спроса. Онлайн впервые сравнялся с офлайном.

Полная презентация

Взято здесь @omdomgroup_news
25 миллионов долларов в год тратит на обеспечение личной безопасности Марк Цукерберг

@internetanalytics
Forwarded from Sostav
Бизнес в СНГ тратит на маркетинг 15% от оборота — к такому выводу пришли аналитики из Coffee Analytics совместно с представителями платформы Mindbox, разработчика сервиса веб-аналитики Calltouch и конференции «Матемаркетинг».

В выборку исследования вошли 150 компаний из разных отраслей. Подробнее 👇

http://amp.gs/jlmUc
App_Trends_2022.pdf
1.3 MB
Новый отчёт Mobile App Trends 2022

Внутри: данные о потребительских привычках для fintech, e-commerce и gaming

@internetanalytics
Интернет-аналитика
App_Trends_2022.pdf
Подробности: отчёт по мобильным приложениям от Adjust.

Честно говоря, я не знаю как относиться к данным за прошлый год в настоящих условиях. Теперь многое иначе.


После активного роста использования приложений в 2020, 2021 вызывал опасения, но практики использования сохранились и даже выросли.

Главные итоги 2021:
1. Общий тренд позитивный: скачиваемость растёт, за 2021 Fintech вырос на 35%, игровая индустрия — на 32% и e-com на 12%.
2. Приложения для торговли акциями и криптовалютой хоть и составляют всего 7% и 2% от установок, но содержат 17% и 6% от всех сессий и растут в использовании.
3. Среди игр по скачиваниям лидируют гиперказуальные (27%), а самое большое число сессий (30%) составляют экшены.
4. Приложения маркетплейсов имеют лучший ретеншн в e-com: 27% в 1 день и 10% в 30 день.

Более подробные бенчмарки:
Fintech
Интерес к инвестициям вырос в 2021, большую роль здесь сыграли мемные валюты Dogecoin и Shiba Inu, NFT и Ethereum, которые массово привлекли интернет-пользователей в инвестиции. Общий ретеншн упал с 25% в 2020 до 23% в 2021 в первый день, но длина сессии стабильно растёт. Отчасти благодаря крипте: платежные и банковские системы сохраняют 4-6 минут в использовании, в то время как в 2021 время, проводимое в приложениях для криптоторговли, выросло почти в 2 раза с 8 до почти 16 минут.

E-commerce
И так выросший за время локдауна в 2020 году e-com в 2021 набрал еще 12% YoY по скачиваниям приложений. Цифра, может, и небольшая, но вполне положительная как продолжение тренда 2020. Платные установки продолжают постепенно уступать нишу органическим, возможно, сейчас есть смысл снова вводить рекламные кампании на фоне снижающейся конкуренции. Ретеншн, так же как и в финтеке, упал с 25% до 19% для первого дня, для маркетплейсов и шопинговых приложений он по сути одинаковый. Сессии по длине растут на 15% за год, а число сессий в день упало почти до 1,5. Выручка тоже растёт, скачки были замечены в ноябре-декабре 2020 и апреле-мае 2021.

Гейминг
После длительного полугодового спада уровня скачиваний мобильных игр во второй половине 2020, в марте 2021 они резко возрасли и в течение года сохраняли хорошие темпы роста, с увеличением на 32% YoY. Лидеры рынка в 2021 — гиперказуальные (27%), экшн (17%) и головоломки (11%). Очень большие отличия в соотношении платных и органических скачиваний по жанрам: гиперказуальные игры дошли до соотношения 3,1/1, в то время как средний показатель по рынку — 0,68/1. Ретеншн за год вырос для первой недели и упал для всего остального периода, видимо, произошла смена игровых привычек. Самый высокий уровень ретеншн у спортивного жанра. Длина сессий не выросла, только на 2% YoY, и количество сессий в день тоже не поменялось значительно.
Да, Илон Маск купил Twitter.

Меня уже давно вводила в какой-то ступор и благоговение мысль о том, что мы живем в такое время, когда человек может основать компанию, продать ее, получить деньги, на эти деньги построить ракету и улететь в космос, а потом ещё и вернуться из космоса вместе с ракетой. Это я сейчас про общую ситуацию с Маском, Бренсоном, Безосом.

Маск, кроме всего прочего, строит Starlink - глобальную спутниковую сеть, глобального оператора связи. Всем абонентам этой сети нужно будет читать новости. Twitter здесь ой как пригодится.

Цукерберг сколько угодно может мечтать о метавселенных, в то время как Маск создает что-то похожее на реальное осязаемое будущее. Он умеет делать электричество (SolarCity), электрические авто (Tesla), чаще всех летает в космос (SpaceX), благодаря чему разворачивает мировую wifi-сеть (Starlink), а теперь еще и владеет самым крутым новостным СМИ (Twitter). Про хобби Маска - чтение мыслей (Neurolink и OpenAI) и рытье скоростных туннелей (Boring Company // Hyperloop) - пока не знаю что сказать.

Я думаю, что он скоро позабавит нас тем, что введет свою криптовалюту, за которую можно будет купить доступ к интернету Starlink, билет на Hyperloop или онлайн-курс по аналитике, записанный на чип Neurolink.

Маск реально становится настолько влиятельным человеком, что ему вполне себе может стать мало планеты Земля :-)
Иногда компании присылают нам статьи, которые пишут их аналитики. Попробуем их постить в канал. Если вы и/или ваши аналитики тоже пишите статьи - присылайте :-)

МТС рассказывают о том, как рассчитать Touchpoint NPS - это оценка конкретного опыта использования товара, услуги или сервиса. Таким образом можно видеть, какие проблемы приоритетнее, а какие незначительны. [мы попробуем адаптировать эту методику для оценки докладов и секций наших конференций]
Читать: https://habr.com/ru/company/ru_mts/blog/662337/

Joom делится чек-листом запуска эксперимента. И подробно описывают этапы подготовки эксперимента к запуску.
Читать: https://habr.com/ru/company/joom/blog/661639/

Delivery Club рассказывает о том, как они работают над рекомендациями ресторанов. В статье разбирается много типовых задач, с которыми сталкивается маркетплейс - проблема холодного старта, баланс спроса и предложения, общие подходы к рекомендациям и выдаче результатов.
Читать: https://habr.com/ru/company/deliveryclub/blog/656505/

P.S. Про задачи маркетплейсов мы делаем целую конференцию летом - 6-8 июля. Сайт: https://aha.matemarketing.ru/ Приходите. Это и оффлайн, и онлайн

@internetanalytics

Свои статьи присылайте мне: @a_nikushin
Ozon объявил оплачиваемую стажировку для студентов и выпускников
Зарплата на время стажировки: от 45к гросс (в зависимости от часов и направления)

Направления: аналитика, менеджмент проектов и продуктов, финансы, маркетинг и коммерция. Надо пройти отбор.

Что ждёт:
• шесть месяцев работы под руководством опытного ментора,
• гибкий график и возможность совмещать с учёбой,
• классная команда, где все на “ты”, и никакого дресс-кода,
• комфортный офис с видами на Москву-Сити,
• и приглашение в штат при успешном прохождении стажировки.

Если хотите выйти на работу уже в июле, то до 10 мая надо отправить заявку: https://bit.ly/3ERosgg
С развитием онлайн-шопинга и появлением огромного количества новых интернет-магазинов, конкуренция на рынке e-com выросла. И несмотря на кризис и другие сложности, возникшие после всем известных событий, объем продаж на внутреннем e-com рынке только растет, а это значит, что конкуренция еще какое-то время никуда не денется. Но только теперь интернет-магазины (как и любой другой бизнес) живут в условиях более ограниченного количества инструментов для стимулирования продаж.

Но несмотря на потерю нескольких крупных привычных каналов, возможностей для контакта с аудиторией все равно остается достаточно. Поисковики - одна из них.

Помимо выдачи на главных поисковых страницах, с которой все уже так или иначе умеют работать, у поисковиков бывают отдельные разделы отдельно для поиска товаров: “Товары” у Яндекса и “Покупки” у Гугла. Эти разделы формируются по-разному: например, в Яндекс поиске алгоритмы находят товары во всех магазинах в интернете, собирают их в товарные карточки и позволяют пользователю сделать наиболее выгодную покупку, а магазину - рассказать о своем предложении. Информацию о своих товарах магазины могут передать сервису и самостоятельно, загрузив фиды, чтобы поиск по товарам показывал актуальную информацию по ценам и позициям.

Есть ощущение, что этот инструмент пока мало кто освоил, хотя это, во многом, хорошая возможность для интернет-магазинов бесплатно привлечь потенциальных покупателей, так как присутствие в этом разделе позволит предложениям продавцов чаще попадаться на глаза пользователю наравне с более крупными конкурентами.
#нестер Интересная картинка про Нетфликс показывает, что именно так напугало инвесторов в поведении базы подписчиков. А именно - рост отказов от сервиса тех, кто с ним дольше всего (сравнение квартал к кварталу). 13% отказов от подписки у тех, кто с Нетфликсом 3+ лет, ещё 27% - отказы у тех, кто платил от года до трёх.
Это указывает как на проблемы самой платформы, так и на проблему самой модели стриминга в целом. Эйфория у пользователя явно прошла.
#нестер Apple продолжает возглавлять борьбу против персонализации и таргетингов. В своем брифинге, посвященном рекламному бизнесу, компания поделилась новыми цифрами: в iOS15 аж 78% пользователей отказываются от персонализированной рекламы и трекинга в Appstore. Такой выбор появился только сейчас.

При этом конверсия из рекламы у тех, кто разрешил трекинг и персонализацию почти не отличается от запретивших - 62.5% против 62.1%. В итоге, компания рекомендует вовсю использовать в кампаниях эту широкую аудиторию без интересов, иначе вы очень сильно срезаете доступный охват.