Задачка из недавнего отчета.

У нас есть игра с очень большим нарративным пластом — тексты, истории, диалоги и все такое. Есть сторилайн — цепочка квестов основной истории. Есть сайд-квесты, которые открываются не сразу (где-то с 8-10 уровня). Это побочные истории, чтобы немного разнообразить жизнь пользователя.

У геймдиза появилась гипотеза, что когда мы на пользователя вываливаем кучу сайд-квестов, пользователи теряются и отваливаются. И, может быть, стоит упырить мел с сайд-квестами и больше вести пользователей по сторилайну

Аналитик разделил пользователей по доле сайд-квестов от общего числа сделанных квестов. И посмотрел их ретеншен (смотрите табличку на скриншоте).

Соответственно, два вопроса. Какую ошибку совершил аналитик и как бы вы проверяли эту гипотезу? (значения в табличке не очень настоящие, но в целом отражают особенности сегментов)

Свой ответ опубликую в понедельник вечером.

#exercises

Мой ответ на недавнюю задачку.
Спасибо всем, принявшим участие в обсуждении.

Первое, что настораживает в табличке — низкий ретеншен пользователей, предпочитающих сторилайн-квесты. Такие пользователи удерживаются лишь немногим лучше, чем те, кто вообще не делал никаких квестов. И это контринтуитивный вывод, так как мы делаем основную историю как раз для средне- и дальнесрочной мотивации игрока.

Это ошибка, которая обусловлена спецификой игровых данных — в них всегда зашита пользовательская прогрессия. В данном случае в этот сегмент попали преимущественно те пользователи, которые отвалились до 8 уровня (когда появляются сайд-квесты) или немногим позже. Поэтому у них почти нет сайд-квестов и они выглядят как “предпочитающие сторилайн-квесты”.

Соответственно нельзя смотреть и просто отвалы после 8го уровня, где сайд-квесты появляются — пользователи просто на эффекте новизны могут в них начать много играть, а потом баланс выровняется.

Количество предпочитающих сайд-квесты — еще один странный момент. Судя по количеству и хорошему ретеншену, как правильно заметила @nkolokolnikova, это просто лояльные и/или платящие игроки. Или действительно больше играющие в сайд-квесты.

Мое решение. Конечно же, “семь бед — один аб-тест”, но далеко не всегда тесты можно быстро/легко/безболезненно провести. Поэтому я предложил разбить прогрессию по бинам в пять уровней и сегментировать пользователей по доле сайд-квестов в этом бине. И потом уже смотреть конверсию в следующий бин в этих сегментах.

#exercises

Не аналитическое, но техническое и забавное.

Недавно Che (исследователь-когнитивист, профессор, гурман и просто мой хороший друг) принес посмотреть код одной статьи. Статья третьих авторов, про ботов в онлайн-экспериментах. Ему показалось, что там есть косяк в расчетах и он хотел еще одной оценки.

Открыл я код, а там… как будто последних двадцати пяти лет развития языка не было (код на R). Архаичные конструкции, базовый R без каких-либо пакетов, глобальные присвоения из области видимости функции, и прочий мрак и ужас. В студенческих работах, конечно, можно и не такое встретить. Но тут-то вроде взрослые и достаточно опытные исследователи, почему.

И да, баг был. Реализация groupby, которая была использована в коде (tapply), чувствительна к порядку сортировки наблюдений. А в данных как раз оказалось так, что по одному испытуемому была проведена еще одна сессия, под тем же id, но не подряд с предыдущей сессией. Само собой, в современных фреймворках для работы с таблицами такой дичи не встретишь.

Мораль сей прохладной истории проста — идите в ногу со временем и не копите техдолг. Чтобы не было багов и вопросов в духе “а представь, какого качества их исследования, если они пишут такой код”. Это и про обновления pandas с 1.X махом до 3.Х, и про AI-инструменты будь они прокляты, которые хотят сейчас все и везде, и про прочие кейсы отчаянного консерватизма, граничащего с неолуддизмом.

И вообще. Как говорил коллеге один мой лид много лет назад, “не слишком ли ты молод, чтобы быть старовером?”. Что-то в его предъяве было, пожалуй.

Вот так вот возвращаешься из насыщенного отпуска, а тут Supercell доели Metacore.

Любопытная, конечно, история. Metacore придумали merge-2, однако в последнее время дела у Merge Mansion идут так себе — конкуренты злые, ревень не растет или даже падает, все дела. При этом рынок вполне богатый — топ в жанре безостановочно растет и зарабатывает в десять раз больше (храни темная четверка ребят из AppMagic, благодаря которым я могу это все видеть). И придумать новую игру у Metacore не получилось. Тоже, впрочем, знакомая печальная история.

У меня была серия интервью с Metacore в 2023 году. В какой-то момент не стал продолжать, о чем временами жалею, потом и позиция закрылась. А сейчас они сократят 160 человек только в Финляндии, плюс под вопросом офисы в Германии и Швеции. Глядишь, был бы сейчас в Supercell. Или за бортом.

Есть еще один интересный момент — Supercell уверены, что смогут своим подходом к оперированию разогнать Merge Mansion. Очень интересно, как это у них получится.

А как у вас дела?

Да что ж такое-то. Хоть в отпуск не ходи.
Sensor Tower сначала купил data.ai (в девичестве appannie). А теперь вот и AppMagic.
Что ж. Наверное поздравляю. Надеюсь, и сервис, и ребята от этого только выиграют.

Недавно в разговоре с менти зашла речь про North star и дерево метрик. И в процессе обсуждения я подумал, какой же все-таки это крутой фреймворк. И зря я его недооценивал.

Обычно в примерах про дерево метрик говорят про высокоуровневые продуктовые метрики, которые можно строго математически связать. Типа Revenue = DAU * Paying Share * ARPPU. Однако самое интересное начинается ниже, когда мы декомпозируем метрику до поведенческих параметров.

Например, среднее количество платежей на пользователя может быть связано с тем, как часто он заходит в игру. Количество корлупов в день (уровней/боев/заказов/etc), когда пользователь сталкивается с сложностью или дефицитом, можно интерпретировать как интенсивность монетизационного давления. И, соответственно, как часто пользователь сталкивается с монетизационными предложениями.

Между поведенческими и продуктовыми метриками вряд ли можно построить строгую математическую связь, скорее всего только корреляционную. Что и делает дерево сложным и неочевидным для построения.

Есть и вторая важная для меня сторона во всем этом — чем профессиональнее аналитик/продакт/исследователь, тем больше он работает на уровне поведения и тем лучше он связывает продуктовые метрики с поведением пользователей. В конце концов, мы влияем прямо именно на поведение пользователя, а не на условные ARPU или GMV.

Недавно столкнулся с двумя забавными кейсами, которые можно назвать “ложными друзьями аналитика (продакта)”.

Первый — когда вы смотрите на динамику ARPDAU на длинном периоде. Особенно если вы считаете себя корпоратом и ваш путь увешан целевыми периодами, OKR и KPI. Например, вы зафиксировали, что за полгода ARPMAU выросло. И вроде бы все хорошо, можно радостно отчитываться о выполнении KPI. Но при этом даже обычным скроллингом дашбордов видно, что продукту плохеет, и чем дальше, тем хуже. Разгадка проста — за эти полгода снизилось MAU и отвалились менее лояльные неплатящие, и остались более лояльные платящие. Я даже где-то видел формулировку для этого процесса: “консолидация аудитории на снижающемся проекте”.

Второй кейс похожий. Провели аб-тест, в котором в контрольной группе снизили сложность игры. Винрейты выросли, вовлечение увеличилось, ARPDAU уменьшилось. Формально на этом тест можно завершать, так как ARPDAU было в контрольных. Но при этом количество ресурсов, которые пользователи тратят на прохождение, осталось примерно таким же, что уже странно. Причина такая же — изменился знаменатель. В более простую игру лучше возвращаются пользователи, в результате DAU растет, особенно за счет неплатящих.

Один из самых распространенных способов создания новых донатных сосалок (если вы не Superell, конечно) — клонирование успешных проектов. Для их поиска народ активно шерстит рынки и мониторит жанры, смотрит в спец.инструменты AppMagic или пилит свои. А потом — прямое клонирование (тьма киперкэжа типа Arrows) или же какие-то доработки (как это было с Rash Royal или Match Villains, например).

Во всем этом есть проблема, к которой я даже не знаю, как подступиться. Возможно, она просто нерешаемая. Как понять, что экономика проекта-референса сходится? Вот, например, Match Villains. Быстрый match3 по типу Royal Match, играется чуть быстрее, забавные ролики, чуть иной геймплей. Закупались масштабно, в пике около $5млн ревеню в месяц… Сейчас количество установок упало почти в ноль.

И никто не гарантирует, что тот же Royal Kingdom (который развивает Royal Match) окупается — возможно, Dream Games просто льют его в минус. Или окупается на очень длинном периоде, который студии поменьше просто не могут себе позволить.

Как это можно понять? Не знаю. Да, можно посмотреть на RPD, прикинуть, потянем ли такое. Посмотреть на динамику закупки, оценить границы масштабируемости. Но это все равно не поможет понять, какая модель окупаемости у компании.

Выглядит так, что клонирование работает либо на маленьких проектах с высокой скоростью запуска, либо когда клонируем свои собственные проекты (да и то, если это исключительно рескины, которые создаются почти в то же время, что и основной продукт). В остальных случаях есть высокий риск купиться на высокие метрики загрузки/ревеню, запустить долгое производство и в итоге обнаружить, что референс за это время тихо помер.

На одном проекте третий раз за полгода просадка в ревеню. И каждый раз, когда начинаем разбираться, что случилось, оказывается проблема в балансах. То награды за мини-ивент слишком щедрые. То скидки в новой итерации банковских офферов слишком большие. То новый плейсмент видеорекламы на шару воткнули там, где раньше пользователи платили. Без кулдауна/ограничений на количество показов по плейсменту.

Как не допускать такое, или хотя бы быстро находить — не знаю. Но выискивать все это очень утомительно.

Запустили мы тут недавно один новый ивент. Как обычно хотели денег. Ну и повышения игровой активности — количества сессий, времени в игре, количество пройденных уровней.

И ничего. От дохлого осла уши, никаких нам вожделенных новых полочек на графике ревеню. Стали разбираться. Там, конечно, вскрылось много разного — и неудовлетворительная доля пользователей, кто видел ивент. И низкий adoption rate. И никаких повышений активности.

Когда я вижу, что ивент не приводит к повышению активности, при прочих нормальных условиях, первая мысль обычно про недостаточность мотивации. То есть, награда за ивент пользователям кажется не очень ценной или очень сложно достижимой.

Но тут я подумал, что если проблема с другого конца, что если Васенька больше не может, что если он и так играет свой максимум в сутки? Что он готов платить 30 баксов в месяц и дальше как ни ковыряй и ни пушь его, он больше не будет платить?

Все наши фичи строятся на весьма неявной пресуппозиции, что пользователь готов бесконечно играть и бесконечно платить. Но ведь это может быть не так.

Непонятно, как с этим работать и как это проверять. Мы когда-то пробовали думать в эту сторону — пытались определить объем условной “потребительской корзины” и выбираем ли мы ее своими предложениями. Не сказать, что там получилось что-то прям инсайтное или полезное. С игровым временем, кажется, еще сложнее и бестолковее будет.

Практически сошло, однако. Отвалы не увеличились и часть пользователей стала платить больше. Но глобально все равно небольшой минус. Оживить экономику таким образом не получилось. И, видимо, дело в геймплее и левел-дизайне. А это принципиально иной уровень задач и проблем.

Печально то, что я это уже видел — когда полтора года экспериментов с экономикой и метой кончаются тем, что мы приходим к мысли о недостаточно цепляющем геймплее. Но самое грустное — тесты залипательноcти геймплея (retention d1, например), кажется, не сильно помогают. Либо мы (я) не умеем их готовить.