Вправо Вверх 📈 Михаил Табунов
17K subscribers
52 photos
2 videos
181 links
Каждый день про то, как делать IT продукт

послужной список:
CEO&Founder Ppp
CPO at FunCorp
CEO&Founder Pact.im
CTO&Founder Coub.com (YC 2016)

Интро https://t.me/bossofyourboss/208
По рекламе @tm_assistance
Download Telegram
вспомните эту картинку когда будете оплачивать курсы по продакт менеджменту
Не знаю о каком миллионе пользователей в ClubHouse идет речь, смотрите график скачиваний за декабрь-январь.

Всего чуть больше миллиона скачиваний. Даже при суперском ретеншене сейчас можно говорить про 100K DAU в максимуме

Мы запускали похожий продукт где-то год назад, ретеншен первого дня был ниже 20%. Не думаю что у клабхауса чето лучше
Хотя тут подъехало опровержение от @betternotworse . Судя по AppAnnie у парней все заебись, вот график дау
Мы продолжаем копать онбординг в ABPV. Вместе с аналитиками узнали, что если пользователь ставит приложение после 19:00 NY time, то сидит без пушей целых 13 часов, и поэтому ретеншен таких пользователей ниже.

Сделали тест: расписание пушей рассчитывалось от времени инсталла (первого старта). Пуши в тесте приходили так: первый пуш через 15 минут после установки. Далее через 1, 3, 5, 7, 9 и 11 часов. Всего 7 онбординговых пушей, специально выбранных по CTR.

Казалось бы, беспроигрышный тест. Больше пушей – выше ретеншен – больше бабла. Но жизнь сложнее.

В нулевой день в тестовой группе был яркий позитив – больше сессий, больше просмотров, больше вовлечения. Но на первый день ретеншен был хуже. Оказалось, что новые пользователи пугались такого объема пушей, и удаляли приложение.

Теперь делаем второй тест, где онбордящих пушей не семь, а три, и приходят они не так часто.
У меня есть давняя мечта – оседлать виральность, и сделать продукт который будет распространять сам себя. И единственный на сегодня пример такой виральности – инвайты по телефонной книжке. Пользователь дает доступ к контактам, и дальше рассылает приглосы друзьям.

Мы проверили такую схему в ABPV, и результаты первых тестов плачевные. Мы тестили кучу офферов, пять разных дизайнов, и в самом лучшем варианте инвайтит всего 0.1% юзеров.
Не получили даже сотню инсталлов за период с теста.

Будем копать дальше, ждите новых постов
Ну че, не прошло и месяца как русский клабхаус сдох. Вечер выходного дня - а послушать некого.
Элон Маск параллельно ведет 8 бизнес-проектов. Как это возможно? А как же фокус? Что скажут инвесторы и инфобизнесмены?
Очень неоднозначный тест мы провели на iFunny.

Мы сортируем ML-ленту по убыванию вероятности лайка и других действий. Это круто работает и дает рост ретеншена, но есть одна проблема: если пользователь не делает никаких экшенов – качество ранжирования сомнительно.

Мы решили сделать сортировку по вероятному времени просмотра. По каждому мему мы начали собирать количество секунд, которые пользователь потратил на просмотр мема. На основе этих данных обучили модель, которая ставила наиболее залипательное вперед.

Результаты такие:
- В когорте low activity есть рост глубины просмотра, и им явно это зашло
- В когортах medium/high activity упали метрики вовлечения (лайки, шеры), но время в приложении чуть выросло
- Субъективно, стало больше контента который нельзя быстро осмыслить

Однако ретеншен никак не изменился.
Тестим дальше
В январе я писал про тест с вотермарками https://t.me/bossofyourboss/182, тогда я получил кучу фидбека от вас, в том числе про то почему вотермарк развернут вертикально, ведь так неудобно читать.

Мы прислушались к комментариям, и развернули вотермарк горизонтально. Результаты такие же плохие: получили всего 5 установок и около 1000 открытий ссылки, которая стоит на вотермарке.

Возможно, на вселенских масштабах как у TikTok это и работает, но мы пока оставили всё по-старому
Из коментов: этот Слепаков без гитары норм вещи задвигает
В калифорнии запретили использование темных паттернов интерфейса. Теперь нельзя катить мутные страницы оплаты и подписки, навязывать доп услуги, писать важную инфу мелким шрифтом, итп.

Выскажусь по этому поводу. Нас окружают те продукты, на которых создатели смогли хорошо зарабатывать. Пользователю на самом деле неважно сколько платить, 1000 рублей или 1150. Однако для компании эта разница очень влияет на бизнес-модель и юнит-экономику.

В нишах с низкой маржой и высокой конкуренцией темные паттерны это один из немногих шансов выживать и зарабатывать. Пример – агрегаторы авиабилетов.

Мой друг Игорь Кузнецов завел канал с разбором популярных темных паттернов https://t.me/brainshare , подписывайтесь на него
Google Play и App Store постоянно ужесточают правила для UGC приложений, а пользователи постоянно придумывают новые грани токсичности контента. Посередине стоит iFunny с его системой модерации контента (таможня).

Всю жизнь мы делали модерацию с помощью админки и украинских фрилансеров. Такой подход работает, стоит недорого, но люди ошибаются раз на десять картинок.

В прошлом году мы собрали команду из умных ребят, и сделали нейросеть для модерации контента. Взяли датасет забаненных картинок, и обучили нейронку для классификации изображений с архитектурой EfficientNetB4. Получился сервис, который на каждую картинку может сообщить, бан это или нет, и с какой вероятностью.

В феврале запустили на iFunny в тестовом режиме, сразу увидели что качество модерации немецкое, и ошибок на порядок меньше. Через две недели раскатили на всех.

Получилось настолько круто, что мы открыли нашего автомодератора для всех. Посмотреть как это работает можно тут https://moderation.fun.co/
На праздниках много думаю про конечный продукт и оргсхемы в бизнесе. У разработки конечный продукт – фичи, у тестирования – отсутствие багов, у менеджера - это идеи. О том, что надо сделать, чтобы улучшить бизнес.

К сожалению, про то как работать с идеями пишет только Тема Лебедев, поэтому решил написать мои правила, как генерить идеи:

- Я верю в то что в любом бизнесе можно сгенерить бесконечно много прорывных крутых идей и изменить рынок. Правда, это может быть уже совсем другой бизнес
- Часто прорывные идеи не кажутся какой-то херней пока не начинаешь их докручивать.
- Поэтому важно обсуждать идеи в конструктиве: не засирать, а пытаться докручивать до рабочего состояния всей командой
- Идея должна быть смелой и нести вызов команде и рынку. Не стоит тратить время на покраску кнопок и тюнинг коэффициентов, через год это все равно никто не вспомнит
- Прорывные идеи – это актив, который влияет на капитализацию. Чем больше крутого и уникального мы сгенерируем про ленты контента – тем дороже стоит наша компания. Поэтому игра стоит свеч

Ну, и самое важное. Работа с идеями – это конвейерное производство. Количество переходит в качество. Пока не проверили хотя бы 100 гипотез – нет смысла говорить о результате.
Помните я рассказывал про тест, когда мы сортировали главную ленту по убыванию залипательности картинок? https://t.me/bossofyourboss/195
Мы провели его несколько раз на iFunny, смотрели в разных разрезах, много спорили, но по итогу отрубили.

Так вот, сегодня выяснилось что с февраля вместо корректных данных о времени просмотра на iOS приходили нули, и рекомендер был обучен не так как надо. Выводы которые мы написали – неправильные, и надо всё переделывать.

Вот так бывает, пацаны. Проводишь АБ-тест, а потом спустя квартал выясняется что всё работало криво, и теперь надо фиксить и делать перетест

Кстати, мы открыли новую вакансию на продакта по монетизации, приходите к нам работать https://hh.ru/vacancy/44527763
Сейчас стандарт ленты контента на смартфоне – бесконечная лента с вертикальным скроллингом. В iFunny всегда была горизонтальная лента, где надо листать справа налево. Такая же лента в приложении Галерея на вашем смартфоне.

В начале этого года в ABPV мы заметили что почти 40% сессий имеют длину 1-3 просмотра. Перерыли всю аналитику, начали думать что с этим делать, и одна из гипотез была в том, что юзерам непривычно листать слева направо. Решили делать два теста: лента-барабан (как в тиктоке), и freescroll.

Барабан уже протестили, результаты такие:

- На новых пользователях разницы нет вообще
- На старых пользователях барабан дает на 5% меньше просмотров (видимо с непривычки)

Выглядит так, что пока юзерам всё равно как листать. Посмотрим что будет с freescroll лентой.