Хороший эксперимент, плохой эксперимент

Перевели статью из блога Reforge, которую написал Фарид Мусават — бывший директор по продуктам в Slack.

За последние 10 лет он провел сотни продуктовых экспериментов и совершил сотни ошибок, чтобы понять разницу между хорошим и плохим экспериментом. Ниже — основные отличия.

1. Хорошие — работают для улучшения продуктовой стратегии. Плохие улучшают только метрики.

2. Хорошие — строятся вокруг продукта и помогают команде более глубоко понять поведение пользователей. Плохие эксперименты рождаются в результате спонтанных брейнштормов, которые не связаны со стратегией роста.

3. Хорошие — влияют на результат, решая реальные проблемы пользователей. Плохие — меняют метрики, но не решают проблемы пользователей.

4. Хорошие эксперименты — как ставки: чем больше риск, тем больше рост. Плохие эксперименты — это бесконечные оптимизации и попытки улучшить незначительных деталей, которые в результате не способствуют кратному росту.

5. Хорошие — отвечают на вопрос: «Что нам делать с тем, что мы узнали?» Помогают понять, почему что-то сработало или нет, подтвердить или опровергнуть гипотезы, продолжать эксперимент или переключиться на другой. Плохие тесты сводятся к вопросу: «Оставить или выключить?» и быстро забываются.

6. Хорошие — инструмент покорности. Вы проверяете то, во что верите, но в чем не уверены. Плохие тесты используются, чтобы отложить принятие решений, уладить разногласия или позволить данным сказать вам, что нужно делать.

7. Хорошие эксперименты с самого начала оперируют метриками успеха. Плохие — запускаются без понимания, какие показатели нужно отслеживать, и команды смотрят на те метрики, которые улучшаются, чтобы оправдать идею, а не проверить гипотезу.

8. Хорошие — рассматривают все команды внутри компании как систему и предполагают компромиссы. Плохие — поощряют личные победы и OKR, даже если они идут в ущерб другим членам команды.

9. Хорошие эксперименты максимально подробно документируются при запуске. Плохие перезапускаются из-за нехватки данных.

10. Хорошие — обсуждаются. Они записываются, широко распространяются и документируются на будущее. Плохие запускаются, но никогда не замыкают цикл.

11. Хорошие — интегрированы в основной процесс разработки продукта. Они учитывают культурные принципы и рассчитаны на долгосрочный успех команды. Плохие порождают бесконечные споры и ведут к недоверию и отсутствию сотрудничества.

12. У хороших экспериментов есть план успеха. Успешные эксперименты становятся частью продукта и интегрируются в процесс запуска. Плохие навсегда оставляют MVP в продукте.

#рост_продуктов

1 миллион платящих подписчиков!

О таком результате написал сооснователь Flo Дмитрий Гурский в своем LinkedIn. Всего у приложения-трекера для женского здоровья 165 млн установок и 38 млн активных пользовательниц в месяц.

На данный момент только 3-4 приложения в категории Health&Fitness имеют более 1 млн активной платящей аудитории.

🔥 Хотите узнать, какие решения помогают команде Flo расти такими темпами?
7 докладов от экспертов Flo в подписке Epic+.

Андрей Михайлюк, Product Director, Commercial:

— Россыпь хаков retention на кейсах от Flo. Смотреть
— Как быстро измерить эффект новой фичи: опыт Flo. Смотреть
— Как растить выручку, управляя ценой и скидками. Смотреть
— Экстремальный engagement growth: как мы в 6 раз выросли там, где расти уже некуда. Смотреть

Гульфия Курмангалеева, Product Manager:
— Как Flo увеличило конверсию в подписки в 10 раз. Смотреть

Константин Грабарь, Data Platform Product Owner:
— Как Flo тестирует и внедряет ML гипотезы с мультикомандной инициативой ML Gatherings. Смотреть

Дима Золотухин, Head of Analytics:
— Как поддерживать постоянный рост через монетизацию уснувших пользователей. Смотреть

Оформите подписку и получите 7 дней доступа к контенту бесплатно: http://bit.ly/epicgrowth-subscribe

#рост_продуктов #epicplus

User Generated Content: как мотивировать пользователей создавать контент для вашего продукта

UGC-механики, встроенные в продукт, могут стать мощным инструментом для роста лояльности, brand awareness, органических охватов, стоимости привлечения клиента.

Часто UGC работает даже круче, чем дорогие рекламные кампании: творческие пользователи находят такие способы рассказать о вашем продукте, которые и не снились маркетологам. А главное — доверие к такому контенту гораздо выше. В общем, сила — в комьюнити!

Завтра, 25 марта в 19:00 по мск пройдет онлайн-митап, на котором спикеры из Пикабу, Sports.ru, WSM Group поделятся своим опытом в работе с UGC механиками:

👉 Как завести UGC-сообщество с нуля и чего нужно опасаться.
— Максим Хрящев, Founder в Пикабу
👉 Как справляться с большими объемами UGC и можно ли обойтись без человеческой модерации.
— Константин Ловков, Product Manager в Sроrts.ru
👉 Как фичеринг UGC контента на главной странице помог прокачать комьюнити и повысить метрики просмотров и реакций.
— Мария Протасова, Editor-in-chief в WSM Group (развивают сервисы Ultimate Guitar, MuseScore)

Обсудим эксперименты, кейсы, зарубежный опыт и секреты виральности продуктов.

Смотреть в подписке

#рост_продуктов #анонс #epicplus

Как монетизировать продукт, не потеряв пользователей?

С каждым годом пользователи тратят на покупку приложений и сервисов все больше. Но растет и конкуренция, и расходы на рекламу, дорожает порог входа на рынок.

Хорошая новость: помимо подписной модели монетизации, появляются и совершенствуются форматы рекламы внутри продуктов, которые приносят дополнительный доход.

Например, HBO Max в 2021 году запустит бюджетный AVOD-вариант платформы. Пользователи смогут смотреть часть контента с рекламой за меньшую плату. Аналогичные миксы есть у Spotify, Hulu и других платформ.

Выбирая модель монетизации, важно учитывать ряд факторов:
— Платежеспособность и география. Так, пользователи Apple чаще оплачивают доступ к определенным возможностям, чем пользователи Android, а пользователи из США платят чаще, чем из Индии и стран бывшего СССР.
— Возраст и вкусы. За что разные пользователи готовы отдавать деньги? Например, люди среднего и старшего возраста чаще готовы платить за отключение рекламы в приложениях, т.к. это экономит время и расценивается ими как плата за авторский контент.
— Востребованность платных услуг. За бизнес-решения платят охотнее, особенно на фоне роста числа распределенных команд. Гораздо сложнее монетизировать развлекательные сервисы, у которых много бесплатных аналогов.
— Тематика приложения и реклама. Привлекать спонсоров и рекламодателей проще в рамках определенной тематики. В фитнес-приложения можно встроить рекламу товаров для спорта и здоровья, в приложения для мониторинга погоды — рекламы потребительских товаров в определенном регионе.

Если учитывать эти и другие факторы, а также хорошо изучить своих пользователей, то рекламная монетизация не только не навредит продукту, но и станет ресурсом для его улучшения.

👉 Завтра, 1 апреля в 19:00 по Мск, на эфире с Дмитрием Пашутиным (Газпром-Медиа, ex-Яндекс, ex-ivi) мы рассмотрим рекламные модели продуктов, их влияние на поведение аудитории сервисов и стратегии выбора рекламодателей.

Смотреть в подписке

#маркетинг #рост_продуктов #анонс #epicplus

Как использовать Machine Learning и многоруких бандитов для роста. На примере iFunny

Михаил Табунов, CPO FunCorp, рассказал, как решили задачу с улучшением качества двух лент контента iFunny (Collective и Featured) и их релевантности для пользователей. В результате получили рост метрик на 30%, увеличили частоту захода в приложение, продолжительность сессий и количество паблишеров.

Алгоритм многоруких бандитов можно применить в:
— ecommerce;
— онлайн-кинотеатрах и музыке;
— push-уведомления и email;
— медиа и контентных продуктах.

Полная версия доклада доступна по подписке Epiс+: http://bit.ly/funcorp-ML

#рост_продуктов #epicplus

Вдохновляющие решения Miro, которые стоит перенять

Miro — одни из немногих в русскоязычном пространстве, кто активно развивают growth культуру. Их команда роста начала формироваться еще в 2015 году. Тогда в ней было 5 человек, сейчас — более 60.

За это время Miro подняли два раунда инвестиций на 75 млн долларов, вошли в топ 100 приложений для энтерпрайз по версии Nasdaq и вырастили базу до 16 миллионов пользователей, включая Netflix, Twitter, Spotify, Salesforce.

Чем мы вдохновляемся у Miro:

1. Дизайн. Кажется, что Miro продают не инструмент, а удовольствие от взаимодействия с продуктом на интеллектуальном, физическом и эмоциональном уровне. У инструмента интуитивный интерфейс, который может одинаково легко освоить и школьник, и человек из мира Excel-таблиц.

Команда продуктового дизайна регулярно проводит исследования и дизайн-штурмы. Постоянное расширение функций помогло Miro за год вырасти с 5% до 33% в 2020 году.

2. Контент как экосистема. Помимо блога компании, Miro выпускает большие гайды на разные темы в формате электронных книг, ведет проекты Академия Miro и библиотеку шаблонов, использует соцсети не только как каналы дистрибуции, но и публикует уникальный контент, который становится виральным. Контент в Miro работает не только на маркетинг, но и почти на все команды.

3. Продуктовый подход к HR-процессам. Когда в компании начали работать с культурой, решили не изобретать велосипед и использовать продуктовый цикл:

Исследование → создание прототипов → тестирование, поиск и фикс «культурных багов» → официальный релиз версии ценностей и дальнейшие итерации.

В интервью выявили основные «болевые точки» и то, что сотрудникам нравятся в компании. Выяснили паттерны поведения, на их основе создали прототипы. Протестировали их, отлавливая культурные баги и обсуждая: баг это или фича. Продуктовый подход оказался эффективен в обучении, вовлеченности и инклюзивности.

Какие еще принципы позволяют Miro расти на 300% в год?
Узнайте в эфире с Викторией Харламовой, Growth Product Manager Miro: https://bit.ly/3IloIEP

#epicplus #рост_продуктов

Как добиться гиперроста? Кейсы Zoom, Stripe, Snowflake

Основатель стартапа Drift (более $100 миллионов инвестиций, ближайший конкурент Intercom) Дэвид Кансел написал книгу о том, что такое гиперрост и как его добиться.

Мы перевели ключевые моменты из книги. Получилось две статьи.

В первой части:
— Что такое гиперрост
— Стадии гиперроста
— Истории успеха быстрорастущих стартапов
— Секреты достижения гиперроста

https://vc.ru/growth/230513-kak-dobitsya-giperrosta-keysy-zoom-stripe-snowflake-chast-1

#рост_продуктов

Как добиться гиперроста: ингредиенты и практика. Часть 2

Опубликовали вторую часть статьи с ключевыми моментами из книги Дэвида Кансела, основателя Drift.

Здесь про 5 ингредиентов гиперроста и 6 принципов для внедрения customer-driven подхода на практике.

Читать: https://vc.ru/growth/230804-kak-dobitsya-giperrosta-ingredienty-i-praktika-chast-2

#рост_продуктов

Как улучшить клиентский опыт: советы Ани Булдаковой, Product Manager в Facebook

Сохранить фокус на качестве клиентского опыта сложно. Компании, которые не работают над качеством опыта пользователей, рискуют потерять клиентов и проиграть конкуренцию.

Как улучшить клиентский опыт:

1. Декомпозируйте клиентский опыт на составляющие. Это могут быть показатели скорости загрузки, качество визуала, способность интегрироваться с другими продуктами и т.д. Нет универсальной метрики, чтобы измерить качество клиентского опыта. Находите свою.

2. Работайте над тем, чтобы все команды в вашей компании были синхронизированы друг с другом. Чем хуже синхронизация между командами, тем менее целостным будет опыт пользователя.

3. Не измеряйте качество клиентского опыта с помощью NPS. Участие в таких опросах принимают или лояльные к продукту пользователи, или те, кто был сильно разочарован в продукте.

4. Развивайте культуру итераций. Качество продукта не рождается после первого запуска. Чем лучше развита культура итераций, тем больше команды работают над качеством, а не над количеством.

В подписке Epic+ есть доклад Анны Булдаковой о том, как создать идеальный опыт клиента, зачем продакты в Intercom один день в месяц работают в техподдержке и почему техника «быстро валидируй и запускай в продакшн» не актуальна.

Смотреть по подписке: http://bit.ly/clientexperience-buldakova

#рост_продуктов #epicplus

8 решений, которые помогут продукту расти быстрее
Перевод статьи Терезы Торрес, Product Discovery Coach в Product Talk.

Работая над продуктом, мы ежедневно принимаем множество решений: от выбора цвета кнопки до воплощения глобальной идеи кого-то из команды. Множество факторов влияет на то, какой выбор мы делаем, и ошибки неизбежны.

Но есть 8 фундаментальных решений, с которых необходимо начать создание крутого продукта.

1. Постановка цели
Правильная цель помогает четко и быстро достичь результата, а ложная может привести к краху. Точное определение цели — один из важнейших этапов создания продукта.

2. Генерация идей
Чтобы строить отличный продукт, необходимо генерировать много хороших идей во время всего жизненного цикла продукта. Большинство компаний делегируют генерацию идей определенному отделу, но так создается лишь набор похожих идей. Для развития важны идеи из разных категорий. По отдельности люди генерируют больше хороших идей, чем в группах.

3. Оценка идей
Чтобы выбирать хорошие идеи, нужно определить объективные критерии их оценки. Это позволит любому сотруднику участвовать в процессе, повысит их мотивацию и заинтересованность в работе. Чем больше людей генерируют идеи, тем больше работающих идей вы получаете на выходе.

4. Эксперименты
Не стоит тестировать все идеи сразу. Вы должны решить, что наиболее важно проверять, когда и как. Эксперименты служат двум целям: 1) узнать, что работает, а что нет; 2) заручиться поддержкой стейкхолдеров и набрать обороты. Необходимо разработать собственные стандарты и процессы проведения экспериментов и обучения команды.

5. Приоритизация
Многие команды неверно истолковывают Agile, сначала создавая то, что проще. Но так вы получите продукт из самых простых функций, а не из самых лучших.
MVP — это продукт, который подтверждает вашу главную гипотезу, а не самый простой или быстрый. Расставьте приоритеты для тестов и разработок, которые подтвердят гипотезу как можно быстрее.

6. Создание продукта
Допустим, мы разработали продуктовый дизайн и передали эстафету разработчикам, так? Но разработчики не всегда могут и должны делать то, что мы просим. С ними необходимо сотрудничать на каждом этапе и максимально вовлекать в дизайн продукта, чтобы сократить число вопросов, недопониманий и получить ожидаемый результат.

7. Критерии успеха
Если не знаете, как оценивать успех продукта, не делайте его. Мы часто думаем о продукте иначе, чем пользователи. Измерение результатов помогает понять, какие наши предположения ошибочны и почему. Этот процесс требует тщательного проектирования.

8. Коммуникация
Первые семь этапов помогут вам создать хорошие продукты, но этого недостаточно. Необходимо построить как внутреннюю коммуникацию — с отделом продаж, разработчиками и руководством, так и внешнюю — с клиентами и пользователями. Без этого будет сложно добиться успеха, даже если вы справились с предыдущими семью пунктами.

Строить продукт не просто, но если эти восемь процессов выстроены правильно, то вы уже на верном пути.

#рост_продуктов

Как Delivery Club искали новые точки выручки и (не) запускали продукты

У сервиса 6 млн активных пользователей и 5,8 млн заказов ежемесячно. Это бренд №1 по доставке еды.

Когда пришло время искать новые точки дохода, стало понятно, что нужно брать соседние вертикали, помимо доставки готовой еды. Идея сделать подписку казалась логичной, на рынке уже был сильный конкурент, который раскачивал аудиторию. Что было дальше?

Полная версия выступления CPO Delivery Club Дмитрия Константинова на SEASONS: http://bit.ly/delivery-revenue-growth

#рост_продуктов #seasons

Как расти за счет push-уведомлений? Лучшие практики nGrоw.аi, Lamoda, Joom

Чтобы реализовать успешную стратегию push-уведомлений, недостаточно просто отправлять их в нужное время и в нужном месте. Каждое сообщение должно быть персонализировано под конкретного пользователя — в противном случае велик риск того, что ваш клиент их просто отключит.

🔥 Завтра, 28 апреля в 17:00 по Мск, на онлайн-митапе разберем лучшие практики настройки пуш-уведомлений, которые не раздражают пользователей и помогают растить метрики.

Программа:

Вопросы и ответы о пушах, исключительно практический опыт nGrоw.аi
Александр Сибриков, Chief Commercial Officer в nGrоw.аi
— Основные бенчмарки по категориям приложений
— Какие метрики можно увеличить с помощью пушей
— Технологии автоматизации отправок. Может ли машинное обучение улучшить результаты?
— Какие CTR крутые, а какие не очень? На что «клюют» пользователи и как готовить конвертящие креативы?

Q&A с Яной Гришковой (Head of Direct Marketing & Loyalty в Lamoda Group) и Станиславом Артюхиным (Retention Marketing Team Leader в Joom)
— Из личного опыта: лучший и худший кейс использования пушей в маркетинге
— Каких пользователей брать за основу для правильного расчета относительных метрик
— Как правильно оценивать негативный эффект от пушей (отписки и churn)
— Опыт использования provisional push: плюсы, минусы, подводные камни и импакт

Модератор митапа: Александр Сергеев, CEO nGrоw.аi

Подключайтесь онлайн и задавайте вопросы в прямом эфире! Митап и запись доступны по подписке Epic+ (Первые 7 дней бесплатно)

Смотреть запись

#рост_продуктов #маркетинг