Как правильно формулировать гипотезы из аналитики

1.Проверьте, действительно ли гипотеза направлена на изменение ключевой метрики и не берете ли вы для гипотез слишком узкий сегмент. С таким сегментом вы не получите статистически значимых данных в результате тестирования или гипотезу придется тестировать очень долго. К тому же гипотезы на узком сегменте не масштабируемы. Например, вы придумали способ привлечения узкого и специфичного сегмента бизнеса, который состоит всего из пяти компаний по стране. Вы сможете привлечь эти пять компаний, вложите много денег и на этом все — гипотеза не масштабируема и может даже не окупиться, развиваться некуда.

2. Ответьте на 7 вопросов, чтобы проработать гипотезу growth:
• Сколько времени потребуется на реализацию гипотезы?
• Сколько нужно денег?
• Сколько времени будет длиться эксперимент?
• За какими метриками будем следить?
• Что хотим узнать с помощью этой гипотезы?
• Как это повлияет на проект или бизнес?
• На какой лендинг будем вести с рекламной кампании?

Эти вопросы помогают планировать работу над гипотезами и приоритизировать их. Приоритизация помогает отобрать гипотезы для предстоящего спринта — те, на тестирование которых нужно меньше всего денег, которые принесут наибольший эффект и лучше всего продуманы.

3. Зафиксируйте все придуманные гипотезы growth в одном месте, сервисе для управления проектами. У каждой гипотезы есть своя карточка, где отмечены:
• канал, в котором будем тестировать гипотезу;
• суть гипотезы;
• этап воронки, на который хотим повлиять;
• сроки, когда планируем запустить и завершить тестирование гипотезы;
• ответы на все вопросы из предыдущего пункта;
• ответственные.

Тренды в технологиях распознавания и синтеза речи

В долгосрочной перспективе есть устойчивый тренд на унификацию и упрощение банковских процессов, выполняемых без участия человека или с его минимальным участием (открытие счета, оценка рисков, создание кредитного досье, скоринг и т.д.). NLP будет сочетаться с другими технологиями (компьютерное зрение, RPA, удаленная идентификация и т.д.).

Можно ожидать новое поколение конструкторов проектной документации, а также появление систем, сопоставляющих документы, выявляющих противоречия, описывающих сложные технические объекты. Далее можно прогнозировать появление ML-решений для планирования на основе анализа проектной документации.

Услуги на основе персонифицированных данных получили широкое распространение из-за развития технологий голосовой биометрии (аутентификации и авторизации человека по голосу). В будущем телеком-операторы смогут занять уникальное положение в экосистеме цифровых сервисов, благодаря голосовому каналу связи с клиентом.

Возможно, в ближайшие 5-10 лет появятся модели понимания научных текстов — системы, предоставляющие ответ на вопрос пользователя, заданный на естественном языке, в виде сжатой справки. В ней будет собранная информация из существующей научной литературы, включая найденные противоречия и различные версии. Другое применение таких моделей — это рекомендательные системы для научных исследований или анализа патентных ландшафтов.

Основные ошибки А/В-тестирования

• Приостановление тестирования раньше времени
Часто возникает ситуация, когда специалист отслеживает результаты тестирования в первые дни и даже часы исследования. Результат может оказаться плачевным или, наоборот, вдохновляющим, после чего сотрудник принимает решение об окончании тестирования. Но делать так не нужно, в этом кроется большая ошибка. В течение определенного времени ситуация меняется, успешная тактика может смениться провалом и наоборот.

• Отсутствие сравнения теста с аналитикой
Важно уметь видеть разницу между аналитическими данными и данными тестирования. Для получения нужных сведений есть инструмент Google Analytics.

• Смещение фокуса на дизайн
Ключ к высокой конверсии – это не только правильный дизайн. Содержание сайта – это еще и текст, заголовки, шрифты, стиль и т. д. С помощью текста вы представляете компанию, уникальное торговое предложение, выгоды для покупателя. В тексте вы можете надавить на нужные триггеры, найти чувствительные точки и мотивировать к покупке. Огромное значение имеют заголовок и основной текст лендинга. Их тоже необходимо тестировать!

• Отслеживание не тех ключевых показателей эффективности
Что, на ваш взгляд, является главным показателем эффективности интернет-ресурсов? Конверсия? Так думает большинство, потому что это основной показатель, который можно отследить.
Однако об успехе можно говорить только тогда, когда есть развитие. А на развитие указывает показатель нижней границы или прибыль. Чистая прибыль – это доходы минус все расходы. Если прибыль растет, значит, вы на верном пути. Если показатели прибыли остаются неизменными или даже начинают снижаться – пора что-то менять.

• Неправильно выбранный период для тестирования
Тесты нужно делать в течение продолжительного периода. Но отрезок времени тоже необходимо правильно подобрать. Приведем пример. У вас интернет-магазин подарков, и вы решили провести А/В-тест накануне новогодних праздников. Разочаруем вас заранее – вы не получите верного результата. Накануне праздников люди делают очень много покупок. А вот после Нового года результат может вас удивить или даже огорчить.

Про тактику quick wins

Quick wins – это некое видимое улучшение, которое даёт сиюминутный результат и продвижение в проекте. Это необязательно что-то, долгосрочно влияющее на организацию или меняющее её фундаментально, но должно быть чем-то, с чем согласятся все стороны, принимающие решения.

Быстрые победы могут быть легко идентифицированы при анализе бизнес-процессов и потребностей. Иногда достаточно спросить заказчика или стейкхолдера о его представлении быстрых результатов. Самым лучшим результатом быстрых побед должно стать лёгкое для внедрения, недорогое и, конечно, не нуждающееся в долгих временных затратах решение. Ниже приведены характерные критерии для оценки quick wins:
– Требует минимальных или не требует капитальных расходов
– Обладает низкими рисками
– Известна причина или имеется очевидное решение
– Узкий и фокусированный масштаб
– Стейкхолдеры однозначно одобряют
– Высокая вероятность позитивного результата
– Улучшения могут быть внедрены в течение 60-90 дней
– Команда проекта одобряет внедрение перемен

Каким задачам могут отвечать такого рода победы?
Быстрые победы хороши в ситуациях, когда проект затягивается и необходимо сделать что-то для снятия стресса внутри команды, или же в ситуации, когда нужно убедить общественность, что проект и команда движутся в верном направлении и нуждаются в поддержке. Quick wins также создают ценность продукта на раннем этапе и увеличивают ROI.

Небольшой список идей потенциальных быстрых результатов.
• Удалите лишние этапы из процессов
• Поменяйте неэфективные процедуры/процессы
• Улучшите коммуникации между сторонами
• Уменьшите или откажитесь от запасов/резервов
• Уменьшите издержки
• Проведите тренинги по лучшим практикам
• Внедрите небольшие изменения в тестовые продукты или проекты

Концепции VUCA и BANI в помощь для создания продуктовой стратегии

VUCA

Steady (Устойчивость) -> Volatility (Изменчивость)
Мир постоянно изменяется с высокой скоростью;

Predictable (Предсказуемость) -> Uncertainty (Неуверенность)
Отсутствие уверенности в последствиях предпринятых действий, в том числе благодаря высокой скорости изменений;

Ordinary (Простота) -> Complexity (Сложность)
Большое кол-во действующих сил, комплексное взаимодействие, сложность выстраивания причинно-следственных связей;

Definite (Определенность) -> Ambiguity (Неоднозначность)
Как следствие высокой сложности растет неоднозначность восприятия текущей ситуации. Сложно быть уверенным в том, что было учтено все необходимое.

BANI концепция

Volatility (Изменчивость) -> Brittle (Хрупкость)
Мир теперь не меняется, а ломается. Все что кажется устойчивым, может рухнуть в любой момент.

Uncertainty (Неуверенность) -> Anxious (тревожность)
Мир теперь не про уверенность, а про страх. Бесконечный инфопоток, который в основном состоит из пропаганды и фейков, лишь усиливает ощущение небезопасности мира и нашу тревогу.

Сomplexity (Сложность) -> Nonlinear (Нелинейность)
Нелинейный мир не позволяет установить четкие связи между причинами и следствиями, например, между нашими действиями и их результатом. Все чаще значимые события для большинства наступают ВНЕЗАПНО.

Ambiguity (Неоднозначность) -> Incomprehensible (Непостижимость)
Мы теряем способность осознать причины событий, так как чаще они оказываются где-то глубоко в прошлом или вообще не в той сфере, на которую указывает логика. Мир становится непостижимым, и это делает невозможным создание полного представления о том, что происходит.

Современная стратегия это — мощный и практичный процесс выработки решений по формированию и реализации видения, который выводит на новый уровень ваш продукт, организацию и карьеру. Сегодня обстоятельства диктуют новые правила игры и выводят неопределенность на новый уровень. Поэтому знание о том, как формировать стратегию в условиях неопределенности , чтобы двигать свою карьеру или продукты — это уже необходимость.

Модели эффективного управления командами

Модель GRPI
Цели: ясно очерченные цели и желаемые результаты, а также четко заданные приоритеты и ожидания.
Роли: четко очерченный круг обязанностей, принятие лидера группой.
Процессы: прозрачные процессы принятия решений и рабочие процедуры.
Межличностные отношения: успешное взаимодействие, доверие и гибкость.

Модель Катценбаха и Смита
Приверженность. Приверженность участников команды общей задаче, поставленным целям и единому подходу к делу.
Взаимодополняемые навыки. Участникам команды необходимы навыки решения проблем, технические навыки для выполнения своих профессиональных обязанностей и навыки межличностного общения для улучшения командной работы.
Взаимная ответственность. Участники команды несут взаимную ответственность друг перед другом, а также личную ответственность за свою часть работы, и в идеале такие команды должны состоять из небольшого числа людей.

Модель Т7
Внутренние факторы
Thrust — идея: общая цель.
Trust — доверие: уверенность в том, что команда вас поддержит.
Talent — таланты: профессиональные навыки и умения.
Teaming skills — навыки командной работы: способность действовать сообща.
Task skills — навыки решения задач: способность выполнять рабочие задачи.
Внешние факторы
Team leader fit — совместимость с лидером: способность лидера «сработаться» с командой.
Team support from the organization — поддержка команды со стороны организации: как организация позволяет команде работать.

Модель дисфункций Ленциони
Отсутствие доверия. Если участники команды боятся показать свои слабые стороны или обратиться за помощью, они не смогут рассчитывать на поддержку коллег.
Боязнь конфликтов. Если кто-то слишком уж старается любой ценой сохранить мир в команде, то не будет и тех «плодотворных» конфликтов, в результате которых возникают удачные идеи.
Недостаточная преданность делу.
Уклонение от ответственности. Это еще одно неприятное последствие страха перед конфликтами — никто не хочет требовать от других ответа за их работу.
Невнимание к результатам. Если личные цели становятся более важными, чем успех всей группы, то никто не станет следить за общими результатами или пытаться их улучшить.

Основные допущения, про которые забывают в рамках юнит-экономики

⁃ Маржинальная прибыль показывает прибыль/убыток с группы пользователей/клиентов без учёта затрат на их удержание. Например, вы провели рекламную кампанию в январе и получили 20 000 клиентов, которые в среднем совершат у вас по три покупки. В реальности, чтобы удержать клиентов и сделать так, чтобы они заказывали снова, потребуются дополнительные расходы — email-рассылки или другие маркетинговые инструменты. Дополнительные траты на удержание клиентов могут снизить маржинальную (а значит, и чистую) прибыль.

⁃ Привлечение новых пользователей может снизить конверсию в будущем. Например, на старте бизнеса вы привлекли самую заинтересованную аудиторию: тех, кому действительно нужен ваш продукт. Скажем, наборы для приготовления ужинов в первую очередь покупают молодые мужчины из крупных городов. После того, как они уже стали вашими клиентами, вам будет сложнее привлечь новых — вернее, на это потребуется больше затрат. Нужно быть готовым к тому, что с каждой новой рекламной кампанией вы будете всё менее точно попадать в целевую аудиторию. Например, сначала давали рекламу в тематическом паблике в соцсети, а теперь, чтобы расшириться, планируете продвигаться на других страницах — там, скорее всего, будет меньше заинтересованных людей. Эти расходы стоит заложить в бизнес-модель.

⁃ В примере мы продаём всего один товар — а если товаров несколько, нужно учитывать значение среднего чека для каждого из товаров. Так вы поймете, какой товар даёт большую прибыль при меньших издержках. Юнит-экономику также стоит рассчитывать отдельно для каждой группы товаров или бизнес-модели, например наборов ужинов по подписке и наборов-конструкторов. Для более точного расчёта стоит посчитать уровень возврата инвестиций отдельно для каждого канала — это можно сделать самостоятельно или с привлечением консультантов.

⁃ Рост доходов может приводить к повышению расходов. Например, если ваши сотрудники получают сдельную оплату или их вознаграждение частично привязано к среднему чеку. Такое часто бывает в магазинах, где продавцы получают процент от продаж. Эти дополнительные расходы надо учитывать в формуле расчёта маржинальной прибыли — тогда расчёт будет точнее.

Какие еще преимущества есть у юнит-экономики? Расскажет Александр Багрей, руководитель b2b-направления в медиа и наставник в Яндекс Практикуме на курсе «Unit-экономика». Также там обсудят, что такое юнит-экономика, на какие вопросы она отвечает и какие инструменты для работы с ней существуют.
Если вам интересны менеджмент проектов, управление командой и юнит-экономике, узнайте о них больше на -дне открытых дверей вебинаре направления менеджмента Яндекс Практикума бесплатно, 19 октября 13:00 по МСК.

На встрече будут также блоки о менеджменте, полезные для управления продуктами: чем менеджер проектов похож на других менеджеров и чем отличается от них и как проходит неделя проджекта - опытом поделится Станислав Беляев, Engineering Manager в компании Microsoft; как менеджеру освоиться в новой команде и заработать авторитет - расскажет Юлия Аравина, наставница на курсе «Управление командой», HR в IT, рознице, ресторанном бизнесе, производстве и образовании.

Зарегистрироваться по ссылке

Чек-лист: когда использовать CustDev

Ситуация №1 — создаёте продукт на уже существующем рынке. Что нужно понять:
• правила игры: кто уже есть на рынке, кто лидер, какая здесь ценовая политика;
• как люди выбирают аналогичные продукты, что важно для пользователей;
• чем доволен и недоволен пользователь, какие проблемы он испытывает при использовании существующих сервисов.

Ситуация №2 — создаёте продукт на новом рынке. Что нужно понять:
• кто будущие потребители;
• с какими проблемами они сталкиваются, какие потребности у потенциальных клиентов;
• насколько важно решение этой проблемы;
• может ли возникнуть спрос в принципе;
• чего не хватает продукту, чтобы быть востребованным.

Ситуация №3 — продукт уже есть. Улучшаете продукт, сервис, повышаете продажи. Что нужно понять:
• почему потребители выбирают вас;
• почему покупают у конкурентов, а не у вас;
• в каких ситуациях и жизненных обстоятельствах потребляют ваши продукты;
• кто именно потребляет;
• кто принимает решение о покупке;
• каков текущий процесс использования вашего продукта.

Тренды е-mail рассылок

1. UGC-контент. Уже все кому не лень рассказать, как важно социальное доказательство для любой аудитории. В связи с популяризацией контента, нацеленного на социальные пруфы, в тренды имейл-маркетинга ворвался UGC-контент. UGC-контент — это могут быть отзывы; результаты опросов, анбоксинг и кейсы.

2. AMP — Accelerated Mobile Pages. Это фреймворк элементов страницы от Google, с помощью которого веб-страницы загружаются в ускоренном и упрощенном режиме на мобильных устройствах. Технологию внедрили в далеком 2019 году, но популярность она набирает только сейчас.

Таким образом пользователь не переходит на отдельную страницу, но при этом имеет возможность прямо в письме выполнить следующие операции: приобрести товар среди выбранных позиций, просмотреть каталог продуктов и добавить понравившиеся в корзину (корзина будет отображаться на сайте-доноре), оставить комментарий, отзыв и оценку, забронировать отель или зарезервировать товар; выбрать вариант ответа в опросе или сыграть в интерактивную игру и перенести единицу товара в категорию избранных.

3. Коллаборации и совместный контент. Компания и блогер обмениваются постами: в своих письмах электронного формата компания внедряет фото/логотип/цитаты и обращения блогера, а тот в свою очередь освещает рассылку в своем блоге и призывает принять участие в ней, оставить личную почту и подписаться. Использование высказываний и опыта инфлюенсера.

4. На рынке существую два типа готовых инструментов для рассылок писем, один относятся к классу ESP систем, для маркетологов - установил и рассылай письма, а вторые - для продактов, SDK ESP системы, которые можно легко встроить в свой продукт под капот и отправлять письма, поддерживающие все вышеперечисленные тренды. В России после ухода с рынка Amazon SES, MailGun, SendGrid лидирует Unisender Go.

Какими бывают карты пути обучения и как их использовать?

- Карты, показывающие путь ученика в существующем образовательном продукте. Они отражают текущее состояние образовательного продукта и помогают определить, как его можно улучшить. При составлении такой карты, как правило, уже имеются данные о реальном опыте студентов (полученные через обратную связь или в результате исследований), а также гипотезы, которые предстоит проверить на практике. Для создания этой карты лучше всего обратиться к методистам, которые разрабатывают сам обучающий курс.

- Карты, показывающие идеальный путь ученика, который нужно достичь. Такая карта основана на нашем представлении о будущем и помогает продумать опыт студента с нуля, если мы хотим радикально изменить текущую программу обучения или создать новую.

- Карты, отражающие опыт ученика только внутри курса. Эти LJM показывают маршрут студента от регистрации на курсе до его завершения. Такая карта может подробно описывать поведение, настроение и мысли учащегося в каждый момент времени или состоять из крупных блоков и отражать изменения от модуля к модулю.

- Карты, показывающие опыт студента внутри обучения и вне его. Такая карта позволяет посмотреть шире: на то, как студент выбирает обучение, как проходит его жизнь вне образовательного пространства. Составлять такую LJM интересно, но сложно: чем больший масштаб вы берёте, тем больше появляется факторов, которые невозможно измерить и на которые нельзя повлиять.

Где найти первых клиентов/ получить фидбэк на свой продукт?

1. Communities
- Первым делом я всегда пытаюсь найти коммуны в слаке, зайти в раздел #intro - и представить там себя и свой запрос
- Коммуны в Indie Hackers - там можно найи ребят причастных к своей нише, найти их почту и выйти на них омниканально - почта/линкдин
- Коммуны в ФБ - тоже работает, но хуже
- Ну и даже если наше ЦА не в РФ, мы все равно выходим на коммуны в ТГ чтобы посмотреть можем ли там собрать релевантного фидбэка

Такой подход лучше делать персанолизированно и качественно, а не количественно. Я всегда читаю то, чем занимается человек и пытаюсь похвалить его неординарно и искренне, чтобы точно было понятно, что я не автоматизирую.

2. Traditional Outreach
- Находим релевантные листы ЦА в гугл, делаем небольшой рисерч на каждый, квалифицируем
- Дальше мы юзаем Snovio для сорсинга и аутрича омниканально (почта и линкдин)

Здесь мы всегда пытаемся потестить разные походы:
а) Продаем с подсветом преимуществ
б) Просим помощи как фаундеры
в) Делимся своей историей из прошлого, которая склонит их к тому, чтобы понять что мы им нужны

3. FFF (family, friends, fools)
- Сюда лезем не сразу, но если фидбэк затягивается, то прибегаем в к личному нетворку и знакомым для интро
- Таких обычно очень мало, если лезть в новую нишу, но зато это самый теплый путь

4. Еще пару трюков
- Можно найти тех, кто уже работает с твоей ЦА как агенство, консультант, создатель сообщества итп. И предложить ему процент за интро если клиент сконвертится
- Можно посеять семена раздора в коммунах
Например, когда мы делали тул для блогеров, мы писали с фейковых аккаунтов под постами у блогеров “ А вы слышали про такой-то тул? Я через него делаю то-то, вы там есть?” - когда это применяется омниканально - тоже дает эффект “я везде об это слышу, у меня фомо”
Или например, когда мы тестировали smart investing -
тоже писали в группах “Ребят, а вы слышали про {название конкурента}? Я хочу их попробовать”
И если кто ответит положительно - это скорее наша ЦА и мы идем с ним общаться под видом того, что хотим получить рекомендацию.

Стратегия работы над продуктом в кризис

1. Изменение цели планирования и составления бюджета
Кроме показателя “чистая прибыль” есть еще ряд очень важных показателей, которые связаны с производительностью компании. Лучше анализировать более высокую производительность, а не предсказуемую прибыль. Для измерения производительности существует ряд показателей, отличных от показателя “чистая прибыль”. Модель долгосрочного планирования, и четкого следования плану особенно неэффективна в периоды постоянных кризисов и событий черных лебедей, таких как пандемия, социальные беспорядки, цифровые сбои, военные конфликты, теракты, финансовый шок и кризис окружающей среды.
Результатами эффективного планирования и составление бюджета являются:
• улучшение результатов для клиентов,
• сотрудников,
• инвесторов
• и сообществ

2. Переключить акцент с финансовой точности на стратегический успех
Более эффективный подход заключается в том, чтобы превратить целевые результаты повышения производительности в стратегические руководящие принципы, которые будут применяться в процессе составления бюджета и адаптации. Это ответы на вопросы:
• Каковы результаты, которые будут наиболее важны для стратегического успеха?
• В свете этих приоритетов куда следует направлять ресурсы? (например, какая часть наших ресурсов должна идти на управление бизнесом (операции) по сравнению с изменением бизнеса (инновации)?)
• В рамках инноваций, каков правильный баланс между ресурсами, идущими к постепенным инновациям, и к прорывным инновациям?
• Сколько средств должно поступать в различные сегменты клиента?
• Сколько средств должно поступать по различным каналам сбыта, географическим регионам, бизнес-единицам, торговым маркам или линейкам продуктов?
• Сколько наших технологических ресурсов должным образом расходуется на поддержание текущих систем в рабочем состоянии по сравнению с разработкой новых функций или улучшением архитектуры?
• Какие гипотезы должны быть верны для того, чтобы эти стратегии распределения ресурсов работали, и как мы можем проверить их наиболее быстро и эффективно?

3. Планировать быстрее и чаще
Если бюджеты не гибки и итоговый план не может быть скорректирован, человек, делающий его, естественно, одержим его точностью. Однако, если мы можем корректировать долгосрочный план каждый квартал, месяц или неделю, мы можем постоянно повышать его точность за гораздо меньшее время и с гораздо меньшими усилиями. Наилучшим способом улучшения является постановка смелых, сложных задач, а затем корректировка планов с учетом накопленного ценного опыта. Бизнес-планирование может следовать аналогичным принципам:
• описывать ожидаемый путь,
• оценивать неопределенность и разумный диапазон результатов,
• уточнять гипотезы, лежащие в основе прогнозов,
• отслеживать достоверность этих гипотез,
• изменять ошибочные
• адаптировать планы для достижения наилучших возможных результатов в свете наиболее точной информации.

Возможности видеоаналитики сегодня

1. Распознавание лиц и привязка к ID. Сбор статистики посещений;

2. Подсчет количества посетителей при входе в ТЦ, магазин;

3. Выявление нарушений регламентов;

4. Определение точного времени взаимодействия менеджеров и клиентов;

5. Учет трафика сотрудников и клиентов в течение дня;

6. Учет рабочего времени;

7. Сигнализирование системы в случае отсутствия персонала;

8. Определение номера транспортного средства со сложных углов;

9. Контроль кассовой зоны: выявление противоправных действий, дисциплинарных нарушений;

10. Контроль очередей;

11. Определение количества заполняемой посуды;

12. Определение возгорания при помощи спектрального анализа;

13.Определение и уведомление о падении и невозможности подняться (актуально при контроле территорий, прилегающей к социальным объектам);

14. Контроль оставленных предметов - антитеррористическая защищенность и контроль обращений.

Несколько ошибок применения HADI-циклов

1. Не отказываться от неподтвержденных гипотез

Была гипотеза, которую очень любили. Раньше кандидат при заполнении анкеты прикреплял своё резюме — и только потом мог посмотреть стартапы с открытыми вакансиями.
Мы предположили, что если убрать шаг прикрепления резюме из анкеты и запрашивать его у кандидата уже после того, как он заинтересовался стартапом, то кандидаты будут охотнее прикреплять резюме. Но вышло с точностью до наоборот: конверсия в заполнение резюме знатно упала.
Тем не менее, гипотеза была нам очень дорога, и мы не были готовы от неё так просто отказаться. Мы начали копать внутрь данных и убеждать себя, что кандидаты начали оставлять более качественные резюме. Находить причины, почему падение конверсии тут для нас не критично, придумывать, как мы можем жить с этим.
Всё это был самообман — в сентябре мы наконец вернули резюме обратно.

2. Не декомпозировать гипотезы

Было предположение, что подогревающие письма в разные моменты жизненного пути кандидата и стартапа в сервисе помогут увеличить конверсию на всех этапах. Это действительно оказалось так, но в чем же ошибка? Мы на самом деле тестировали несколько гипотез в рамках одной. Каждое отдельное письмо — это гипотеза.

Чтобы начать проверку этой гипотезы, потратили почти месяц: неделю искали время для двухчасовой встречи, 3-4 дня готовили ТЗ и сами письма, а еще полторы недели разработчики реализовывали функционал отправки писем по событию.
Если бы мы тестировали отдельно каждое письмо, то смогли бы получить первый результат уже через 2 дня после постановки гипотезы. И точно узнать, какое письмо сработало, какое нет, и почему. Поэтому несмотря на то, что гипотеза сработала и показала неплохой прирост показателей, считать её однозначно успешной нельзя. Если бы мы чуть аккуратнее подошли к процессу — получили бы больший рост и быстрее.

3. Тестировать связанные гипотезы, которые влияют на один и тот же показатель

Когда добавляли мотивацию с помощью 3-х недельной программы по развитию бизнеса, конверсия в закрытие вакансии сильно возросла. Потом мы методично уменьшали стоимость мотивации для нас, пока не убрали её совсем. При этом конверсия не падала. Аккуратно разобрали статистику и выяснили, что гипотеза «Убрать неактивные стартапы из подбора» повлияла и на конверсию в закрытие вакансии (match) — остались более мотивированные команды, и они не только чаще отвечали лайкнувшим их кандидатам, но и выставляли статусы после встречи.

Как получить максимум из прогнозных моделей

• Необходимы данные глубиной от 1,5 лет. Также есть критический минимум данных — это справочник товаров, исторические продажи, исторические цены и промо.
• Требуется постоянная корректировка метрик. Нельзя зацикливаться на одном текущем понимании метрики. Следует улучшать алгоритм в сторону метрики, а метрику — в сторону идеального направления.
• Необходимо работать с обратной связью. Непрерывно собирать гипотезы от бизнес-пользователей, менеджеров и технических специалистов.
• Модели должны не только качественно прогнозировать, но и быть интерпретируемыми бизнес-пользователями.
• Модели необходимо регулярно обучать заново. Проверить, как часто следует это делать, можно экспериментально. Далее соблюдаем найденный интервал без потери качества прогноза.
• Зачастую требуется развитие моделей. У всех появляются новые желания. Также необходимо оптимизировать метрики качества и модели.
• Отслеживание каннибализации следует отдельно закладывать в модель, так как для нее не очевидны зависимости спроса двух схожих товаров. Объем работы зависит от количества товаров. При малом количестве товаров можно настроить матрицу каннибализации вручную. Это требует временных затрат, но результат будет ощутим.
• При оценке качества прогнозов принято использовать две ключевые метрики: WAPE (взвешенная абсолютная процентная ошибка) — показывает ширину разброса наших прогнозов, учитывая веса товаров в общих продажах и BIAS (смещение) — показывает смещение ошибок прогноза в положительную или отрицательную сторону.

Метрики эффективности менеджера проекта

Вокруг оценки эффективности работы проджектов много странного: там и эфемерное мастерство управления, и развитость уже упомянутых софт скиллс, и процент выполнения проектов в срок, и соотношение бюджета и доработок, и соответствие стандартам, и прочая экзотика.

Нагляднее могут быть общие метрики из Agile-разработки, которые так проще измерить и которые так нравятся всем заказчикам:

Velocity, или Скорость — объем проделанной командой работы за один спринт. Если менеджер уложился в планируемый объем, значит, он эффективно «науправлял».

Cycle time, или Время цикла — время для выполнения одной задачи.

Cumulative flow, или Совокупный поток — количество разных типов задач на каждой стадии проекта. Показывает, насколько эффективно задачи продвигаются по разным стадия проекта.

Flow efficiency, или Эффективность потока — соотношение времени работы и времени ожидания.

Команда ценит проджектов за помощь. Они распределяют нагрузку, приоритезируют задачи, запрашивают нужные данные у клиента. Если у кого-то из команды сложный период в жизни, менеджер поможет довести проект до конца. Может утешить, найти замену или зарядить мотивацией.

Мы спросили разных специалистов, как менеджеры проектов улучшили их жизнь — результаты читайте на карточках по ссылке - https://t.me/productmanchat/1045

А если вам по душе превращать хаос в порядок — попробуйте себя в управлении проектами.
Примерить профессию можно в бесплатной вводной части курса

Практические советы для руководителей продактов


-Не жалей времени на планирование собственного времени. Задача — сделать переключение контекста управляемым. Помни о том, что собака виляет хвостом, а не хвост собакой.

-Попробуй разделять периодами фокус на определенном контексте — по кварталам или хотя бы по месяцам. Месяц с фокусом на одном продукте, месяц — на другом.

-В книге Essentialism (рекомендуем к прочтению) рассказано о том, что Билл Гейтс каждый вторник проводит вне
встреч и вне офиса — чтобы подумать о том, о сем стратегическом. Крутая практика, здорово, если она появится и у тебя — день, когда можно только думать о больших делах или проблемах.

-Не больше 7 прямых подчиненных — потому что о каждом нужно заботиться, и погружаться в его контекст.

-Изучи, как выглядит отправная точка твоей команды. Лучше сформировать список четких компетенций и областей знаний, в которых людям нужно быть крутыми. На базе этого провести оценку, и помочь каждому с его личным треком роста.

-Сделай регулярную практику для себя — искать полезные ресурсы и презентовать их команде. Твоя задача не просто “отдать долг”, но повысить конверсию в изучение. И тут уж надо постараться — объяснить, какие боли закроет статья, почему стоит пройти курс, и зачем идти советоваться

-Составь для себя список понятных и достижимых практик по тому, как ты будешь развивать свое лидерство — встречи с экспертами, чтение, применение инструментов к работе. Чем быстрее ты поймешь, какая лидерская модель тебе подходит и как ей управлять, тем лучше сможешь работать со своей командой.

-Вместе с командой сформируй понятные, прозрачные и логичные цели для вашего продукта или продуктов. Понимание этих целей позволит лучше спрогнозировать необходимые ресурсы.

-Сделай для команды понятный инструмент и процесс — как они могут запросить ресурсы. Когда-то им может понадобиться корпоративная карточка с небольшим бюджетом, а когда-то доступ к исследователям или копирайтерам. Круто, если такая задача не будет вводить их в ступор, требовать отдельной встречи с тобой. Нужно, чтобы они знали ответ на самый сложный вопрос “что делать” и могли воспользоваться этим знанием для ускорения своей работы

4 принципа гибкого подхода

1. Начинать с малого
Делать сразу большую систему рискованно: нет гарантии, что она окупится, рынок может измениться и она потеряет актуальность.

Вместо того чтобы сразу запускать полномасштабную разработку, выберите самую важную функцию для пользователя и выпустите её. Соберите обратную связь и запланируйте следующий шаг — чем быстрее, тем лучше.

2. Думать гипотезами, а не большими планами
Чтобы сохранить гибкость, предприниматель делает небольшие шаги на основе гипотез: выдвигает предположения, какое решение может быть востребовано на рынке и как его можно реализовать. Например:
«Если мы сделаем конкретный оффер на узкую аудиторию, сможем снизить стоимость привлечения на 10%».
Гипотезу можно быстро проверить. Не придётся разрабатывать что-то месяцами: на запуск хватит нескольких дней или даже часов, останется только оценить результат и принять решение о следующем шаге.

3. Опираться на метрики
Нужно определить список приоритетных метрик — количественных показателей, с помощью которых вы оцениваете состояние продукта или бизнеса. Например, конверсия, рентеншен, стоимость привлечения или средний чек.

4. Искать бутылочное горлышко
Когда компания растёт, проявлять гибкость на глобальном уровне уже сложно: есть стабильное количество пользователей или клиентов, сложившаяся экономика, прогнозируемый денежный поток. Проверять модель в этом случае уже не нужно.На этом этапе гибкость переходит на более низкий уровень. Команда ищет способы оптимизировать работу, повысить эффективность, заработать больше. То есть, начинает искать узкие места в системе — бутылочные горлышки.
Например:
• Отдельно можно рассмотреть воронку привлечения клиентов — от первого касания до оплаты. Найти узкие места и исправить их, чтобы сэкономить на привлечении.
• Отдельно — процесс регистрации и онбординга в продукт, чтобы улучшить ретеншн.
• Отдельно — использование продукта и повторные оплаты, чтобы увеличить LTV.
• Отдельно — внутренние процессы вроде документооборота и найма, чтобы снизить издержки.

Приемы для проведения финансового анализа

Как правило, эти приемы комбинируются, так как ни один из них не является универсальным.

1. Горизонтальный анализ — анализ динамики показателей посредством сравнения текущих показателей с показателями предыдущих периодов.

2. Вертикальный (структурный) анализ — определение степени влияния отдельных статей баланса на общие итоговые показатели деятельности предприятия.

3. Трендовый анализ — сравнение определенных показателей отчетности с целью прослеживания тенденции отклонений этих показателей в определенной временной динамике.

4. Анализ относительных показателей (коэффициентов) — анализ отношения абсолютных показателей бухгалтерской отчетности. При этом существуют предпочтительные значения тех или иных коэффициентов, которые зависят от отраслевых особенностей предприятия, его размеров и прочих условий.

5. Сравнительный (пространственный) анализ — сравнение показателей предприятия с:
1) показателями своих подразделений с целью поиска возможностей увеличения эффективности финансово-хозяйственной деятельности подразделений,
2) со среднеотраслевыми значениями и значениями показателей предприятий конкурентов для определения уровня конкурентоспособности с возможностью дальнейшего повышения эффективности финансово-хозяйственной деятельности предприятия,
3) с плановыми показателями с целью выявления отклонений отчетных показателей деятельности предприятия от нормативных с последующей разработкой рекомендаций по корректировке «слабых» направлений финансово-хозяйственной деятельности предприятия.

6. Факторный анализ — оценка влияния определенных внешних и внутренних факторов на исследуемый результативный показатель.

Согласно данным hh.ru, финансовый анализ входит в топ-5 требуемых навыков в вакансиях специалистов финансовой среды, в том числе продактом. Освойте его на курсе Яндекс Практикума за 4 месяца с основными инструментами и подходами: управленческий учёт, план-факт анализ, сбор больших данных и работа с ними и моделирование на основе анализа ретроспективных данных.

Учиться предстоит под руководством наставников — практикующих финансовых аналитиков и финансовых управленцев. Практика — на кейсах из популярных отраслей бизнеса.

Запишитесь в первый поток курса

Правила для быстрого роста продуктов

Варианты для улучшения бизнеса продукта

1. Идеальный вариант: зарабатывайте больше на клиентах.
— Компания Airbnb перешла на долгосрочную аренду (пивот).
— Tellme автоматизировала процессы и улучшила сам продукт.
— Zappos расширила ассортимент и повысила средний чек.

2. Хороший вариант: улучшите юнит-экономику.
— Airbnb урезала расходы на маркетинг.
— Tellme повысила ROI.
— Zappos сделала так, чтобы уже первый заказ окупался.

3. Нормальный вариант: отрежьте лишнее.
— Компании Airbnb, Tellme и Zappos сокращали своих сотрудников в трудные времена (пандемия, 11 сентября, кризис 2008 и т. д.), после чего всегда находили способ работать эффективнее. «Все, что не убивает, делает нас сильнее».

4. Выживание — это не счастливая спокойная жизнь; это жизнь в экстремальных условиях в окружении правил, которые вам вряд ли понравятся. Поэтому при необходимости привлекайте инвестиции или берите в долг, даже если это дорого. Но только при необходимости.
— В разгар пандемии Airbnb привлекла $2 млрд долга по высокой процентной ставке 10%, а DoorDash подняла два очень сложных раунда.

5. Забудьте о необоснованном стремлении к большему и сконцентрируйтесь на самых важных элементах продукта.
— Так, Airbnb сократила расходы на маркетинг, но инвестировала в компанию Zeus Living, специализирующуюся на долгосрочной аренде жилья для корпоративных работников.
— Zappos также урезала расходы на маркетинг, но зато вложилась в расширение ассортимента и улучшение клиентского сервиса.

6. Ограничения порождают креативность
— Умение разглядеть достоинства и недостатки всех вариантов развития событий — серьезный навык, который позволяет перестать впустую тратить деньги и сосредоточиться на поиске лучших решений.
— Поэтому кризис — это не только боль и страдания, но и время для размышлений и возможностей.
— В сложный период Zappos придумала программу подарочных карт, улучшила показатели CAC и LTV и т. д.

По каким метрикам анализировать фин-модель стартапа

1. Bookings (заказы) vs. Revenue (прибыль). Bookings — это оценка стоимости контракта между компанией и клиентом. Эта метрика отражает обязательство клиента заплатить компании указанные в договоре деньги. О прибыли (Revenue) можно говорить тогда, когда услуга уже оказана или будет оказываться регулярно в течение указанного в договоре срока подписки.

2. Recurring Revenue (повторяющийся доход) vs. Total Revenue (общий доход). То, что вы получаете при продаже программного обеспечения или самого продукта. Метрика ARR (Annual Recurring Revenue — годовой повторяющийся доход) служит для оценки компонентов дохода, которые повторяются естественным образом и не включает в себя единовременные сборы и специальные платежи.

3. Gross Profit (Валовая прибыль). Хотя важность роста доходности первых строчек баланса трудно переоценить, инвесторы хотят понимать, насколько прибыльным является этот поток дохода. Валовая прибыль является той метрикой, которая это показывает. Валовая прибыль может складываться из разных компонентов, но в итоге она должна учитывать все расходы на производство, поставку и поддержку продукта или услуги. Поэтому будьте готовы вычесть эти затраты из вашей валовой прибыли.

4. TCV — Total Contract Value (общая стоимость контракта) vs. ACV — Annual Contract Value. TCV может со временем увеличиваться или уменьшаться. TCV учитывает также единовременные расходы, оплату специальных услуг и повторяющиеся платежи. ACV отражает общую стоимость контракта в течение 12-месячного периода. Вот что нужно выяснить об этой метрике:

5. LTV — Life Time Value. Текущая оценка будущей чистой прибыли от клиента на протяжении всего периода его отношений с компанией. Распространённая ошибка состоит в том, что пожизненная ценность рассчитывается как текущая стоимость доходов или даже валовая маржа от клиента, хотя правильнее считать её как прибыль от клиента на протяжении всего периода отношений с ним.

6. GMV — Gross Merchandise Value (полная товарная стоимость) vs. Revenue (доход). Общий объём товарных транзакций за определённый период в долларах. Это реальная выручка, деньги, которые тратят клиенты. Эта метрика может пригодиться в качестве «оценки набранного темпа» при переводе результатов последнего месяца или квартала в термины годовых метрик.

7. Unearned or Deferred Revenue (доходы будущих периодов) и Billings (заказы). В SaaS-бизнесе — это те деньги, которые вы собираете при заказе продукта (услуги), то есть до его получения (реализации). Выручка — гораздо лучший индикатор для прогнозирования здоровья SaaS-компании, чем просто доход, потому что доход недооценивает реальную ценность клиента, которая возрастает пропорционально объёму. Н

8. CAC — Customer Acquisition Cost (стоимость привлечения клиента). Метрика CAC должна включать в себя все расходы по привлечению каждого клиента в базе. К сожалению, метрика CAC применяется в разных формах и размерах.