Количественные опросы: казнить нельзя помиловать. Часть 2.
Часть 1

✈ Пилотируем?
До запуска я прогнала опрос на небольшой тестовой выборке, которая помогла вычитать вопросы/ответы на понятность и логичность, где-то указала на дубли или на недостаток вариантов ответов. Мне хватило 10 человек.

🚀 Как соберём максимум ответов быстро?
Нужно продумать лучший канал дистрибуции. Например, если бы мы просто разместили ссылку на опрос в каком-то общем канале в Слаке, мы бы получили значимо меньше ответов. Поэтому мы использовали наш notification сервис и отправили через бота пуш всем сотрудникам в Слак и на почту.
Эффект был максимальный! В моих OKRах стояло «собрать 200 ответов на опрос», я закрыла этот пункт за 20 минут! А в течение суток нападало еще 400+ ответов.
Еще один хороший канал – через внутреннюю LMS систему, которая периодически напоминает тебе об опросе, если он еще не пройден.

🚢 А сколько вообще надо ответов?
Столько, чтобы выборка респондентов получилась репрезентативной, так что учитываем точность и доверительный интервал. Есть специальные калькуляторы, которые могут помочь прикинуть объем выборки, как и с A/B тестами.
Также важно подумать, будем ли мы сравнивать части выборки между собой (в моем случае менеджеры VS линейные сотрудники или Тех VS non-тех). Тогда нужно также подумать, с помощью какого статистического инструмента будет происходить расчет, и сколько для него нужно данных. Чаще всего анализ будет происходить с помощью т-теста для независимых выборок.

🛸 Как анализируем результаты?
Из опроса можно было извлечь информацию трех пластов:
- что там по гипотезам?
- что там с метриками?
- есть какие инсайты?
Поэтому при планировании исследования было полезно сделать табличку «гипотеза - вопросы, которые ее поддерживают - результаты». Так я понимала лучше, как именно буду использовать ответы из 80 вопросов, как лучше крутить данные.
Если у нет аналитика в помощь, то нельзя забывать о статистической значимости, которая приходит в помощь, когда возникает вопрос «а как понять, есть ли различия между результатами по выборкам?». Если в A/B мы работаем с конверсией используем доверительный интервал, то в случае сравнения абсолютных величин нам помогает т-тест. Если не было опыта с мат. методами в исследованиях, то можно почитать статьи по запросу «сравнение средних двух независимых выборок».

В общем, я преисполнилась🥳 Вспомнила времена Вышки, когда количественные исследования были моим любимым предметом, и как я до 4 утра сидела перед предзащитой и крутила данные в разные стороны, доставая их них все новые и новые инсайты.
Надо будет повторить!

Давно меня не было здесь. Сначала не было вдохновения, а с конца февраля все это перестало казаться важным. Но недавно постепенно снова начала выходить в люди и вести очные выступления (после стольких лет!) и вебинары. Подумала, что могу хотя бы рассказывать о том, о чем говорю на закрытых выступлениях, или приглашать на них, если они открытые.
А потом снова начну рассказывать о том, что происходит на работе - ох, сколько всего в Авито Пипл изменилось за полгода.

🚀 Ну а пока - приходите завтра на мой вебинар с ProductStar, где я расскажу о моем видении того, как продуктовый подход, автоматизация и оптимизация процессов могут помочь в классическом HR. Фокус буду делать на процессы Performance Review и Recuitment. Кстати, если кто-то собирается проходить обучение от ProductStar, приходите в личку, у меня есть промокод на отличную скидку.

Регистрация на вебинар ->

🎤 Появилась запись вебинара про продуктовый подход в HR, который проводили вместе с ProductStar и TeachBase. Тема максимально моя, поэтому получила огромное удовольствие, когда готовила контент и рассказывала про кейсы.
Рассказала про два кейса: первый про рекрутмент из моего очень древнего допродуктового опыта, второй уже Авитовский, про который раньше не рассказывала в метриках даже здесь.
https://www.youtube.com/watch?v=tBMVkNEoZb4&ab_channel=Teachbase

Раз в год здесь будет очень личная исповедь про выгорание.

Хотя очень бы не хотелось. Но, согласно исследованиям, ИТшка – самая выгорающая индустрия, так что неудивительно, что мы снова здесь. Правда, сейчас меня накрыло не от работы (которая как всегда клевая), а от остальной жизни.

☄ Выгорание – это то, с чего начался мой канал, и к чему я пришла сейчас (или на очень тонкой грани). Я уже неделю медитирую на наполовину написанный пост про метрики, но не могу найти в себе силы и вдохновение закончить его. И вроде бы все логично, у меня слишком много дел: три бэклога одновременно, команда, стратегия, вебинары почти каждую неделю, периодическое менторство, работа с моим ментором… но факт остается фактом. Уже несколько месяцев я шлю нахрен те вещи, которым бы раньше с радостью сказала «да», но при этом же продолжаю закидывать себя разными активностями.

Кажется, началось все в тот момент, когда я была переполнена запросами как бесплатный ментор, от которых я не отказывалась. Сильно помогло поставить на Getmentor ценник: запросы в разы сократились и стали более структурированными. Но я продолжала вести некоторых бесплатных менти, с которыми начала работу еще осенью, постепенно чувствуя, что это превращается в какую-то бесцельную кашу с обеих сторон. Пропало чувство, что я кому-то помогаю, и появлялось чувство бессилия.

Очень сильно на меня давил и давит ремонт, который в процессе с января, и на него уходит невероятное количество негативных эмоций и денег.

Где-то в октябре я наконец нашла стоящего психотерапевта, который помог мне признать абьюзивность ситуаций, в которые я себя загоняю. И увидеть дыру внутри, которую я заполняю чем не попадя: продуктами, проектами, менторством, фигурным катанием, пет проджектом, преподаванием, выступлениями, едой.

Чему я при этом говорила «не сегодня»?
1. Системному внерабочему развитию, книгам и оплаченному доступу к EpicGrowth.
2. Нормальным отношениям с друзьями-неколлегами. Но, благо друг, с которым я сейчас больше всего общаюсь, пингует меня, кидает фотки с котиками и достает из того кокона, в который я спряталась ❤️
3. Просто нормальным отношениям.
4. Моему каналу 💔 (исправляюсь!).
5. Проблемам с ремонтом, который непозволительно затянулся.
6. Пет проджекту по фигурному катанию и желанию писать статьи про мужское одиночное на Спортс.ру – И СЛАВА БОГУ.

Я никогда раньше не выгорала не из-за работы. Я думала, что все нормально, я максимально строго слежу за life/work balance, вовремя ухожу из офиса, редко кому отвечаю в выходные и упаси боже меня в выходные открыть ноут не ради сериала.

И сейчас у меня буквально противоположное состояние с моими предыдущими (пред)выгораниями: я с радостью иду на работу, беру новые продукты, вовлекаюсь в смежные активности и хакатоны, но при этом после работы ничего не хочу и даже руку поднять не могу.

Предвыгоревшее состояние – ужасная штука. Ты вроде бы понимаешь, что все ок, но при этом эмоциональное состояние обостряется настолько, что начинаешь срываться на людей, хочется сначала напиться кофе до состояния продуктивности, а вечером гасить это состояние успокоительным, хочется разогнаться до 200 км/ч, чтобы почувствовать вдохновение и свободу, а по итогу оказываешься на трассе с разбитой в тотал машиной.

❣ Если заметите в себе увеличившуюся раздражительность, циничность, уменьшившуюся эмпатию, постоянное обесценивание того, что вы делаете, результатов, которых вы достигаете, то просто притормозите и посмотрите со стороны на свое эмоциональное состояние. Возможно, нужно просто нахрен остановиться.

"Если автоматизировать хаос, то вы получите не диснеевский замок, а автоматизированный хаос"

Пару недель назад записывала вебинар про диджитализацию HR вместе с ProductStar и TeachBase, а к сегодняшнему дню ребята успели его разобрать на целых две статьи, одну из которых выложили на VC.
Прочесть статью

Сегодня увидела, что в комментариях целая дискуссия развернулась о том, что такое продукты в HR 😏

Для меня эта статья и этот вебинар ценны тем, что мы в первый раз рассказали о том, что мы сделали в Avito People с точки зрения влияния на метрики и процессы Performance Review, и как команда мы очень гордимся результатом 💜
Клево, что у нас это становится возможным.

Продакты внутренних продуктов слабее?

В последнее время много сталкиваюсь с проблемой восприятия продактов внутренних продуктов и их скиллов лид продактами внешних продуктов. Чаще всего, конечно, такая проблема проявляется в рекрутменте, когда ПМы внешних решений оценивают ребят с опытом внутренних продуктов.

И знаете что? Если оценивать их как ПМов на внешние продукты, то в большинстве своем они реально не тянут. Но! Когда я оцениваю ПМа с B2C/B2B опытом к себе на внутренние решения, то – сюрприз – он с вероятностью 90% тоже не тянет.
И дело не в том, что кто-то сильнее, а кто-то слабее. Это специфика опыта и направленности фокуса и интересов.

Какие я вижу различия в скиллах, которые проявляются сразу, как человек становится хотя бы джун+?

📊 Другие метрики. Недавно на тусовке общалась с крутым мальчиком, который занимался продуктами для customer support. Мальчик очень круто рассказывал про метрики своего продукта, для него не было труда выделить ключевые метрики саппорта, на которые он может повлиять, но кроме них он сказал про сокращение времени бизнеса и стоимости разработки. И это было максимально круто! Во-первых, человек реально называет те метрики, которые важны для бизнеса, помогают ему либо заработать деньги, либо сэкономить (а не какой-нибудь пресловутый NPS, который все так любят неправильно замерять). Во-вторых, он знает изначальное значение этой метрики и ее значение после своего влияния. В-третьих, он смог изменениями в продукте на нее повлиять. Ну magic же!

С нами в разговоре участвовал ПМ внешних продуктов, который разгромил буквально все, что сказал мальчик. Ему метрики показались глупыми: «логично, что ты делаешь изменение в продукте, и время на процесс сокращается. Почему ты не говоришь ничего про ретеншн или конверсию?» Но какой ретеншн? И конверсию во что? Это же внутренний продукт. Если смотреть по дням, то Avito People ретеншн вышел на плато на уровне 45%. А месячный стремится к 100%. Я не говорю, что ретеншн – мусорная метрика для всех внутренних продуктов, но для большой ее части – да. На каждом внутреннем подпродукте должна быть своя основная метрика, которая обусловлена целями сегмента бизнеса, для которого создается этот продуктик.

⚖ Мы почти не делаем А/В. Это правда. Для нас это довольно дорого, не говоря уже о том, что не всегда хватает аудитории для нормального сравнения выборок. А еще есть этическая сторона: мы берем группу своих сотрудников и для них делаем лучше или хуже. И на 100% в компании узнают о том, что проводится тест, и либо попросятся в него, либо попросят себя оттуда исключить. Мы в Пипле видели необходимость провести А/В в прошлом квартале, и для нас это стало чуть ли не одной из квартальных целей. И без такой же острой необходимости я больше не пойду его проводить.
При этом я согласна с тем, что ПМ внутренних продуктов должен знать теорию и уметь запускать А/В. А еще иметь сильную аналитическую подкованность и знать, как работать с данными количественных исследований.

🩼 Приоритизация с костылями. На внутренние продукты всегда мало ресурсов. И это говорю даже я, у которой в этом квартале 4 команды занимаются только C&B продуктами. Людей не хватает всегда, уровень автоматизации разных процессов всегда разный, где-то метрики вышли на бэйзлайн, а где-то Цели все еще в эксельке ставятся. И классический RICE не подходит. В нашей приоритизации много математики, но кроме нее и много коммуникаций с заказчиком и жестких решений на уровне «берем эти три стрима, а эти три на фича фризе весь год».

⚙ Необходимость понимать бизнес-процессы. Честно, всегда сложно адаптировать человека, который умеет в go-to-market и понимает маркетинг, но не знает, из чего складывается условная воронка на подбор. И наоборот. Понятно, что это хард скиллы, которые набираются довольно быстро, но все же. На моей практике самые сильные ПМы на HR работали в HR и трогали процессы руками. Либо обладают очень сильной learning agility.

Кстати, если вы занимаетесь внутренними продуктами, но мы еще не знакомы, пишите в личку, и давайте это исправим 😉

В текущий момент очень сложно собирать себя эмоционально и что-то делать. Особенно в нерабочих активностях.
Делать вид, что все нормально, ходить на вебинары, ездить на конференции и выигрывать на них мягкие игрушки (дико кайфую от единорога и слоника, которых сегодня получила на SaintTeamLead Conf, простите).
Кажется, люди сейчас разделились на 2 части: первая не ходит на тимбилдинги, отменяется с конференций, не может думать про развитие, испытывает сложности в выполнении бытовых задач. Вторая принимает антидепрессанты и/или таблетки от тревожности, пытается забить свою жизнь всевозможными активностями для отвлечения, отрицает и делает вид, что ничего не поменялось.

Я из второй категории и мое сообщение направлено в первую очередь на тех, кто тоже в ней.

Мы с ребятами из ProductStar хотим в вами поговорить про такую популярную тему, как планы развития. Как мне кажется из опыта, их делают ну почти все. Но реально делают не отписку, а полезную для роста шутку ну прям единицы. Мы с Юлией, экспертом из Beehive, хотим порассуждать про то, как надо и как не надо делать ИПРы. А я со своей стороны добавлю продуктовой части: про метрики развития, которые можно тречить, а также про необходимость автоматизировать процесс, если она есть (кстати, хороший вопрос 😉).

Если вы помните, я дикая душнила в том, что касается качества планов развития, на старте канала делала поста 3-4 на эту тему. А ещё в начале своей карьеры в Марсе выносила мозг своим клиентским группам по тому, какие должны быть у них планы развития, чтобы вывести метрики на бэйзлайн они работали.

Поэтому, если у вас есть интерес к теме и ресурс, регистрируйтесь и приходите послушать.
Хочу прийти!

P.S. Надеюсь, вы в безопасности там, где сейчас находитесь, либо на пути к ней ❤️

Минутка душности: мне очень интересно, как Старбакс 2.0 просчитывал бизнес-эффект от автоматизации надписей на стаканчиках😁 На какую метрику они хотели повлиять? Уменьшить время ожидания в очереди? Сократить затраты на маркеры?
Не могу представить себе мир, в котором эта разработка могла бы окупиться. А вы?

P.S. O, при этом моё имя все ещё написано маркером😂

🎤 Появилась запись вебинара про развитие сотрудников, который проводили вместе с ProductStar и Beehive. Все как я люблю: начали от цели процесса, а закончили метриками и автоматизацией.

Смотреть!

Друзья, 17го ноября (следующий четверг) на конференции Sbergile Talks Pro буду рассказывать про внутренние продукты. Заходите в канал, с завтрашнего дня там появятся подробности ❤️

Доброе утро!☕️
Уже через час начнётся конференция Sbergile Talks Pro, на которой я выступаю.

Меня можно будет увидеть дважды:
В 10.20 начнётся панельная дискуссия, на которой продакты, занимающиеся совершенно разными аудиториями пользователей будут говорить о том, как найти баланс между прибылью (или экономией денег) и лояльностью. Будут ребята из B2B, B2C, B2G, а я представлю сегмент В2Е (business to employees). Будет бомба💥

В 14.45 будет моё выступление про внутренние продукты. Я расскажу о том, как мы последние полтора года работали с Avito People как с продуктом, как выбирали новую цель, как тречим метрики и ведём дискавери. Как обычно с фокусом на самом дорогом моему сердцу подпродукте.

Кроме меня будет выступать множество других топовых ребят - сама останусь на площадке на весь день их послушать.

Программу конференции и трансляцию можно посмотреть на сайте: https://promo.sber.ru/stpro22/

А ещё я только что осознала, что это будет моё последнее выступление про Авито Пипл на большую аудиторию.
Скоро поделюсь новостями. Дальше - больше!⚡️

Как не терять деньги на внутренних продуктах

🎅 В прошлом году я попросила у Деда Мороза выступить на конференции. И под конец года мое желание сбылось - спасибо огромное Сберу, что позвали меня на Sbergile Talks поговорить про внутренние продукты.
Особенно мое сердечко грело то, как им была близка эта тема - редко компании понимают, почему это важно.

Мне кажется, рассказ получился хороший. Я вместила в 20 минут всю мою любовь к Авито Пипл - ведь это был мой последний доклад на большую аудиторию в роли продуктового лидера HR автоматизации в Авито (с нового года меняю продукт внутри компании).

Посмотреть запись выступления можно по ссылке.

Меня часто спрашивают, а как стать продактом, если работаешь не в ИТ, чему научиться. И вроде бы в основном важны базовые склонности и софты, но при этом - кам он - это же ИТ, где нужно ставить задачи команде разработки. А еще понимать, например, преувеличивают они где-то сроки или нет.

Поучаствовали вместе с Авито в дискуссии Нетологии про навыки идеального продакта для разработчика.

Довольно смешно, что я в статье в говорю, что идеальный продакт в том числе должен заранее прорабатывать важные и сложные моменты функционала до реализации. А прямо сейчас сижу и логирую блок-схемой баг, который вылез из-за недостаточного погружения как раз в один такой важный и сложный момент - УПС. Надеюсь, скоро привыкну к новому продукту и буду уже сама знать его особенности.

Читать всю статью на VC