​​Воспитание чат-ботов для чайников
Мне кажется, что каждому продакту нужен свой чат-бот, который нужно будет обучать. Потому что это весело и сближает команду. У нас такой появился вчера, и это дикий кайф и смех.
Мы с командой до 10 вечера скармливали ему вопросы и ответы чисто по фану.

🧸 Зачем нам эта игрушка?
Я как-то рассказывала о том, что у нас есть чатик поддержки нашего продукта, в котором дежурят разработчики (а в пики нагрузки я и даже стейкхолдеры). В какой-то момент мы поняли, что тратим очень много драгоценного времени на ответы на типовые вопросы и задумали снизить количество вопросов в чатике.

🧩 Что сделали?
Проанализировали чат за последние несколько месяцев и выписали 23 самые часто встречающиеся вопроса.

Проанализировали и поняли, что все частые вопросы можно разделить на 3 части:
🪲 Баг, который надо поправить
⚙ Неудобный функционал, который надо доработать
❓ Часто задаваемые вопросы, на которые мы каждый раз отвечаем одно и то же (отправляем в HR, призываем ответственного и так далее).

И вот если с первыми двумя пунктами все понятно, то с третьим мы сразу понимали, что нам нужен какой-то Slack бот, который нас спасет.
Мы погуглили опенсорсные решения, хотфикса нашей проблемы не нашли и временно ее отложили.

⛑ Что изменилось?
Ребята из нашего ИТ саппорта затащили в контур бота и отдали нам на тестирование. Мы создали чатик, в котором поселили бота и начали задавать ему вопросы, а потом обучать ответам. А потом задавать повторно вопросы, чтобы проверить, что там наш ребеночек успел усвоить.

После запуска мы обязательно посмотрим, как внедрение бота повлияло на наши инженерные метрики и нагрузку на дежурного, а сейчас просто фановый скрин о процессе обучения. Мы развлекаемся😁

Крик души про уточнение требований

Знаете, насколько проще были бы внутренние продукты, если бы продакты, бизнес-аналитики и дизайнеры чаще задавались вопросом «зачем» и проясняли требования?

Да и на самом деле не только внутренние, но у нас из-за «власти стейкхолдеров», которые привыкли к тому, что годами диктовали требования проджектам и аналитикам и получали буквальную реализацию, проблема особенно острая. Я помню, как много лет назад, будучи молодым заказчиком, просила консультантов включить в отчет все возможные столбцы с данными. А вдруг понадобится? (Спойлер: не понадобились. И из огромных таблиц гораздо сложнее извлекать данные, чем из емких и конкретных. Особенно если речь идет о интерфейсе).

Я успела поработать с большим количеством fresh out of college людей. И вот что я скажу: я даже не брала на работу тех, кто боится и не умеет прояснять задачу. Когда я была тимлидом команды рекрутмента, это был базовый софт скилл, который я проверяла на интервью. Как?

🎓 Я давала кейс. Дисклеймер: вообще я против кейсов в формате «смоделированная ситуация» на интервью, они очень плохо предсказывают будущее, то, как кандидат себя на самом деле поведет (как и вопросы про будущее в кастдеве). Но в процессе обсуждения можно будет понять, как человек думает, как уточняет.

🔍 Задача: «Представь, что ты работаешь у нас в команде, это твоя первая рабочая неделя. Ты прошла индакшн, готова приступать к работе. 9 утра, ты в офисе, меня пока нет. Я пишу тебе в телеграм и говорю, что у тебя новая вакансия. Тебе надо найти актуария. Знаешь, кто это? Нет. Идеально. Твои действия».

Вот типовой сценарий решения этого кейса (плохой вариант).
1. Кандидат гуглит, кто такие актуарии, ему это мало помогает.
2. Идет на НН, ищет резюме по ключевому слову.
3. Понимает, что ключевых слов ему не хватает, надо искать по параметрам.
4. Приходит к пониманию того, что ему надо прочитать описание вакансии.
5. Гуглит старое описание вакансии и находит старые требования.
6. Начинает работу.

Чего я ждала от кандидата (и каких нанимала)?
Кандидат говорит мне: «Настя, ТЗ Х3». И задает вопросы:
❔ Кто такие актуарии?
❔ Это новая вакансия для нас, или мы с такими уже работали? Есть ли сформированное описание требований?
❔ Кто эти требования формулировал? Этот человек будет принимать финальное решение? Я могу с ним поговорить, чтобы лучше понять его потребность?
❔ Какой дедлайн?
❔ По какому процессу мы работаем с такими вакансиями?
❔ Какая была воронка подбора по таким вакансиям за последний год?
❔ Ты сама работала с такими вакансиями? ❔ Какими лайфхаками ты можешь поделиться?

Я хотела бы сказать, что в реальном мире менеджеры редко скидывают задачи на новичков в таком формате. Но я очень часто встречаю джуниор/миддл- продактов с проблемами в целеполагании. Их руководители никак не помогают им сделать связку между стратегией компании, ключевой метрикой и задачами из бэклога. Продакты не проясняют свою цель и метрики, начинают фичерить, не понимают, зачем делают те или иные задачи, не говорят «нет» требованиям от стейкхолдеров, не видят результат своей работы, выгорают и разочаровываются.

А внутренние продукты тем временем могут превратиться в монстросити, из которых если половину фич выпилить, никто не заметит😅

Какой стратегии стоит придерживаться, чтобы выиграть у конкурента?

Я не очень часто задаюсь этим вопросом, но вчера мне это едва не стоило очень дорого. Почему? Я сходила поиграть в Game of PAF, и у меня столько эмоций, что я заснуть не могла.

Что такое Game of PAF?
Сергей Тихомиров, автор канала Борода продакта, укомплектовал свои знания по выходу на рынок, росту продукта и его эволюции во фреймворк, который лег в основу игры. 20 продактов из топовых компаний разбились на команды и получили карточки, игральную кость и стартовый капитал.

⛰ Смысл игры: запустить продукт и развить его. Сначала мы стартап, а потом уже корпорация (если хорошо играть😏). Играем 3 тура, после каждого тура обучающие слайды и обсуждение (это отдельный вид искусства, невероятно высокий уровень дискуссии с кейсами реальных компаний. Мы так растянули промежуточную часть, что закончили на 3 часа позже).

1⃣ Первый тур (выход на рынок) наша команда Best Unicorn выиграла. Мы просто поняли, к чему нужно прийти, и построили кратчайший путь.

2⃣ Второй тур (рост продукта) шел уже сложнее. Нашей целью было получить как можно больше клиентов и выиграть долю рынка. В первом же ходе мы совершили ошибку. Не надо пытаться, едва достигнув product/market fit, сразу повысить цену и запустить дорогую рекламную кампанию. Кампания не сработала, и мы влезли в долги. При этом, подняв цену, мы потеряли возможность запускать рекламу и привлекать много клиентов. Поэтому мы на несколько ходов ушли в стратегию низкого риска, чтобы сбалансировать бизнес-модель. Мы медленно зарабатывали деньги: приобретали клиентов, пилили фичи и цену больше не трогали. В итоге мы вышли в прибыль и смогли начать рисковать. Как только у нас появилась возможность, мы стали привлекать большое количество клиентов. Второй тур мы выиграли, когда наша доля рынка была 48%.

3⃣ Целью третьего тура было достичь максимальной капитализации своей компании. По набору карточек было сразу понятно: мы можем либо запустить новый продукт, либо поглощать существующие (другие команды). Я сразу стала топить в то, что запускать новый продукт на новом рынке как-то долго и сложно, для этого нужно было разыграть много карточек, вероятность получения которых была 40%. При этом у нас была возможность быстро прирасти по деньгам и поглотить конкурентов.

В итоге мы купили 2 компании, и как же клево было смотреть на реакции людей! Члены команды, продукт которой поглощают, могут пойти «работать» в любую другую команду, а могут начать игру с первого тура. Первая команда, которую мы поглотили, захотела в полном составе играть с нами.
Второй продукт сопротивлялся покупке до последнего. «Мы хотим закрыть наш бизнес, пусть лучше наши клиенты не достанутся никому, чем Best Unicorn’у»😆. Им запретили. В итоге они потеряли клиента, увеличили цену, дважды (!) взяли кредит, лишь бы нам было сложнее их купить. А потом не пошли к нам «работать», и начали игру заново.
И, скажу я вам, очень сложно одновременно принимать решения за 3 продукта. Все прямо как в жизни. Мне кажется, в игре нужен четвертый тур – делегирование😅

Я была уверена в нашей победе. У нас три продукта, экосистема, куча клиентов, куча денег, что может пойти не так? И тут я слышу радостные вопли слева. Оказывается, наши конкуренты (команды со 2 и 3 места) объединились и пошли в запуск новых продуктов. И в последнем туре они запустили четвертый продукт и тоже объединили их в экосистему. Как такое могло произойти?! Мы развивали нашу компанию без оглядки на двух средних игроков на рынке и не рассматривали их как реальную угрозу. Но еще один тур, и нас бы обыграли.

Да, мы выиграли. Побили рекорд по максимальной капитализации среди всех игр, стали первыми в истории Game of PAF инвесторами.

Но главное - знания, с которыми я вышла. И их я структурирую завтра.

💡 Инсайты Product Architecture Framework.

За 10 часов игры Game of PAF я очень многому научилась.

1. У меня в голове уложилось понимание механик продуктовых стратегий, которые давал на своем курсе Ваня Замесин. Я на реальных примерах поняла, что значит «выполнять последовательные работы клиента», что будет, если начать выполнять работу до или после той, которую мы выполняем сейчас.

2. Я поняла, что я зря отбросила стратегию запуска новых продуктов. Да, это сложно. Но вспомните, кем были 15 лет назад Яндекс, Мэйл и Рамблер. По сути, они все представляли собой почту и поиск. И, хотя у Мэйла все еще гораздо более успешная почта, Яндекс запускал новые продукты, и построил экосистему. И сравните сейчас их стоимость. Да, можно идти через поглощение конкурентов, но на действительно стоящих игроков может просто не хватить денег. А они объединятся и с помощью прорывной стратегии нас побьют.

3. У рынка есть емкость. Если бесконечно вливать деньги в привлечение клиентов на одном рынке, рано или поздно они закончатся.

4. Не надо бояться рисковать (это прямо мой блокер). На 2 безрисковых решения должны балансироваться одним высокорисковым. Хотя! В моем последнем релизе, как я сегодня поняла, я рискнула даже 2 раза из трех.

5. Целеполагание – основа принятия правильных решений. Нет цели – нет ключевой метрики. Нет метрики – драйверы роста чего тогда мы ищем?

6. North Star метрика – сокращение времени клиента от исходного состояния к получению ценности. Кайфанула, что как раз на этом и построила стратегию своей экосистемы на работе. Если я хочу расти, мне надо найди драйверы роста своей ключевой метрики и влиять на них.

7. Хочешь масштабироваться – сокращай издержки.

8. Не надо даже пытаться понять все правила игры. Иногда лучше рисковать и прояснять правила от хода к ходу, и это хорошо моделирует ту самую ситуацию неопределенности, с которой мы постоянно сталкиваемся в жизни.

В общем я получила космическое удовольствие от игры, и это однозначно лучший (почти)тренинг, который я проходила в этом году. Всем рекомендую👍

Надо. ТЕСТИРОВАТЬ. UX!

Я безумная зануда в некоторых вещах: бизнес процессы, планы развития, тестирование и качественное дискавери.
Поэтому мне особенно больно, когда что-то из этого факапится мной же.

Предыстория: один из моих продуктов с прекрасным названием "Перфоратор" автоматизирует процесс оценки сотрудников в компании (PERFO-mance management, поняли?). Мы пишем, чем занимались в течение года, просим коллег дать нам фидбек, руководитель все согласует, ставит нам итоговую оценку и завершает. И в этот момент мы получаем фидбеки, которые должны стать базой развития на будущее полугодие.

На прошлой неделе я кастдевила ребят по следам нашего горячего сентябрьского релиза, который с одной стороны бомбанул, а с другой вырастил метрики.
Общаюсь я с руководителем юнита разработки, максимально кайфовое и позитивное интервью, куча инсайтов. И в конце задаю свой дежурный вопрос: "Есть ли ещё что-то, что ты мог бы сказать, а я не спросила?"
И он такой: "да, мне не понравилось, что скрыли фидбеки коллег по моим бизнес-целям. Я бы хотел, чтобы мои ребята прочитали, что писали друг другу, там были очень ценные вещи".
Я в осадке, мы ничего такого не делали. Заходим вместе в Avito People, открываем Перфоратор, он показывает: "вот тут фидбек от моего менеджера, тут нет ничего по бизнес-целям, только по второму блоку написано".
И я понимаю, что он не видит сайдбар с фотографиями и именами коллег, который у нас справа в интерфейсе.

Я: так вот же сайдбар справа, там можно кликать по фоткам.
Респондент: а, точно. (кликает по имени коллеги и видит свернутые в коллапс блоки. То есть вместо полного фидбека там только название бизнес-цели, которую ввел сам респодент). Но тут все равно нет фидбека.
Я (чуть не плача): а кликни по названию цели.
Респондент: о...оооооо.
Я: ну, тогда сегодня ты прочитаешь все свои фидбеки и узнаешь о себе много хорошего.

Всего трое из пяти респондентов не увидели сайдбар либо не поняли, как с ним взаимодействовать😩😩😩

То есть понимаете, да? Мало того, что мы выкатили непротестированный на UXе элемент интерфейса, так еще и усложнили (а минимум для одного человека заблокировали) получение основной ценности от нашего продукта!

ААААААААААААААААААААААААА!

И да, у нас горели сроки, дизайнер в середине проектирования уволился и уехал жить в Лондон, но...

Будем править🦾

Саморазвитие как часть дофаминового цикла.

Люди часто сильно удивляются, когда я говорю, что занимаюсь своим развитием как минимум 2 часа в день: читаю бизнес- или психологическую литературу, смотрю продуктовые видео на YouTube или EpicGrowth, прохожу курсы, делаю кардинально новые задачи.

Как мне кажется, в этом ничего такого нет.
Я дофаминовый наркоманчик, и я встроила полезные штуки в свой обычный жизненный цикл и привычки и научилась кайфовать от них.
И уверена, что так может каждый, если научится получать от развития такой же дофамин, как и от залипания в ленту в инстаграме или от видеоигр.

💡 Хочу поделиться с вами несколькими лайфхаками, которые помогают мне обмануть мой мозг.

📲 Совмещаем отупляющее с полезным.
Я обожаю тупые мобильные игры, где не надо включать мозг (типа match3). У меня от этого невероятное чувство вины, но я научилась, залипая в игру, слушать что-то фоном. Получается эффективно: игра не напрягает мозг, он свободен. При этом она выбрасывает в меня дешевый дофамин. Мозг в это время занят перевариваем аудиокниги или обучающего видео. При этом он получает подкрепление в виде дофаминчика и думает, что это от книжки. Так он ассоциирует книжку с приятным выбросом гормонов и готов возвращаться к ней снова и снова.

🚘 Делаем развитие частью рутины.
На прошлую работу я ездила на машине, и для меня стало привычкой слушать аудиокнигу за рулем. Мне скучно, я знаю дорогу наизусть, я в пробке, мой мозг не занят ничем, помимо постоянного обмусоливания проблем с работы.
Из-за того, что мне максимально скучно, такая низкодофаминовая активность, как прослушивание книжки про менеджмент, дает мне нужный заряд кайфа.

🏋‍♂️ Низкие дозы дофамина как спасение от скуки.
Отличный пример - мои тренировки. Я ненавижу спорт, но сделала его частью еженедельной рутины, доходя до того, что поставила себе его в календарь на определенные дни недели. Когда хожу в зал без тренера, мне СКУЧНО. И обучающий видосик на беговой дорожке - отличное развлечение.

💉 Четверг - день низкодофаминовых вещей.
Я попробовала в один день в неделе (в который у меня по вечерам платное обучение) отказаться от самых высокодофаминовых вещей в моей жизни: шоппинг, игры и залипание на ленту в инстраграме. Весь день мой организм голодает и требует кайфа. И ооочень радуется, когда получает двухчасовой вебинар по микросервисной архитектуре. Моя вовлеченность в прослушивание тренинга и задавание вопросов увеличивается кратно.

⛔ Устраиваем 24часовой дофаминовый детокс.
Это самое жесткое. Попробовать весь день в выходной не радовать себя НИКАК. Отключить интернет, отложить телефон, не есть вредную еду, не читать книжки. Можно: гулять, думать, рефлексировать, писать (но только от руки). После такого чистого ада любая низкодофаминовая активность воспринимается как рай.
Мне сложно над собой так издеваться. Мой рекорд детокса - 5 часов, и чаще всего в это время я пишу черновики постов в канал.

Скажу честно, это сложно. Хочется забить, пойти просто поиграть, поскроллить инстаграм, пошоппиться или включать экран телефона в ожидании сообщений, но это окупается. Я вижу, как я выросла за последний год, и как я начинаю монетизировать те дополнительные знания, которые я получила.

Мое лучшее продуктовое обучение, 2021.

Меня постоянно спрашивают, где поучиться, какой бы курс пройти. Продолжая тему ботанства, хочу поделиться тремя лучшими обучаловками, которые я прошла в этом году.

1. Tech для продакта (ProductDo).
Зачем пошла?
Я не могу сказать, что я здорово разбираюсь в технине. Да, я знаю какие-то общие вещи про архитектуру, знаю, из каких подзадач и почему состоит юзерстори, могу прикинуть оценку в сторипоинтах/спринтах/кварталах, прошарена в ручном тестировании.
Но я довольно долго на 100% делегировала проработку технической стороны задач команде и думала, что меня это не касается. Пока во время моего отпуска у нас не упал на час прод, и я поняла, что проблемы на стороне архитектуры напрямую влияют на мои продуктовые метрики. После курса я хотя бы смогла четко разделить у себя в голове свою зону ответственности и тимлида.
Что можно применить в работе?
Знание того, как технические метрики (ага, и такие бывают) становятся ветками в нашем большом дереве метрик. И какими словами ругаться, когда время ответа 1С по нашему запросу 30, КАРЛ, секунд!!
А еще как отбрыкиваться или соглашаться, если пришли бэки и предлагают потратить 2 года на переписывание всего продукта с php на Go.
Почему было прикольно?
1. Очень сложный контент, мне нравится не чувствовать себя на тренинге самой знающей, потому что тогда это значит, что я неправильно выбрала курс.
2. Домашки в формате симулятора (мы же все их любим).
3. Маленькая группа (15 человек), следовательно большое вовлечение ментора/преподавателя, который Technical PM в Booking.com.
Кому рекомендую?
Миддлам+, которые занимаются иерархией метрик в контексте целеполагания, а также тем, кому реально в работе недостает знаний технины.

2. Как делать продукт, который клиенты будут с удовольствием покупать (Ваня Замесин).
АКА бывший курс Замесина по кастдеву.
Зачем пошла?
В один момент поймала себя на том, что мне сложно сделать классные выводы из тех интервью, которые я провожу, что я могу принять неправильные продуктовые решения. Вспомнила про курс Вани, который давно хотела пройти, подумала, и импульсно купила (даже забыв, что могла купить через свой бюджет на обучение в Авито).
Что можно применить в работе?
Если у вас B2C или B2B продукт, много чего. Если продукт как у меня внутренний, то с применимостью знаний будет сложновато. Я много что нового и взрывного узнала про JTBD (казалось бы, что там может быть нового), про стратегию и ABCDX сегментацию. Но по большей части я применяю эти знания со своими менти.
Почему было прикольно?
Кайфанула от Ваниной подачи. Очень вовлекает во время вебинаров, постоянно учится сам и адаптирует курс как продукт, т.е контент на каждом потоке совершенствуется, и у тех, кто прошел курс, есть возможность смотреть стримы новых потоков. + несколько Q&A сессий, где можно задать вопрос по своему продукту.
Кому рекомендую?
Всем, кто задается вопросом "кому нужен мой продукт" и "а как мне это узнать". Но - алерт - курс уже не про кастдев.

3. Game of PAF от Сергея Тихомирова - мой фаворит. По уровню выработанных гормонов счастья день на игре готов конкурировать с первыми днями Дизайн регаты. Но я и так уже написала 2 поста про игру, так что просто оставлю ссылки на них.
Как это было
Чему я научилась

А еще - минутка любви ❤️ - благодаря Авито у меня в появилась возможность пройти новый GoPractice, и через пару недель мне должны его оплатить. Режим ботана продолжается в 2022!

Как оценить себя как продакта?
Это, наверно, самый частый запрос ко мне как к ментору в последние пару месяцев: получить независимую оценку навыков и составить план развития. Что, в целом, вполне логично: я начинала карьеру как специалист по оценке персонала, потом двинулась в сторону HR бизнес-партнерства и год помогала моим клиентским группам создавать и причесывать кайфовые планы развития, а потом ушла в продукт.

Сделать план развития невозможно без предварительной оценки навыков: можно провести самооценку, можно получить фидбек. Конечно, всегда проще, если есть фидбек: ты не сидишь, не гуглишь разные матрицы скиллов и компетенций, не пытаешься долго и упорно оценить себя по куче индикаторов, не задаешься вопросом, а можешь ли ты доверять своей оценке.

Ребята из ProductStar помогают своей аудитории получить такую оценку: проводят демо-интервью на позицию продакта, где нанимающий менеджер интервьюирует кандидата и дает ему обратную связь. Кандидату – фидбек, слушателям вебинара – взгляд изнутри на процесс найма продакта в крупную компанию.

💥 Внезапно для меня завтра в 15.00 таким нанимающим менеджером буду я. Расскажу про особенности продуктовой культуры в Авито и про этапы отбора к нам на продакта, а после проведу живое интервью с кандидатом по хард скиллам.
Регистрируйтесь и приходите, уверена, что получится круто!

Появилась запись live-собеседования, которое вчера проводила для ProductStar🥳 Мне кажется, получилось очень круто! Особенно меня порадовало количество вопросов ко мне и фидбеки в личку после.

Примерно по такому скрипту я провожу первые встречи с менти: прокапываю вглубь опыта, чтобы понять сильные стороны и зоны развития.

https://www.youtube.com/watch?v=XyDnOhRthjs&ab_channel=Productstar

Итоги конца, в конце концов!

❤️💚💙💜 Авито!
Около года назад я работала в дочке российской Госкорпорации, и у меня был очень напряжённый период в работе: приходилось гнать себя и команду ради того, чтобы заделиверить промежуточный результат, который был не нужен никому, кроме людей, у которых на него были завязаны бонусы. Когда мы добежали до 31 декабря м смогли выдохнуть, мне стало очень скучно. Несколько месяцев я провела в ощущении, что выжала максимум и остановилась в развитии. И в какой-то совсем плохой день я скроллила ленту Фэйбука и увидела репост вакансии в Авито. Причем максимально релевантной мне: синиор продакт на HR автоматизацию. Решение отправить CV было максимально импульсным: а почему бы и нет?
И dios mio, как же я рада, что я это сделала! Лучшая команда, лучшая компания, двигающий вперёд функционал и просто восхитительный продукт❤️
Work hard, play hard!

🔱🔱🔱 Менторство!
В этом году открыла для себя менторство как источник вдохновения, нетворкинга и насмотренности. И закрытие потребности помогать. Каждое утро я по часу общаюсь с кем-то, кому нужен мой совет, и получаю такое счастье.
Менторство помогает бороться с синдромом самозванца и заводить классные знакомства, которые идут дальше профессионального общения.
Ещё я сделала очень важный для себя шаг: переборола блокер к увеличению достатка и признала, что мое время стоит денег.
Спасибо Илье Красинскому, что промыл мне в Сочи мозг. Ну и моему психосотерапевту.

🛥🛥🛥 Регаты!
2021 - год импульсивности. Как-то в сентябре просто читала каналы в Телеграме, на которые подписана, и увидела объявление про Дизайн регату и сразу решила, что хочу поехать.
Когда меня спросили, какие у меня есть вопросы, у меня был один: как оплатить? Я влюбилась в яхтинг, влюбилась в людей вокруг, пережила с ребятами сумасшедший шторм, очень много пила и танцевала.
И поняла, что хочу продолжать. Поэтому новый год встречаю тоже на яхте: вожу скутер в шапке Санты по улицам турецкого Фетхие, мешаю всем апероль шприц и снова танцую на борту катамарана.

Пусть и 2022 принесёт мне и всем вам тонну кайфа и будет даже круче, чем 2021!
Люблю вас! С Новым Годом! ❤️❤️❤️

День из рабочей жизни

Рассказала для ProductStar о том, как проходит мой типичный рабочий день в офисе. Было прямо сложно: хоть мы и работаем по спринтам, и я в целом понимаю, какие встречи с командой у меня будут каждый день, хоть работа продакта и циклична, все равно каждый день не похож на другой: то нужно научиться метрики логировать там, где это еще не делали, то какой-то новый тип исследования на продукте запустить, то новичка в команду адаптировать, то вебинар провести.

Еще раз поняла, как я сильно кайфую от своей работы.

Постаралась включить в пост полезности: рассказала, как включаю обучение в жизнь, какие книжки почитать, как пробовать предотвращать выгорание и какая же полезная штука PBRы.

Почитать всю статью можно в инстаграме у ребят.

Количественные опросы: казнить нельзя помиловать. Часть 1.
Этот пост я писала аж с прошлого года как в том числе напутствие самой себе. Получилось много, так что разделила его на 2 части. Сегодня расскажу о планировании количественника, а завтра о запуске и анализе данных.

У меня долгое время было предубеждение против количественных опросов в продукте. Причем я всегда любила количественные исследования, настолько, что моя самая первая стажировка была связана именно с ними. Но мнение, что не стоит запускать опрос, сформировалось у меня из-за насмотренности: много кто на рынке из классных продактов говорит, что «это долго», «дорого» и «ничего хорошего из этих данных не извлечь». То ли дело глубинки: вышел в коридор или на улицу и поговорил по часу с людьми.
Хочу сегодня поделиться опытом того, как применили количественный опрос у меня в продукте, и что из этого вышло (спойлер алерт: мне понравилось: за сутки мы собрали 600+ ответов, 200 из них за первый час! Хотя не обошлось без косяков).

🤷‍♀️ Почему решили запустить количественник?
Я уже рассказывала про один из продуктов в портфеле моей команды – про Перфоратор (система для автоматизации процесс оценки сотрудников в компании). В прошлом квартале Перфоратор революционно стал первой полностью продуктовой разработкой Avito People. Мы в первый раз обвязали интерфейс логами, смогли извлечь аналитику и принять на ее основе будущие продуктовые решения. Круто? Да! Но что еще это значит?
📝 У нас не было никаких данных по историческому использованию Перфоратора.
⚠ Мы не уверены, насколько может доверять в первый раз собранным логам.
🚸 Нужно было спросить у людей, зашло ли им решение субъективно (своего рода NPS).
А еще часто бывает так, что искать людей на глубинки долго и дорого. Особенно в конце года, когда наша ЦА вся в пылу закрытия года.

⏳ Сколько готовилась к опросу?
Действительно, подготовка заняла больше времени, чем подготовка к интервью. С интервью как-то просто: открываешь список гипотез и думаешь, какими вопросами их поддержать, а потом добавляешь вопросы в начале и в конце для установления контакта и эффективного завершения. В принципе, с опросом точно так же (спасибо нашей UX лабе, что они это подсветили). Если добавлять вопросы из серии «А вдруг понадобится», то опрос раздуется до космических величин. Хотя, куда уж больше: у меня было 80 вопросов.
Сделать список из этих 80 вопросов было не очень просто: нужно было убедиться, что вопрос линкуется с гипотезой или с метрикой, подобрать понятную формулировку, подобрать такие варианты ответов, которые описывали полное множество возможных ответов (с вычиткой текстов мне помогли наши редакторы).
После этого надо было еще пройтись с ножом по опросу и убрать все лишние или потенциально дублирующиеся вопросы.
Думаю, на это ушло около 10 часов чистого времени.
Сильно больше времени ушло на вбивание всего опросника в тулзу для опросов и задание правил выпадения вопросов. Это были без преувеличения БОЛЬ и СТРАДАНИЯ. На это ушла неделя между встречами и один тяжелый вечер.

🧠 Что надо обязательно предусмотреть?
Мой основной косяк был, что я недостаточно хорошо продумала то, как буду обрабатывать результаты исследования. Поэтому я допустила ошибки в некоторых вариантах ответов. Например, у меня было несколько вопросов, где я спрашиваю у людей, сколько они потратили времени на процесс. Ответы были в удобном для респондента формате «20 минут» и т.д. При этом при выгрузке данных в эксель мне пришлось вычищать каждый такой вариант ответа от лишних слов.
В некоторых случаях нужно было сравнивать ответы на несколько вопросов между собой. В этом случае было бы полезнее иметь одинаковые варианты ответов или хотя бы с равными шагами. У меня в одном случае произошел сбой.
Также не стоит перебарщивать с открытыми вопросами: никто их не любит, особенно те, кому потом сводить несколько сотен разных ответов и искать в них паттерны.

Продолжение следует

Количественные опросы: казнить нельзя помиловать. Часть 2.
Часть 1

✈ Пилотируем?
До запуска я прогнала опрос на небольшой тестовой выборке, которая помогла вычитать вопросы/ответы на понятность и логичность, где-то указала на дубли или на недостаток вариантов ответов. Мне хватило 10 человек.

🚀 Как соберём максимум ответов быстро?
Нужно продумать лучший канал дистрибуции. Например, если бы мы просто разместили ссылку на опрос в каком-то общем канале в Слаке, мы бы получили значимо меньше ответов. Поэтому мы использовали наш notification сервис и отправили через бота пуш всем сотрудникам в Слак и на почту.
Эффект был максимальный! В моих OKRах стояло «собрать 200 ответов на опрос», я закрыла этот пункт за 20 минут! А в течение суток нападало еще 400+ ответов.
Еще один хороший канал – через внутреннюю LMS систему, которая периодически напоминает тебе об опросе, если он еще не пройден.

🚢 А сколько вообще надо ответов?
Столько, чтобы выборка респондентов получилась репрезентативной, так что учитываем точность и доверительный интервал. Есть специальные калькуляторы, которые могут помочь прикинуть объем выборки, как и с A/B тестами.
Также важно подумать, будем ли мы сравнивать части выборки между собой (в моем случае менеджеры VS линейные сотрудники или Тех VS non-тех). Тогда нужно также подумать, с помощью какого статистического инструмента будет происходить расчет, и сколько для него нужно данных. Чаще всего анализ будет происходить с помощью т-теста для независимых выборок.

🛸 Как анализируем результаты?
Из опроса можно было извлечь информацию трех пластов:
- что там по гипотезам?
- что там с метриками?
- есть какие инсайты?
Поэтому при планировании исследования было полезно сделать табличку «гипотеза - вопросы, которые ее поддерживают - результаты». Так я понимала лучше, как именно буду использовать ответы из 80 вопросов, как лучше крутить данные.
Если у нет аналитика в помощь, то нельзя забывать о статистической значимости, которая приходит в помощь, когда возникает вопрос «а как понять, есть ли различия между результатами по выборкам?». Если в A/B мы работаем с конверсией используем доверительный интервал, то в случае сравнения абсолютных величин нам помогает т-тест. Если не было опыта с мат. методами в исследованиях, то можно почитать статьи по запросу «сравнение средних двух независимых выборок».

В общем, я преисполнилась🥳 Вспомнила времена Вышки, когда количественные исследования были моим любимым предметом, и как я до 4 утра сидела перед предзащитой и крутила данные в разные стороны, доставая их них все новые и новые инсайты.
Надо будет повторить!

Давно меня не было здесь. Сначала не было вдохновения, а с конца февраля все это перестало казаться важным. Но недавно постепенно снова начала выходить в люди и вести очные выступления (после стольких лет!) и вебинары. Подумала, что могу хотя бы рассказывать о том, о чем говорю на закрытых выступлениях, или приглашать на них, если они открытые.
А потом снова начну рассказывать о том, что происходит на работе - ох, сколько всего в Авито Пипл изменилось за полгода.

🚀 Ну а пока - приходите завтра на мой вебинар с ProductStar, где я расскажу о моем видении того, как продуктовый подход, автоматизация и оптимизация процессов могут помочь в классическом HR. Фокус буду делать на процессы Performance Review и Recuitment. Кстати, если кто-то собирается проходить обучение от ProductStar, приходите в личку, у меня есть промокод на отличную скидку.

Регистрация на вебинар ->

🎤 Появилась запись вебинара про продуктовый подход в HR, который проводили вместе с ProductStar и TeachBase. Тема максимально моя, поэтому получила огромное удовольствие, когда готовила контент и рассказывала про кейсы.
Рассказала про два кейса: первый про рекрутмент из моего очень древнего допродуктового опыта, второй уже Авитовский, про который раньше не рассказывала в метриках даже здесь.
https://www.youtube.com/watch?v=tBMVkNEoZb4&ab_channel=Teachbase

Раз в год здесь будет очень личная исповедь про выгорание.

Хотя очень бы не хотелось. Но, согласно исследованиям, ИТшка – самая выгорающая индустрия, так что неудивительно, что мы снова здесь. Правда, сейчас меня накрыло не от работы (которая как всегда клевая), а от остальной жизни.

☄ Выгорание – это то, с чего начался мой канал, и к чему я пришла сейчас (или на очень тонкой грани). Я уже неделю медитирую на наполовину написанный пост про метрики, но не могу найти в себе силы и вдохновение закончить его. И вроде бы все логично, у меня слишком много дел: три бэклога одновременно, команда, стратегия, вебинары почти каждую неделю, периодическое менторство, работа с моим ментором… но факт остается фактом. Уже несколько месяцев я шлю нахрен те вещи, которым бы раньше с радостью сказала «да», но при этом же продолжаю закидывать себя разными активностями.

Кажется, началось все в тот момент, когда я была переполнена запросами как бесплатный ментор, от которых я не отказывалась. Сильно помогло поставить на Getmentor ценник: запросы в разы сократились и стали более структурированными. Но я продолжала вести некоторых бесплатных менти, с которыми начала работу еще осенью, постепенно чувствуя, что это превращается в какую-то бесцельную кашу с обеих сторон. Пропало чувство, что я кому-то помогаю, и появлялось чувство бессилия.

Очень сильно на меня давил и давит ремонт, который в процессе с января, и на него уходит невероятное количество негативных эмоций и денег.

Где-то в октябре я наконец нашла стоящего психотерапевта, который помог мне признать абьюзивность ситуаций, в которые я себя загоняю. И увидеть дыру внутри, которую я заполняю чем не попадя: продуктами, проектами, менторством, фигурным катанием, пет проджектом, преподаванием, выступлениями, едой.

Чему я при этом говорила «не сегодня»?
1. Системному внерабочему развитию, книгам и оплаченному доступу к EpicGrowth.
2. Нормальным отношениям с друзьями-неколлегами. Но, благо друг, с которым я сейчас больше всего общаюсь, пингует меня, кидает фотки с котиками и достает из того кокона, в который я спряталась ❤️
3. Просто нормальным отношениям.
4. Моему каналу 💔 (исправляюсь!).
5. Проблемам с ремонтом, который непозволительно затянулся.
6. Пет проджекту по фигурному катанию и желанию писать статьи про мужское одиночное на Спортс.ру – И СЛАВА БОГУ.

Я никогда раньше не выгорала не из-за работы. Я думала, что все нормально, я максимально строго слежу за life/work balance, вовремя ухожу из офиса, редко кому отвечаю в выходные и упаси боже меня в выходные открыть ноут не ради сериала.

И сейчас у меня буквально противоположное состояние с моими предыдущими (пред)выгораниями: я с радостью иду на работу, беру новые продукты, вовлекаюсь в смежные активности и хакатоны, но при этом после работы ничего не хочу и даже руку поднять не могу.

Предвыгоревшее состояние – ужасная штука. Ты вроде бы понимаешь, что все ок, но при этом эмоциональное состояние обостряется настолько, что начинаешь срываться на людей, хочется сначала напиться кофе до состояния продуктивности, а вечером гасить это состояние успокоительным, хочется разогнаться до 200 км/ч, чтобы почувствовать вдохновение и свободу, а по итогу оказываешься на трассе с разбитой в тотал машиной.

❣ Если заметите в себе увеличившуюся раздражительность, циничность, уменьшившуюся эмпатию, постоянное обесценивание того, что вы делаете, результатов, которых вы достигаете, то просто притормозите и посмотрите со стороны на свое эмоциональное состояние. Возможно, нужно просто нахрен остановиться.