Мы продолжаем спрашивать владельцев классных Телеграм-каналов об их любимых книгах. Сегодня о своих литературных предпочтениях расскажет Анна, автор канала @proproduct. Передаём слово Анне: https://goo.gl/habng0

Рассказала МИФу про классные книжки, читайте, если вы ещё не :)

Меня уже успели спросить, почему я не рекомендую профессиональную литературу. На это есть несколько основательных причин:

1. Очень мало качественной и, самое главное, не устаревшей литературы. Да, условный Раскин или Купер сделали прорыв в своё время, но сейчас совершенно необязательно продираться сквозь 900 страниц, чтобы проникнуться их идеями. Подписывайтесь на крутых чуваков на Medium, на их же каналы в Telegram или рассылки – больше пользы с экономией времени. Базовые же книги вы и без меня знаете :)

2. При этом полезно читать книги, расширяющие кругозор: по психологии, философии, истории. Чем больше вы знаете, тем больше понимаете про мотивы и желания ваших пользователей. Ну и в целом, самые крутые идеи рождаются где-то на стыке разных дисциплин. Все, конечно, знают историю про Стива Джобса и каллиграфию – вот это оно и есть.

3. И, главное, очень важно не забывать про художественную литературу. Знакома с несколькими людьми, которые читают только бизнес-книги, – не надо так! Ваш продукт – это увлекательная история, с определенной композицией, персонажами и поворотными моментами; учитесь ее рассказывать. В деловой литературе не только нет сюжета (ладно уж, признаем честно – в большинстве случаев это тупое вдалбливание нескольких основных мыслей в мозг), в ней нет пространства для фантазии. А как раз она должна быть развита у визионеров и стратегов.

Давайте на выходные задам вам задачку – ответы можно присылать мне в личку до утра понедельника. В пнд вечером разберу плюсы/минусы присланных ответов и дам свое решение.

Задача: вы работаете над приложением, которое позволяет получать последнюю информацию по рейсам – статус, продолжительность, погода в точке прибытия. Недавно вы выкатили фичу “онлайн-регистрация на рейс”, что вроде как должно улучшить user experience, но A/B тест говорит об обратном: снизилась продолжительность сессий, возросло количество отказов. Что вы будете делать? Как будете принимать решение, оставлять ли фичу или отрывать? Пишите!

Ого, сколько ответов уже прислано! Но раз уж обещала, жду до завтра - завтра вечером разберем :)

Итак, давайте разберемся, что же надо было делать в задачке из предыдущего поста.

Сразу оговорюсь, здесь нет и не может быть какого-то одного правильного ответа. Мои рассуждения были бы применимы к продуктам, с которыми я работала, возможно, у вас все будет иначе.

Так вот, прежде всего в самой задаче вас должно было напрячь "вроде как должно улучшить user experience". A/B тест не источник знаний о пользователе, это количественное исследование, которое должно подтвердить или опровергнуть гипотезу. То есть, на момент проведения теста у вас уже должны быть доказательства, что ваша фича что-то улучшает. Методы, конечно, сильно зависят от самого продукта, но возможность проверить в офлайне есть всегда - и это обязательно должно быть частью процесса! То есть, вы должны знать, что фича будет решением проблемы, ДО начала онлайн-тестов.

Вы хороший продакт, конечно же, все знаете и решаете запустить a/b тест. И вот как раз на этом этапе начинается самая веселуха.

Во-первых, потому что сам тест может быть настроен некорректно. Интересно, что сильное ухудшение заставит почти 80% менеджеров задуматься о поломке. В случае сильного же, но неожиданного улучшения все, скорее, побегут пить шампанское ;)

Во-вторых, сама фича может быть сломана – ну, например, как-то криво отображаться в одном из браузеров. В-третьих, фича может быть и отличной с точки зрения ux, но при этом просаживать функциональные характеристики системы. Условно говоря, выкатили вы распрекрасную фичу с анимацией, а она замедляет время загрузки страницы на 1 секунду. Казалось бы, фигня, но вот, например, для LinkedIn это стоило 10% некликнутых выдач (а это просто дико много, учитывая, что борьба обычно идёт за десятые доли процента) . Именно поэтому сейчас правильнее проводить, не a/b, а multivariate тесты, но об этом в другой раз.

В-четвёртых, если вдруг все вышеперечисленное с вами не случилось, надо исследовать пользователей, попавших в эксперимент. Даже если вы учитываете когорты, паттерны и сезонность, нужно думать ещё и о времени привыкания: будет ли достаточно продолжительности теста, чтобы люди осознали изменения и оценили их? Не так уж редко что-то хорошее отторгается только потому, что оно новое.

Я, на самом деле, ооооочень кратко прошлась по основным проблемам, их намного больше. **Но вот мой главный посыл: на основе a/b тестов нельзя принимать решение, что фича не нужна**. Они вполне подойдут для ее обкатки, дополнительной проверки, что в продакшене ничего не ломается, но не более. Толковый менеджер легко сможет трактовать прокраску в красное как в пользу выкатки фичи, так и в пользу ее отрыва. Из нашей же задачи: снизилась продолжительность сессий – пользователей отпугивают изменения в интерфейсе, они ничего не понимают и уходят / пользователи быстрее находят то, что им требуется, быстрее решают свою задачу. Так что исходите из стратегии развития продукта, из решения конкретных пользовательских проблем, а не +0,3% по случайной метрике в a/b-тесте.

Наконец-то нашла классное приложение для трекинга повторяющихся дел - называется Productive. У меня довольно много такого в расписании: например, делать зарядку для глаз или читать книжку минимум 30 минут в день. В приложеньке очень легко отмечать выполненное за день и мониторить статистику: мне это жизненно необходимо, чтобы не держать в голове кучу мелочей, не засорять ими свой обычный планер и мотивировать себя, чтобы продолжать и не срываться. Да, кстати, здесь можно поставить и еженедельные/месячные напоминалки - например, об оплате счетов или уборке :)

Да, кстати, вот ссылка http://productiveapp.io/ :)

Привет всем новоприбывшим! Я Аня Булдакова, руковожу сейчас продуктом в берлинском стартапе, пишу в этот канал про менеджмент во всех его проявлениях :) вопросы и предложения можно оставлять в книге жалоб или здесь @Anna_Boo

“There's never enough to go around. Not enough time. Not enough money. Not enough people.

That's a good thing”.

Отличное чтиво для продуктивного выходного: Getting real, манифест от авторов Basecamp, студии 37signals. Продактам читать обязательно! Основы грамотного планирования, организации процесса, расстановки приоритетов, ценообразования, конкурентного анализа и еще много всего полезного. Главки крошечные, всю книжку спокойно можно осилить за пару часов. Если вы только начинаете свою карьеру – ждите инсайтов :) меня же очень порадовала четкая структура и объединение всех полезных советов в систему.

https://gettingreal.37signals.com/toc.php

Ну и давайте сразу задам вам “задачку выходного дня”: ответы пишите мне в личку @Anna_Boo до вечера понедельника.

Вы недавно устроились на новую работу (понятно, что продакт-менеджером :). Но в компании не используются A/B-тесты. Будете ли вы их внедрять, для чего и как будете убеждать разработчиков/руководство, что эти тесты нужны?

Всем привет! Ну что ж, давайте разберем задачку и ответим на вопрос, зачем все-таки нужны A/B тесты. Сразу оговорюсь: прошу прощения, что не успела написать всем ответившим лично, пришло больше 50 ответов! Но я все прочитала и в этом посте разберу ключевые моменты :)

Прежде всего, ab-тесты, как многие правильно отметили, – это инструмент. Инструмент чей? Именно, продакт-менеджера. Зачем он продакту? Чтобы использовать в своих целях (спасибо, кэп!). Нет, правда:

1) чтобы общаться с разработчиками и убеждать их в правильности выбранной стратегии. Пример: прихожу я к разработчику и говорю – а давай-ка зафигачим с тобой новую фичу? Он такой: а зачем? Я: ну вот по ожиданиям должны значимо уменьшить долю отказов. Он: ну ок, поехали. Фигачит-фигачит, запускает в продакшн – а дальше ничего. Ну потому что разработчиков много, хрен его знает, его или не его фича повлияла на отказы. Или, может, в общей массе вообще ничего не было заметно, мы что, зря фигачили? A/B тест позволяет измерить вклад в изменение метрик конкретно этой фичи конкретно этого разработчика;

2) соответственно, чтобы общаться с руководством. Когда компания большая, руководству трудно оценивать успехи каждого – нужны какие-то понятные и легко измеримые числа. A/B тест для этих целей подходит как нельзя лучше; эти циферки прекрасно можно привязать к OKR и затем по ним выплачивать премию;

3) ну и чтобы общаться с релиз-инженером. Большая компания - много фич делается одновременно; нельзя все это впихнуть в один релиз. Приоритеты расставляются именно исходя из профита, который мы ожидаем получить. Как доказать профит? Предъявить результаты A/B теста (но, конечно, только при условии, что релиз-инженер тоже верит в эффективность этих тестов :)

Кому все это надо? Исключительно большим компаниям. У многих проскальзывала мысль, что А/В-тесты не увеличивают стоимость и сроки разработки. Еще как увеличивают! Окей, если вы сравниваете зеленую и красную кнопку, то не особо. Но если, например, две новых формулы ранжирования или два новых дизайна сниппета – то вполне себе. Ну и, соответственно, время внедрения увеличивается на время проведения теста (а это минимум неделя-две). Никакому стартапу это не надо: здесь надо двигаться быстро, можно выкатываться в продакшн и смотреть на живых пользователях. Потому что у вас мало пользователей, мало разработчиков и мало времени. Вам не нужны инструменты оценки продуктивности членов команды, вам не нужны инструменты приоритезации - потому что у вас и так есть продакт вижн, стратегия развития, и в данный момент вы громадным топором просто пытаетесь отсечь все лишнее. У больших же компаний уже есть работающий продукт; его нужно лишь полировать и шлифовать – и при этом не портить. Вот тут-то на сцену и могут выйти A/B тесты.

В общем, если вы большая компания, мне кажется, лучше всего сработает аргументация @qetzal (надеюсь, не против, если я его процитирую):

“- Продакт может ошибаться, это нормально и ожидаемо. Люди вообще переоценивают свою способность к рациональным и правильным решениям. Ошибки - налог на развитие.
- Улучшается только тот, кто знает о своих ошибках. Чтобы знать - надо мерять результат относительно своей намеченной цели”.

A/B тест – один из лучших способов измерять профит от небольших изменений.

Если же вы маленький стартап, сделайте сначала хороший и работающий продукт, пожалуйста :)

А мне вот интересно – собираетесь ли вы делать какие-то праздничные фичи / пасхалки к Новому году и Рождеству? Наткнулась случайно на такой вот проект от Google – потому что могут, что еще сказать :)

https://santatracker.google.com/village.html

Учитываете ли вы сезонность в своих продуктах?
anonymous poll

Да – 52
👍👍👍👍👍👍👍 53%

Нет – 25
👍👍👍 26%

Как придется: если вспомним заранее, то учитываем – 21
👍👍👍 21%

👥 98 people voted so far.

А поделитесь со мной, пожалуйста, каналами, которые вы читаете в Telegram? Product/tech-related, конечно. Вечером сделаю подборочку :)

Ох, простите, писать сюда @Anna_Boo :)

Где-то я уже это слышала :)

“Uncontrolled democratic processes [in software development] can be dangerous. Unfortunately, vocal minorities don’t always properly represent silent majorities”. (скобочки мои)

Неожиданно наткнулась на feature philisophy от Telegram, почитайте – все прямо в точку:

https://core.telegram.org/tsi/feature_philosophy

Ну что ж, давайте делиться :) Удивительно, но, собственно, про продукт-то ничего особо и нет. Зато есть каналы про техноновости, дизайн и даже психологию –вот что мне прислали (и на что я подписана сама):

@sergeykorol - с этого канала начались мои подписки в Telegram. Уверена, что у хорошего продакта должен быть широкий кругозор и отличная эрудиция; так вот, некоторые факты-находки Сергея переворачивают мое представление о мире. Очень рекомендую.

@rationalnumbers - в ту же степь, только в циферках. Интересная статистика - все как мы любим :)

@techsparks - новости хайтека от Андрея Себранта, директора по маркетингу сервисов Яндекса. Мы несколько раз встречались, Андрей из тех редких людей, кто живет будущим: первым узнает про новости, пробует классные техноновинки – и с удовольствием делится вдохновением с окружающими.

@addmeto - тоже про новости, но более технические; для их понимания надо хотя бы немного разбираться в Computer Science. Ведет легендарный @bobuk, что еще от него ожидать ;)

@geekchickru - канал от не менее легендарной Ани Заболотной, geekchick.ru. Аня тестирует множество потрясающих гаджетов и приложений (я до сих пор под впечатлением от PaperID от Disney!), ее надо читать и вдохновляться на собственные изобретения и открытия.

@ctodaily - будни технического директора “Медузы”; особенно интересно читать про процесс разработки и “освоение” новых технологий в работающем продукте.

@groks - и еще новости из мира технологий и маркетинга (или маркетинга технологий? :). Про этот канал, как и про @newsrgb и @beardycast, услышала только сегодня - выглядит довольно интересно.

@tech_talks - и еще техноновости :) но здесь, к слову, не только ссылки, но и много собственных заметок-рассуждений на тему.

@use_ruki - новости из мира электроники. Тема hardware для меня сейчас особенно актуальна, экспертов здесь не так много - подписалась, спасибо читательнице за ссылку.

@internet4000 - канал арт-директора “Медузы”: инсайты, интересные ссылки, личное (и порой неоднозначное :) мнение о дизайне, технологиях, стартапах.

@myshli_channel - заметки из Нью-Йорка от крутейшего дизайнера. Про жизнь, про работу, про мир, в котором мы живем.

@yandexdesign - текстовые трансляции Яндекс.Субботников для дизайнеров.

@mosinkru - полезные ресурсы про дизайн, UX, UI; уже добавила себе несколько книжек в закладки.

@temno - “темная сторона” стартапов, куда всех зазывает Аркадий Морейнис. Много всякой интересной аналитики и заметок из личного опыта; я сейчас работаю в стартапе и нахожу для себя много полезного.

@psychics - ну и завершим каналом про психологию. Уж кому как не продакту разбираться в этой теме :)