Друзья, всем спасибо, кто поучаствовал в решении задачки!

Мы с Александром отберем лучшие ответы и обсудим на закрытой зум-конференции со всеми, кто прислал решение. На следующей неделе на ваш емейл, указанный при отправке ответа, придет письмо с датой и ссылкой.

К слову - ответы еще принимаются до 23:59 по Москве 🙂

https://t.me/proproduct/968

Друзья, давайте на этой неделе поговорим про продактов для Machine Learning продуктов: кто это такие, зачем нужны, как стать одним из них 😁 присылайте ваши вопросы через эту ссылку или мне в личку @Anna_Boo!

Я работала с одной из команд в Яндекс Поиске; а последние два года руковожу AI командами в Facebook Workplace. Особенность этой должности - в большой вариативности технологий, которые мы используем: начиная с классического ранжирования и рекомендательных систем и заканчивая speech recognition, image recognition, conversational AI и так далее.

Один из самых популярных вопросов – а зачем вообще нужен ML продакт, если есть техлид и мощная команда инженеров. Давайте разберем на примерах.

Пример 1: мы хотим сделать рекомендации продуктов на Амазоне.

1) Какую проблему мы решаем/ какую цель мы преследуем? Хотим ли мы увеличить разнообразие товаров, на которые смотрит пользователь? Хотим ли мы напомнить о товарах, которые скоро закончатся у пользователя? Хотим ли мы увеличить количество товаров в корзине ("не забудьте купить батарейку для своего нового радио")?

2) В каком контексте находится пользователь? Просто от скуки исследует ассортимент? Выбирает товар из определенной категории? Или пришел за конкретной вещью?

3) Какие данные мы можем и хотим использовать? Контекстуальные ("пользователь находится в определенной точке user journey") или основанные на его профиле ("мужчина, 20 лет, Франция, интересуется Star Wars и балетом")? Как мы можем предоставить наилучшие рекомендации, при этом забочась об этике и user privacy? Каким образом мы можем получить данные, если их пока нет в системе?

4) От кого эти рекомендации приходят? От группы экспертов? От таких же пользователей, как и наш юзер?

5) От пунктов выше будет зависеть интерфейс: как мы презентуем рекомендации, какой инпут требуется от пользователя, и какой контроль мы ему предоставляем над конечным результатом.

Я наверняка сейчас что-то забыла, но эти 5 вопросов - абсолютный минимум, на который надо ответить. Заметьте, наша работа над самим алгоритмом еще даже не началась!

Пример 2: мы хотим ранжировать посты в ленте Twitter.

Наши шаги здесь не будут сильно отличаться от примера 1, но я хочу подробнее разобрать пункт 1 - какая наша цель. Подобные алгоритмы обычно ранжируют результаты на основе вероятностей: например, для поста X вероятность, что я оставлю комментарий, выше, чем для поста Y, поэтому X будет на первом месте, а Y на втором. Вопрос в том, вероятность чего мы предсказываем, и какой у этого будет долгосрочный эффект.

Хотим ли мы предсказывать p(комментарий)? Или р(поделиться твитом)? Или р(совокупность каких-то действий)? По сути, то, что мы предсказываем, - это выражение ценности для пользователя. Задача продакта - определить, что же является этой ценностью.

Вторая сложность - долгосрочные эффекты. Например, мы выбрали p(комментарий) как нашу цель, но из-за этого, например, мы начали поднимать наверх более агрессивные дискуссии на политические темы. В краткросрочной перспективе комментарии растут, так как пользователи вовлекаются в эти дискуссии, может, даже начинают сами делать такие посты, но через несколько месяцев осознают, что Твиттер приносит им негативные эмоции, и уходят с платформы. Задача продакта – продумать последствия для экосистемы, понять риски и возможные biases.

В общих чертах, ML продакт занимается тем же, чем и обычный продакт: исследует рынок, думает про проблемы и ценность для пользователей, разрабатывает стратегию. Но в контексте ML это становится еще более критично, так как любая работа над ML занимает в разы больше времени, чем обычная продуктовая разработка, и требует множество итераций. Также, так как сфера довольно инновационная, у инженеров больше соблазнов опробовать какие-то новые технологические подходы, а не решить проблему пользователя/бизнеса 😉 как обычно, продакт помогает команде использовать ресурс с наилучшим КПД (а иногда и решить, что ML здесь не нужен).

В следующей части поговорим про необходимые навыки и образование для ML продакта.

@proproduct

Друзья, несколько объявлений :) во-первых, напомню, что в четверг я беседую с Катей Базилевской, CEO Setka. Я в предвкушении этого разговора: Катя сначала занималась медиа и делала одни из самых креативных проектов на рынке; а потом вместе с коллегами сделала пивот и запустила платформу для создания медиа (которой, к слову, сейчас пользуются такие бренды, как ebay, Google, L'Oreal, Inc., Esquire).

Подписаться на уведомления о трансляции и задать вопрос можно тут:
https://t.me/proproduct/970

Во-вторых, по задачке со Sputnik8 - получилось прямо огненно: пришло очень много толковых и интересных ответов, CEO Sputnik8 нас благодарит 🔥 по отзывам участников, формат тоже зашел. Посмотрим, как пройдет обсуждение в нашем "клубе", но, кажется, эксперимент стоит продолжать!

Если вы бизнес, у которого возникли сложности в связи с текущей ситуацией, и вам интересно попробовать такой формат, напишите мне @Anna_Boo, обсудим!

Ну что же, погнали дальше (начало тут). Какое образование и бэкграунд требуются ML продакту?

Прежде чем ответить на этот вопрос, давайте подумаем - а какие специфические навыки нужны ML продакту?

1) Понимание технологии. В ваших вопросах было: нужно ли быть Kaggle-мастером, - нет, не нужно. Вы не должны объяснять разработчику, как разрабатывать и обучать модель. Но при этом должно быть хорошее понимание того, что происходит на рынке (какие технологии появляются, что готово для продакшена, а что еще в процессе исследования). Должна быть мощная продуктовая интуиция - что принесет наибольший выхлоп с наименьшими усилиями. Должно быть представление о работе с данными и возможными связанными рисками.

Например: ваша задача - увеличить количество matches в Tinder. Вам нужно описать:
- как выглядит успешный матч и как это транслируется в метрики
- на каком сегменте пользователей мы фокусируемся (новые - cold start; не новые, но еще не нашедшие матч; нашедшие матч и вернувшиеся; и тд)
- на основе каких данных мы формируем для них рекомендации (и как эти данные получить, если их нет)
- как мы формируем рекомендации, какой подход используем
- в каком интерфейсе мы это все представляем и какие контролы даем пользователю
- и тд.

Вы также должны быть в позиции сказать, что в данном случае ML не требуется: например, для cold start мы просто покажем первыми самые популярные профили в радиусе 5 миль от пользователя.

2) Статистика, работа с данными и эксперименты. Если в других отраслях (например, нишевый b2b) это может быть и не нужно, то тут это маст. Для продакта, работающего с персонализацией, эксперименты просто bread and butter: нужно уметь трактовать результаты и принимать решение о выкатке в продакшн. Немаловажный фактор: отслеживание долгосрочных эффектов и регрессии модели. Продакт должен уметь коммуницировать с Data Scientist и четко формулировать гипотезы, а также не бояться закапываться в данные.

Это два ключевых фактора, на мой взгляд. Нужно ли получать для этого образование, вопрос философский. Я думаю, ребятам с инженерным или аналитическим образованием будет легче, но это не обязательный критерий. Я знаю много успешных ML продактов, у которых не особо релеватное образование (например, по астрофизике или экономике).
У меня самой диплом журналиста, при этом я работаю с передовыми AI researchers в Фейсбуке. Главное, желание учиться и глубоко вникать в предмет :) я начинала с курсов на Coursera (классика - Machine Learning от Andrew Ng) и чтения внутренней документации; потом начала читать релеватные книжки и участвовать в конференциях, читать research papers. Очень помогает изучение конкурентов (или просто хороших ML-продуктов): представь, что ты первый ML продакт в Netflix, а что бы сделал ты?

Должна сказать, что у работодателей на это нет однозначного мнения. В Фейсбуке на собеседовании нет специальных секций для ML продактов; в Яндексе, насколько я слышала, сейчас требуется релевантное образование или опыт работы. Но, опять же, всегда можно попробовать прийти на роль с частичным использованием ML (смесь fullstack и ML разрабочиков), а потом уже переходить в "чистый" ML, где в команде исключительно ML researchers и data scientists/data engineers.

@proproduct

Друзья, у нас завершилась трансляция с Катей Базилевской, CEO Setka.io, – получилась очень интересная беседа про правила успешного нетворкинга, перфекционизм и принятие решений, работу CEO и переход из рекламы в продакт-менеджмент.

По новой традиции одному из комментаторов я подарю крутую книжку, про которую Катя рассказывает в интервью. Смотрите и делитесь впечатлениями!

https://youtu.be/U5ElVVm_Rrg

Друзья, а я с радостью анонсирую вам новый выпуск интервью!
Мы пообщаемся с Аней Ситниковой, senior PM в шведской финтех компании iZettle.
Последние 5 лет Аня живет в Стокгольме и 4 из них посвятила iZettle, который прошел путь от многообещающего стартапа до единорога, поглощенного PayPal в ночь накануне запланированного IPO. В iZettle Аня была инициатором и со-создателем Growth Product подразделения, а сейчас отвечает за развитие партнерских отношений через интеграции.
Ранее Аня отвечала за рост и выход на новые рынки в Truecaller, строила b2b marketplace в InSupply и была учредителем ряда стартапов в России и Латинской Америке.

Встречаемся в прямом эфире 25 июня в 20-00 по Москве! Подписывайтесь на уведомления о трансляции по ссылке ниже:

https://youtu.be/F_HqkitOlDg

Если вы хотите задать вопрос Ане, воспользуйтесь этой ссылкой.

Предыдущие выпуски:
- Юля Нечаева, продакт-менеджер в YouTube
- Люба Вязникова, Head of Product в Badoo
- Катя Базилевская, CEO Setka.io

Ребята, привет! А у нас сегодня поспела вторая задачка #клубикмощныхпродактов ^_^

Как мощное продуктовое коммьюнити, мы можем помочь существующим бизнесам пережить происходящее – а заодно прокачать мышцу стратегического анализа и генерации идей.

Идея такая:
1) бизнесы делятся кейсами, возникшими в связи с ковидом;
2) все желающие могут попробовать предложить решение;
3) все, кто предложил решение, собираются в закрытом клубике для обсуждения - включая меня и представителя от бизнеса.

Наша задачка сегодня - от Kitchen Industries: очень интересная проблема, как трансформировать классное коммьюнити и магазин в сервис. Описание можно найти вот тут.

Что нужно сделать:
1) предложите решение через эту форму до 3 июля включительно;
2) 4-5 июля основатели компании и я отберем 3 лучшие идеи и разберем задачку в прямом эфире;
3) приглашение на эфир получат все ребята, предложившие решение (смотри пункт 1).

Если вы бизнес с интересной проблемой и существующей user base, напишите мне @Anna_Boo, обсудим сотрудничество!

Напоминаю, что сегодня в 20-00 по Москве мы встречаемся с Аней Ситниковой, senior PM в шведской финтех компании iZettle, - присоединяйтесь, разговор обещает быть очень интересным!
https://youtu.be/F_HqkitOlDg

А также подведем итоги розыгрыша книги, которую рекомендовала предыдущая гостья. Все еще можно принять участие, смотрите подробности в этом посте!

Друзья, вчера мы пообщались с Аней Ситниковой – обсудили, как балансировать trade offs в команде Product Growth, сочетать материнство и карьерный рост, а также разрабатывать стратегию для профессионального развития.

Получилась очень интересная беседа ❤️ как обычно, жду ваших комментариев: один из них получит в подарок книжку The Culture Map: Breaking Through the Invisible Boundaries of Global Business by Erin Meyer, о которой рассказывает Аня. Победителя объявлю в следующем выпуске.

https://www.youtube.com/watch?v=F_HqkitOlDg

Друзья, приглашаю вас на следующую встречу с потрясающей героиней - будем общаться с Таней Авлочинской, Head of Product. Таня живет в Минске и отвечает за Product Growth в PandaDoc. До этого была разработчиком, проектным менеджером в мобайле и продактом в фотоплатформе LensCulture. Таня собирает продуктовые митапы Product Tank и менторит стартапы.

Встречаемся 9 июля в 20-00 по Москве!

Ссылка, чтобы записаться (кликните на колокольчик):
https://youtu.be/B8-72eAD27k

Напомню, что у нас сейчас идут две классные инициативы:

1) решаем продуктовую задачу для необычного стартапа https://t.me/proproduct/979

2) делимся фидбэком на предыдущий стрим и выигрываем книжку The Culture Map: Breaking Through the Invisible Boundaries of Global Business https://t.me/proproduct/982

Ну и добавим третью, раз уж на то пошло 🙂 как вы заметили, я начала развивать Youtube канал и нуждаюсь в вашей поддержке! 🖤

Что нужно сделать:

1. Подписаться на Youtube канал (если вы уже подписаны, просто укажите свой ник), ответить на пару супер-коротких вопросов вот тут https://forms.gle/Evs5CaBzSZk2X7om9. Среди всех, кто это сделает, разыграю три "библии для продактов" – Inspired by Marty Cagan (она как раз недавно вышла на русском!).

2. Если вы гуру поддержки и считаете, что канал может быть полезен вашим друзьям/коллегам, расскажите про него в соцсетях и добавьте ссылку на пост в ту же форму. Среди всех, кто это сделает, я разыграю годовую подписку на Harvard Business Review 😱

Итоги подведем 13 июля ☺️

Друзья, меня тут опять унесло в работу с головой, и я не завершила рассказ про ML PM. Исправляюсь 🙂 начало вот тут.

Расскажу сегодня про команду. Для начала надо выделить три типа команд - продуктовые, исследовательские и микс. Примеры:

- вот у нас есть почтовый клиент и проблема - большое количество спама. Продуктовая команда понимает, что для решения проблемы эффективнее всего использовать ML, и работает над моделью и интерфейсом;

- тогда как успех продуктовой команды измеряется в определенных продуктовых/бизнесовых метриках, успех исследовательской команды измеряется в научных прорывах и публикациях. Задача команды - установить новый state of the art в определенной технологии, например, распознавании голоса или изображений;

- микс-команда чаще всего встречается на продуктах типа контекстной рекламы или поиска, где ML - основная функциональность. Отличие от продуктовой команды - оптимизации происходят за счет улучшения алгоритмов, а не end to end решения. В какой-то момент стандартные решения заканчиваются, и возникает нужда в более инновационных решениях - тогда-то и приходят на помощь исследователи.

В продуктовой команде состав особо не отличается от обычной команды - за исключением нескольких ML разработчиков и обязательного присутствия Data Scientist. Иногда есть и модель, когда ML разработчики формируют отдельный "отряд" и работают как сервис для всех продуктовых команд в компании.
В любом случае, задача PMа в такой команде - понимать, где проблему пользователя можно решить с помощью ML, и почему это лучше каких-то ручных эвристик.

Исследовательская команда преимущественно состоит из ML разработчиков и ML researchers. Они не трогают продакшн-код и, в основном, работают на прототипах; их цель - валидировать или, наоборот, опровергнуть какой-то научный подход. PM такой команде не особо нужен; зато есть TPM или техлид, которые выполняют функцию координаторов – следят за сроками, коммуницируют прогресс.

В микс-команде чаще всего будут ML разработчики, пара исследователей, один или два Data Scientists, Data Engineer, User Researcher, иногда маркетолог и content strategist. Бывает, что команда, которая занимается интерфейсом, интегрирована в ML, но чаще это, опять же, сервисная модель: то есть, условно, одна команда отвечает за интерфейс поиска, а несколько ML команд занимаются алгоритмами.
В микс-команде задача продакта – находить области для улучшения продукта, а затем их приоритизировать. Для этого нужно очень глубоко разбираться в том, как работает модель, какие источники данных использует, какую цель оптимизирует, и так далее. Обязательно – читать научные исследования в своей области и приносить идеи команде на обсуждение. Я, например, читала доклады с NeurIPS и потом брейнштормила с техлидом, что мы можем попробовать в продукте.

Продуктовые команды легко могут превращаться в микс. Например, в примере с почтой: мы поняли, что спам-фильтр очень важен для всего продукта, и даже incremental improvements принесут огромную пользу для бизнеса, - в таком случае есть смысл сделать отдельную ML-команду под эту задачу.

В последней заметке расскажу про MVP и user research для ML продуктов. Вроде как на все остальные ваши вопросы я ответила, но, если нет, доспросить можно по этой ссылке.

@proproduct

Друзья, на канале уже доступна запись трансляции с Таней Авлочинской, Head of Product в PandaDoc.

Мы обсудили, зачем становиться ментором, как совмещать карьеру и семью, а также какими инструментами и фреймворками пользуется Таня.

Как обычно, среди всех, кто оставит комментарий под видео, я разыграю книгу по Таниной рекомендации – “Инструменты гигантов. Секреты успеха, приемы повышения продуктивности и полезные привычки выдающихся людей” от Тимоти Ферриса.

https://youtu.be/B8-72eAD27k?t=117

Друзья, я продлила дедлайн для этого конкурса до конца сегодняшнего дня - завтра подведу результаты: до конца дня отправлю письма счастья победителям!

Друзья, а я с радостью анонсирую следующее интервью: пообщаемся с Софией Швец, CEO Let's Enhance, платформы для улучшения фотографий с помощью AI. София вместе со стартапом прошла через престижный акселератор Techstars, а до этого работала в Google. Входит в топ 20 tech предпринимателей Украины. Переехала в Долину в марте 2020.

Будем общаться про предпринимательство, жизнь в Долине, роль CEO и еще много всего интересного - приходите с вопросами ^_^

Встречаемся 23 июля в 20-00 по Москве!

https://youtu.be/IKpi1X69R_I

Друзья, очень крутое объявление для тех, кто недавно закончил универ и хочет стать продактом: в Facebook начинается новый набор на RPM программу!

И 30 июля пройдет вебинар, где про нее подробно расскажут предыдущие участники программы:

Facebook are hosting an Insider's Guide to Becoming a Product Manager virtual event for those who are new to Product Management and are interested in applying for our programme.

Join us for this virtual event to learn more about what it is like to be a Product Manager at Facebook and have an impact on products that touch billions of users. Hear from our current Rotational Product Managers on how they got into product management and get their top tips on how to master Facebook's interview process.

Записаться можно тут https://rpminsightevent.splashthat.com/, запись открыта до 17 июля.

А вот здесь я писала подробнее про программу: https://t.me/proproduct/878

Решила попробовать новый формат - запускаю рубрику #ментальныеловушкипродакта, короткие заметки "на подумать".

Ментальная ловушка №1: "если я блокирую команду, это провал".

Пример: разработчики готовы начинать работу над новой фичой, но продуктовая спецификация (one pager) еще в процессе. Продакт паникует, собирает что-то за час, отдает команде, чтобы не задерживать начало разработки. Простой в несколько дней воспринимается как провал.

В чем ловушка: мы пытаемся оптимизировать непрерывный execution; кажется, что постоянно бежать - лучше, чем остановиться и подумать. Задачи, связанные с работой над фичой в прогрессе, всегда приоритизируются выше, чем более оторванные от текучки дела (например, исследование проблемы, рынка или конкурентов).

Чем плохо:
- у продакта не находится времени глубоко подумать над проблемой и успехом; оценить риски и edge cases. Вероятно, что команда начнет разработку раньше, но застрянет на первом повороте, придется возвращаться назад и начинать сначала. Второй вариант - команда сделает решение для несуществующей проблемы. В любом случае, потраченное время будет больше потенциального "простоя" в начале;
- у продакта не находится времени подумать над стратегией. Команда застревает на уровне локальных оптимизаций и делает неконкурентноспособный продукт, несмотря на то, что работает круглыми сутками.

Вопросы "на подумать":
1) Чувствуешь ли ты себя некомфортно, если берешь время на размышление, а не решаешь "горящие" задачи?
2) Какой процент твоей работы сейчас – это решение срочных задач (reactive) vs средне-/долгосрочное мышление (proactive)?
3) Действительно ли команда заблокирована? Или это иллюзия срочности? (например, могут ли разработчики в это время заняться рефакторингом или документацией)
4) Как можно изменить процесс разработки, чтобы сделать выбор в п.1 более простым?
5) Как можно заложить "долгосрочное мышление" в оценку работы продакта?

@proproduct

5К 😍😍😍 спасибо вам за поддержку, друзья!

https://www.youtube.com/AnnaBuldakova