Подходы при формировании рекомендательной системы на ML-модели

Ниже рассмотрены 4 классических подхода:

Фильтрация по содержимому
Content-based filtering выдает рекомендации на основе сходства признаков предмета (item features) и предпочтений пользователя. Мы можем извлечь значимые признаки из описания товара и сопоставить их с предпочтениями пользователя. Предпочтениями пользователя может стать как информация, которую пользователь предоставил сам, например, демографическая информация, так и основанная на истории просмотров и покупок пользователя. Многим рекомендательным системам приходится решать проблему холодного старта, когда информации, собранной для нового пользователя, не достаточно.

Совместная фильтрация (Пользователь-пользователь или предмет-предмет)
Фильтрация по содержимому имеет ограничение по качеству описания, предоставляемого контент-провайдером. Существует ограничение на то, какие признаки могут быть извлечены из ограниченного объема контентной информации. Поведенческую информацию (что они смотрят, как они оценивают предметы) гораздо легче собрать, а также это менее навязчиво и более точно. Тут мы концентрируемся на составлении прогнозов на основе поведения пользователей, а не на извлечении признаков. Один из типичных подходов заключается в создании матрицы рейтингов пользователя, содержащей оценки, которые пользователь дал разным фильмам. Благодаря ей, мы находим сходства и даем рекомендации.


Совместная фильтрация (Разложение матрицы)
Из матрицы рейтингов мы узнаем скрытые факторы (главные компоненты), которые пользователи используют при оценивании товаров. Например, в фильмах скрытыми факторами могут быть жанр фильма, год выхода, актер или актриса в фильме. Но мы не определяем их однозначно. Мы не знаем, правильные ли скрытые факторы определил компьютер, пока не изучим результаты вручную. Но количество скрытых факторов может быть огромным, и многие из них могут не иметь большого значения. В методе главных компонент (PCA) мы отрезаем те, которые не являются важными (имеют очень маленькое значение σᵢ по сравнению с другими).
Таким образом, хоть матрица рейтингов и является большой, мы можем уменьшить информацию до скрытых факторов, которые представляют пользователя или фильм в гораздо меньшем размере.

Случайное блуждание
Мы можем представить каждый товар в виде вершины на графе. Основываясь на многих факторах, в том числе на том, какие товары пользователи могут выбрать далее, какие товары могут быть просмотрены или куплены вместе, какие товары пользователь высоко оценил вместе, или на других моделях поведения пользователей, мы можем сформулировать переходную вероятность от одного товара к другому. Случайное блуждание является одним из самых популярных рекомендательных алгоритмов в промышленном применении. Тем не менее, это огромная тема, поэтому сейчас мы рассмотрим два крупных внедрения, в которых задействованы цепи Маркова.

Хотите уметь строить рекомендательные системы в своих продуктах? А также использовать AI в других задачах?
Приходите на курс «AI Product Manager» — силовой агрегат продакта, решившегося овладеть мощью Al и вырасти до руководителя c-level executives, концентрированная теория, которую студенты оттачивают на практике.
Курс рассчитан на 10 часов в неделю — можно совмещать с основной работой и сразу применять полученные навыки. Преподаватели и менторы из ДомКлик, Mail.ru и Facebook помогут в трансформации вашей карьеры.

Подробности и запись на курс по ссылке — https://clc.am/6t1lXA

До 15 июня промокод FRESH дает скидку 45% на обучение

Продукты, аналитика и книги: канал Analysis Paradisis

У Камиллы Самохиной, менеджера продуктов из Тинькофф, хороший канал @analysis_paradisis про управление продуктами, командами и собой.

Камилла делится менеджерским опытом и рассуждает о разных сторонах продуктовой разработки.
Например, об этике: https://t.me/analysis_paradisis/367
Про тексты в интерфейсе: https://t.me/analysis_paradisis/343
Про силу индивидуального подхода: https://t.me/analysis_paradisis/317
Сторифреймы или дизайн текста через интерфейс: https://t.me/analysis_paradisis/313

И правильные книжки для менеджеров: https://t.me/analysis_paradisis/354. Мне особенно нравится про книги, для себя я подчеркнул две:

Не рычите на собаку, Карен Прайор
Принцип очень простой: человек сделал что тебе нужно (или не сделал того, что тебя раздражает) — закрепи поведение положительным подкреплением. Рыба дельфину, похвала человеку. И сделать это нужно сразу же при проявлении поведения, чтобы установилась связь. Еще эффективней добавить технику кликера: кликнуть (там звук такой, типа клик) ровно в момент желательного поведения. Когда дельфин прыгает на нужную высоту и вы даете ему рыбу после прыжка, дельфину приходится гадать, что именно он сделал правильно — это была нужная высота, место, время между прыжками или что-то еще? Клик в нужный момент как раз позволяет понять, что именно.

Сделано, чтобы прилипать, Чип Хиз, Ден Хиз
История прилипает, если в ней есть часть или все из этих шести принципов:
— Простота
Антипример: словосочетание «идиопатическая кардиомиопатия». «Кардиомиопатия» означает, что «что-то не так с вашим сердцем», а «идиопатическая» — что «мы понятия не имеем, что именно не так».
— Неожиданность
Продавец из Nordstrom прогревал машину клиента, пока он выбирал товары.
— Конкретность
В одном университете вместо скучных лекций по бухучету студенты целый семестр помогают вымышленным предпринимателям справиться с проблемами в компании.
— Достоверность
Например, факты или внимание к деталям: в эксперименте, симулирующем суд про опеку, описание жизни матери и ребёнка с большой степенью детализации положительных вещей ("ребёнок с утра чистит зубы щёткой в форме Дарт Вейдера") заставляет присяжных на суде склоняться на сторону матери больше, чем тех, кто прочитал обычное описание ("ребёнок с утра чистит зубы").
— Эмоциональность
Сбор денег более успешен, если люди помогают конкретному ребёнку, а не всей Африке.
— История
Subway сделал очень эффективную рекламу на истории парня, который похудел на их сэндвичах на 90кг.

Еще больше материалов на крутом продуктовом канале https://t.me/analysis_paradisis: подписывайтесь

Про KPI продакта

Часто спрашивают, а в чем эффективность продакта. По классике, оценивать его можно по четырем категориям и сферам деятельности:

1. KPI бизнеса — ориентированы на производительность продукта по сравнению с целями организации, они часто появляются в нескольких других отделах организации, и они ориентированы на клиентов через такие показатели, как жизненная ценность клиента (LTV), доход, прибыльность и расходы.
Подсчет клиентов: измеряется общее число клиентов или пользователей продукта.
Позиция на рынке: эта метрика поможет компании понять, какое место занимает продукт среди конкурентов.
NPS: Net Promoter Score — это показатель, имеющий большое значение для продуктов и услуг, ориентированных на клиентов. NPS — это показатель, который помогает понять, насколько клиент доволен вашим продуктом и услугой.

2. KPI использования продукта — как клиенты взаимодействуют с вашим продуктом, что работает, а что нет для вашей пользовательской базы:
Соотношение активных пользователей за день / месяц: ежедневные активные пользователи, то есть число вошедших в систему пользователей, выполняющих задачи. Этот KPI чрезвычайно полезен для отслеживания частоты «залипания» на продукте: растущий процент DAU / MAU указывает на увеличение процента принятия продукта.
Среднее количество сеансов на пользователя: ориентирован на взаимодействие, так как у большинства продуктов частота использования, как правило, является хорошим признаком того, что продукт принимается так, как задумано.
Количество пользователей на функцию: может использоваться для измерения запуска функции или для отслеживания определенных функций и принятия решения о том, будут ли они развиваться дальше или же будут остановлены.

3. KPI разработки продукта — отслеживание процесса разработки и обмен результатами с вашей командой может помочь начать обсуждения, чтобы устранить любые недостатки или улучшить коммуникацию:
Своевременная доставка: здесь вы отслеживаете производительность в соответствии с установленными сроками. Например, для команды разработчиков ПО это может помочь им оставаться точными при оценке производства и тестирования.
Скорость команды: скорость в команде рассчитывается через количество единиц работы, выполненной за определенный интервал. Это особенно полезно при разработке продукта на основе проектов (что часто встречается при производстве ПО) в качестве способа оценки и отслеживания действий, что позволяет создавать более предсказуемые дорожные карты.

4. KPI качества — проблемы с качеством продуктов сильно влияют на удовлетворенность клиентов и могут поставить под угрозу успех продукта:
Заявки в службу поддержки: количество заявок в службу поддержки может указывать на согласованность и качество
Частота ошибок: тестирование KPI может охватывать несколько областей, от отчетов о покрытии автоматизации до модульного тестирования, тестирования системы и функций.

Product-менеджер прокачивает все 4 KPI в рамках своей зоны ответственности, придумывает идеи и запускает продукты, внедряет улучшения, планирует их продвижение.
Научиться всему этому можно на своих ошибках, но лучше и быстрее — на совместной магистратуре ВШЭ и Нетологии. Из очевидных плюсов: диплом ВШЭ, гибкое онлайн-обучение, поддержка наставников, практикоориентированность программы ― у вас будет возможность потренироваться в управлении цифровым продуктом на стажировке в IT-компании.

Подробности ― на дне открытых дверей по ссылке https://netolo.gy/gGx

Подчеркнуто на канале Максима Спиридонова

Меня в ИТ вдохновили пойти в том числе подкасты Максима Спиридонова “Рунетология”. А сейчас я с удовольствием продолжаю следить за контентом, который Максим делает, в том числе в своем телеграм-канале. Вот наиболее интересные мысли:

1. Согласно последнему докладу Oxfam (организация, которая занимается проблемами бедности) эпидемия способствовала росту неравенства. И если на восстановление привычного уровня жизни у большинства населения планеты уйдут десятилетия, то богатейшая верхушка сумела оправиться всего за 9 месяцев.

2. Netflix добавил на свой главный экран кнопку случайного выбора фильмов. Функция «Воспроизвести что-нибудь» призвана помочь тем зрителям, которые еще не определились с предпочтениями. Она работает как пульт от обычного телевизора: включаешь — и на экране что-то появляется. Можно посмотреть на эту новость как на небольшую (действительно пустяковую с точки зрения реализации) продуктовую фичу. А можно гораздо более широко — как на философский вопрос о том, куда движется человечество. В сторону осознанного выбора и регулярно принимаемых решений (в том числе по поводу развлечений)? Или в сторону отказа от ответственности за выбор и пути наименьшего сопротивления?

3. Одна из самых перспективных бизнес-стратегий — найти сформированный большой спрос на какой-либо продукт в офлайне и создать для него цифровую альтернативу, попросту — перевести в онлайн. Однако важно оценивать еще два фактора, которые определяют успех или неудачу такой стратегии: достаточно ли экспертизы в разработке диджитал-продукта у вас?Готов ли выбранный рынок и его пользователи к инновациям?

4. Внимание — валюта будущего. «Майнить» её сегодня дешевле, чем завтра. И баснословно дешевле, чем послезавтра. Посмотрите крутое видео от Джека Конте. Парень — СЕО нового типа. Он предприниматель, музыкант, видеоблогер. Где заканчивается одна его ипостась и начинается другая, невозможно понять. Да и не нужно. Он хорош в синтезе своего многообразия.

5. Аналитики McKinsey считают, что лучшие лидеры бизнеса находят тонкий персональный баланс в отношениях с сотрудниками. Они эмпатичны, внимательны и открыты к предложениям. Они всегда готовы прийти на помощь. Они регулярно общаются с подчиненными, как по профессиональным, так и по личным вопросам. В то же время они сохраняют дистанцию, чтобы непредвзято оценивать работу компании и контролировать выполнение задач.

Еще больше интересных материалов на канале https://t.me/mspiridonov. Подписывайтесь!

Тренды продаж в продуктах для блоггеров

Собрано из многочисленных исследований.

1. Онлайн продажи растут. Ценники Shopping tag в Instagram есть. В ближайшее время появится возможность покупать товары не выходя из Инстаграм, и это будет означать конец простых интернет-магазинов.

2. Многие понимают важность общения с пользователями и берутся за развитие этого направления в своих соцсетях. Люди пишут комментарии, потому что хотят быть услышанными. Пишут плохие отзывы, потому что расстроены и хотят получить ответ от бренда. Отвечайте, помогайте, поддерживайте общение, и вы получите активную и преданную аудиторию.

3. Масками уже никого не удивить. На очереди - онлайн примерочные, выбор мебели или декора с возможностью "примерки" к своему интерьеру и многое другое.

4. Автоматизация этапов работы и повышение лояльности потребителей (ведь электронный собеседник отвечает круглосуточно, активно и помнит всю историю покупок). Это все благодаря чат-ботам и автоворонкам.

5. На первый план выходит гео-таргетинг. При настройке рекламы настройте показ на ближайших к вам пользователей, а на баннере укажите близость и доступность.

6. “Малыши” с 1000 - 3000 подписчиков становятся востребованы еще больше, потому что они не пренебрегают общением со своими последователями, а значит - им больше доверяют.

7. Выручка платформ для блогеров c 1000 - 3000 подписчиков растет 180% год к году, в том числе с криптовалютой. Блоггеры в среднем пользуются не менее 2 платформами. Например Fly - платформа, объединяющая рекламодателей и блогеров, при поддержке которой написан данный пост и про которую подробнее можно узнать на их каналах https://t.me/FFRUSCHAT и https://t.me/Fly_futurerus

Пост благодарности подписчикам №2

Друзья, спасибо, что подписаны и читаете посты моего канала. Вы все даете мне счастливую и исключительную возможность заниматься любимым делом - писать об управлении продуктами. Желаю всем того же!

Вы часто мне пишите в сообщениях запросы на консультирование как по продуктам, так и по ведению каналов, что вам не хватает интерактивного общения с автором канала.
Поэтому я запускаю 2 новые инициативы:

1. Канал с моими кейсами роста, в котором будут голосовые эфиры с моим участием. В них буду рассказывать и дискутировать на интересные мне и вам продуктовые темы, а также там будет возможность попросить консультацию на свой продукт или идею, получить несколько советов от меня и подключившихся. Первый эфир запланировал на 22 июня в 18.00. Ссылка на канал - https://t.me/sergeyproduct.

2. Консультирование для авторов каналов. Если у вас есть свой канал, в котором более 10 авторских постов и более 200 подписчиков, вы нуждаетесь в консультировании по развитию канала, напишите автору канала личным сообщением. В сообщении напишите, какой канал ведете, какие амбиции и какие проблемы с достижением их.

Всем роста!

Чек-лист для взлома роста

Совместно с Андреем Торбичевым, автором канала Индекс дятла, составили чек-лист для трекеров, консультантов и продакт-менеджеров по взлому роста.

В нем 5 шагов и подход снизу воронки - от метрик и пользователей, которые ближе всего к ценности и деньгам.

1) Если коэффициент виральности меньше 0.1, стоит активировать рекомендации. Это заставит еще раз взглянуть на ценность.

2) Если продукт предполагает регулярное использование, а наша возвращаемость в течении 28 дней ниже 20% - идем разбираться с конверсией в повторную покупку.

3) Когда больше тысячи платящих пользователей (и мы прошли первые два шага) - тестируем гипотезы дохода. Апсейс/кросс-сейл вокруг драйверов может помочь.

4) Меньше 10% переходят с пробной версии на платную - повод снова разобраться с ценностью или моделью продаж.

5) Если конверсия из охвата в целевое действие (С1) ниже 3%, это и есть точка роста. Выходим из офиса и начинаем кастдевить клиентов.

Наш опыт показывает, что универсального решения нет. И в то же время эти пять шагов дают шанс быстро найти бутылочное горлышко в консьюмерском продукте.

Разрешите себе ошибаться


Сегодня прочитал интересное эссе «Разрешите себе ошибаться» или как погоня за успешным успехом убивает вашу эффективность при работе над продуктами от CEO Signum.ai Артема Гладких - «Разрешите себе ошибаться». Или как погоня за успешным успехом убивает вашу эффективность при работе над продуктами. Хорошие мысли от CEO Signum.ai - https://www.facebook.com/artem.gladkikh/posts/4202595689786963

Оно навело меня на мысли, как можно работать так, чтобы сократить стоимость ошибки:

+ Сосредоточьтесь на опыте, который вы хотите дать, инновациях, которые вы хотите привнести, потребностях, которые вы удовлетворяете, и на том, что ваш продукт будет значить для людей.

+ Быстро, дешево и хорошо невозможно, поэтому заранее определите свой треугольник и убедитесь, что все ваши основные заинтересованные стороны выровнены.

+ Ко всему, что приходит от пользователей, нужно относиться, как к сигналу, проблему которого нужно определить. Самая большая ошибка, которую я вижу, это то, что менеджеры совершают переход к решениям прежде, чем они поймут проблемы.

+ Большая часть работы менеджеров по управлению рисками заключается в том, чтобы сократить риски с помощью анализа конкурентов. Смотреть за пределами своего продукта на другие продукты – это разумно, но простое копирование почти всегда является шагом к катастрофе.

+ Хорошие менеджеры лучше терпят неудачу, чем все остальное, потому что они постоянно учатся на своих ошибках. Спросите себя: что я узнал из этой неудачи? Могу ли я соотнести причину и следствие? То, чему я научился, правда? Будет ли это работать в будущем? Как еще я могу применить эти знания?

Как эффективно запускать MVP и тестировать гипотезы с помощью зерокодинга

— Важно выпускать версии продукта как можно быстрее, оставляя за бортом свой перфекционизм. Первые пользователи сами подскажут вам, что поменять и доработать. Будьте готовы этот фидбэк обрабатывать, в том числе смотреть на негативные комментарии через призму пользы. Как я вижу по своей практике, 95% стартапов не доходят до обратной связи, продолжая совершенствовать тестовые версии.

— Нужно безжалостно выкидывать то, что не доносит ценности. Если ценность оказалась не нужной пользователям, то нужно вернуться к дискаверингу и определению задач. Понятно, что когда версия продукта разрабатывается, когда в неё вкладывается много времени, сил и денег, возникает эмоциональная привязанность. В зерокодинге вы вкладываете минимум усилий в разработку, вам проще вносить изменения в верстку — без проблем сможете отбросить неработающее решение, не пытаясь его реанимировать.

No-code уже давно не ограничивается простыми лендингами с очевидным дизайном, особенно, если добавить совсем немного кода. Например, на no-code платформе Webflow c участием сервисов вроде Airtable можно собрать заявки от клиентов и провести оплату, менять верстку и контент главной хоть четыре раза за месяц, сделать кастомные штуки вроде анонимного голосования жюри по 20 критериям, автоматизации подсчета баллов и выгрузки результатов на сайт.

Как устроен процесс на Webflow и во сколько раз no-code быстрее, чем кастомная разработка — рассказали ребята из Method Zero у себя в блоге.

Читать статью: http://cases.pinkman.ru/pioneum

В каких сценариях ИИ нужно разбираться продуктологам?

Процесс проектирования для ИИ аналогичен, но подразумевает дополнительные шаги: взгляд в лучшее будущее, оценка возможностей ИИ, циклы данных и обратной связи, анализ негативного воздействия. Во время проектирования стоит тщательно продумать будущую коммуникацию ИИ и человека. ИИ-разработчикам необходимо осознанно решить, какое будущее они хотят создать.
В ИИ уже хорошо развиты:
- Обработка текстов на естественном языке (предоставление переводов, подписей, предложений по редактированию или публикации контента)
- Компьютерное зрение (понимание видео, фотографий, идентификация объектов в окружающей среде).
- Речь и разговор (способность ИИ говорить с пользователями, задавать вопросы и отвечать на них, предоставлять услуги ассистента).
- Сопоставление с образцом (распознавание вредоносных изображений, поиск ключевых слов в тексте, организация информации по категориям).
- Составление прогнозов на основе существующих данных (предлагаемые цены или контент, который вам может понравиться).
- Предоставление ответов и информации на вопросы, где данные уже существуют.
- Выполнение основных задач (включение видео, установка таймера, воспроизведение песен).
- Творческие инструменты и эффекты (возможность сопоставить одежду с вашим телом, заставить тело делать движения из другого видео, наложить офисный фон во время виртуальной встречи).

ИИ и машинное обучение радикально меняют наш мир и не могут не влиять на управление программными продуктами. Правильные способы применения уже есть. Команда Signum.AI запускает канал, где делится инсайтами о том, как успешно разработать свой продукт на основе искусственного интеллекта. Узнай, почему бизнесу выгодно работать с ИИ технологиями, какие существуют особенности внедрения ИИ и как эффективно управлять такими проектами.

Подписывайтесь на https://t.me/ai_bible

Когда не стоит становиться продакт-менеджером

1. Ваши способности недостаточно разносторонние или вы не любите учиться.
В продакт-менеджменте вам придется принять, что не получается у вас гораздо больше. Людей, которые сразу умеют все нужное, не бывает, и какие-то недостатки придется компенсировать. Критичные вещи: проблемы с русским языком, проблемы с английским языком, плохое математическое мышление, неумение искать и структурировать информацию, проблемы с коммуникацией, проблемы с эмпатией. Все это важнее, чем технические детали.

2. Вам на самом деле не нравятся люди: либо в принципе, либо общение с ними.
У вас проблемы с коммуникацией и эмпатией.

3. Вы слишком уверены в себе, агрессивны и обожаете атрибуты формального лидерства.
Но даже в передовых подразделениях армии уже все немного иначе.

4. Вам важен комфорт или процесс интереснее результата. Продукт начинается, когда релиз попадает к пользователю. Быть на передовой в этот момент непросто вообще всем, но у некоторых это вызывает особенные проблемы. Если вы хотите всегда оставаться в тени, поищите что-то поспокойнее.

5. Ни одна тематика вам на самом деле не интересна. Я не верю в продакт-менеджеров в вакууме, нельзя быть абстрактным. Специализация, понимание и любовь к предметной области очень много значат.

6. Вы не любите или не умеете объяснять
Причем разным людям и в разных ситуациях: перед большой аудиторией, лично, в мессенджере, письмами, картинками, презентациями, техническими заданиями. Непосредственным результатом вашей работы всегда будет объяснение, которое другие люди преобразуют в продукт. Качество объяснения повлияет на него не меньше, чем качество идеи.

Что делать, если хотите исправить ситуацию и стать хорошим продуктом? Исследуйте свою область, придумывайте и тестируйте гипотезы, мыслите шире, постоянно приоритизируйте задачи, используйте MVP и Lean-подход, “мягкую” силу, слушайте и смотрите, всегда задавайте вопрос “Зачем?”. И ходите на практические курсы по продакт-менеджменту.

Если хотите поработать в тесном контакте с продакт-менеджерами из OZON и других крупнейших российских IT-корпораций, практиковаться на своем IT-продукте (по желанию), прокачать скиллы в проведении CustDev, улучшить знания расчета Unit-экономики тразобраться с разработкой MVP и командой программистов, приходите на 7 поток курса для продактов в Otus.

Оставьте заявку сейчас, чтобы сохранить за собой специальную цену на курс: https://otus.pw/06AV/

Чек-лист эффективной ретроспективы

1. После того, как сделали доску в Trello или любом другом funretro.io, нужно создать следующие колонки:

2. Что было хорошего: у каждого участника есть по 3 карточки, который он может заносить эту колонку. Задача – чтобы каждый написал про то, что ему понравилось в совместной работе с другими участниками.

3. Что было плохого: 3 карточки о том, что плохого произошло в работе за последние пару месяцев.

4. Выделить ТОП-3 плохого: у всех есть по три “голоса”, которые они могут поставить к каждой из карточек “плохого” в комментариях, тем самым проголосовав за ту боль, которая им кажется наиболее важной. По итогам происходит ранжирование и выделяется самая сильная боль.

5. Далее - обсудить с командой ТОП-3 проблем и придумать совместно, как их решить до следующей ретроспективы.

6. На следующей ретроспективе доставайте доску с прошлого ретро и рассказывайте о том, что удалось решить из топовых проблем. Если какие-то штуки не решены, их снова перетаскиваем в колонку Что плохого.

7. Признаки хорошего ретро
• Время проведения не превысило времени одного школьного урока (45 минут, в идеале нужно стремиться к 30 при любом размере команды).
• Люди разные — кто-то любит болтать, кто-то молчать. Эфирное время при обсуждении решений проблем должно быть распределено относительно равномерно между участниками.
• После окончания ретро есть четкие и понятные действия с ответственными. В идеале с дедлайнами.

Хотите знать больше про ретро в Agile? 7 июля OTUS приглашает на demo-занятие «Как сделать ретроспективу в Agile полезной».
Вместе с Юлией Белозеровой, Technical Program Manager с 10-летним стажем, вы разберете популярные заблуждения о ретроспективах и поговорите про набор полезных практик, чтобы команда радостно ждала нового ретро.

На занятии вас ждет иллюстративное упражнение для углубления понимания и классические практики, которые помогут управлять ожиданиями.

Demo-занятие является частью программы практического онлайн-курса «Agile Project Manager в IT». Для регистрации на вебинар оставьте заявку https://otus.pw/DnrU/

Что мешает (и с чем можно справиться) при внедрении AI

1. Данные, используемые для контролируемого обучения нейросетей, приходится маркировать вручную, что делает этот процесс весьма трудоемким.

2. Получить достаточно большой и полный набор данных для обучения может быть трудно, информация может быть «грязной», разрозненной, храниться в разных приложениях и форматах и содержать ошибки, а низкое качество данных на входе приведет к столь же низкому качеству на выходе (принцип garbage in — garbage out).

3. Результаты, полученные с использованием больших сложных моделей, может быть трудно объяснить в человеческих терминах, а регуляторов часто интересует, по каким критериям было принято то или иное решение, если речь идет, например, о банковском, страховом продукте или сфере, непосредственно затрагивающей безопасность граждан, — здравоохранении, автомобиле- и авиастроении.

4. Трансфер результатов обучения пока слабо развит. AI-системы по-прежнему испытывают проблемы с переносом знаний, полученных в одной ситуации, в другую. Это значит, например, что если модель ориентирована на выявление конкретного вида мошенничества, она не будет реагировать на появление нового — ее придется тренировать заново.

5. Исходный набор данных и алгоритмы, заложенные человеком, могут быть сознательно или неосознанно искажены и предвзяты — например, алгоритм распознавания лиц, натренированный на изображениях людей со светлой кожей, не сможет эффективно работать в крупных мегаполисах с их разнородной популяцией.

Спрос на профессионалов и технологии, кто эти преграды может нейтрализовать, Big Data PM, AI&ML PM, DS PM, DL PM растет стремительными темпами.
Если тема близка, приходите на Курс «AI Product Manager» — силовой агрегат продакта, решившегося овладеть мощью Al и вырасти до руководителя c-level executives. Никакой воды, только сконцентрированная теория, которую студенты оттачивают на практике.
Курс рассчитан на 10 часов в неделю — можно совмещать с основной работой и сразу применять полученные навыки. Преподаватели и менторы из ДомКлик и Facebook помогут в трансформации вашей карьеры. Скидка 40% и курс доступны по ссылке - https://clc.to/jtqGSQ

Что можно выжать из CJM?

CJM — это не результат, а способ:

- Увидеть продукт / услугу детально и синхронизировать представление о нем у разными специалистов и сторон проекта;
- Зафиксировать и оптимизировать пути и способы решения задач пользователей с помощью ваших продуктов и услуг;
- Увидеть точки контакта с пользователями в разных каналах;
- Оценивать качество взаимодействия с пользователями в разных точках контакта с компанией;
- Отслеживать изменения в качестве взаимодействия с пользователями, которые вызваны внедрением улучшений вашего продукта или сервиса.

Что можно выжать из него?

1. Поиск инсайтов
Для хорошей карты необходимо будет пройти все этапы взаимодействия с вашим продуктом как пользователю. Затем пообщаться с реальными пользователями и получить от них обратную связь. Для раскрытия отдельных особенностей и построения технической CJM — обсудить архитектуру с разработчиками и так далее. Таким образом, как продакт-менеджер вы будете погружены в продукт, что принципиально важно для поиска идей и точек роста этого продукта.
Инсайты могут появляться в совершенно разных частях продукта. Например, при создании CJM реферальной программы пользователи расскажут вам, почему они не хотят приглашать друзей, и это будут проблемы продукта, а не самой реферальной программы. И так с каждым этапом: чем более подробно вы погружаетесь в продукт, тем больше вероятность нахождения Quick wins (небольших улучшений, приводящих к значительным положительным изменениям) или точек роста.

2. Пакет улучшений для развития продукта
Проводить исследования нужно постоянно, по ходу действия заполняя пробелы на карте. Развивая CJM, вы анализируете, насколько хорошо она проработана, в чем состоят проблемы и барьеры, с которыми сталкиваются пользователи, и есть ли у вас решения этих проблем.
Также по мере развития продукта вы можете разделять CJM на когорты — группы пользователей, объединенных по определенному признаку, например, месяцу привлечения. К примеру, карта для новых пользователей может отличаться от карты для «старичков», карта для реферальных пользователей может отличаться от таковой, но для пришедших по платной рекламе.
При этом важно учитывать не только прямое взаимодействие с продуктом, но и косвенное: ретаргетинг, ремаркетинг, реферальные программы, контент-маркетинг. Ведь зачастую успешная маркетинговая кампания может повысить ретеншн (удержание пользователей) когорты — если вы знаете, о чем напомнить «отвалившемуся» пользователю, на какой этап воронки (или экран продукта) его вернуть. У вас появится CJM для пробуждения уснувших пользователей (Awake), CJM допродаж существующей базе (если появился новый продукт) и так далее. CJM хорошо дополняется другими фреймворками, которые используются для создания сценариев, определения ценностей продукта (например, Business Canvas), брейнштормов.

Customer journey map — один из важнейших инструментов Product менеджера. Хотите разобраться, как он работает от гипотез до продуктового сценария? Тогда 5 июля ждем вас на demo-занятии онлайн-курса «Product Manager IT-проектов», который проведу я.
Поговорим, когда нужно проводить CJM, как построить CJM, чтобы выявить проблемы пользователя и узкие места в идее или продукте и как использовать результаты CJM при создании продукта.

Зарегистрируйтесь на занятие: https://otus.pw/05BN/

Что может сократить отток студента на разных этапах обучения ?

Об этом подискутировали с автором канала Тренды образования Кристиной Геворкян. Мои ответы ниже, а у Кристины - Head of learning department at Lectera - в теме edtech опыт гораздо обширнее моего. Обязательно почитайте ее точку зрения в статье по ссылке.

Маркетинг, воронка, продажа
Лучше всего делать упор на конкретных результатах обучения (готовый продукт, резюме специалиста, трудоустройство в течение 3-4 месяцев после курса по статистике). В плане характеристик процесса обучения лучше поставить на конкретную пользу с целью привлечения целевой аудитории: личное общение с разбором реальных кейсов от преподавателя, практика вместе с преподавателем для вебинаров или обучение с профессионалами в удобном режиме для записей. Также важно давать быстрый ответ на все возникающие по курсу вопросы.

Платформа
Странно, но интуитивно понятно образовательную платформу сделать трудно. Если курс не имеет окончания, то студент может к нему «возвращаться» неограниченное количество раз. Сильно роняет слишком долгая длина курса. Короткие курсы проходят лучше, чем длинные. В Otus мы сначала разбили программу на четыре темы по 20 часов, а потом на 8 тем по 6 часов, доля завершивших курс поднялась с 34 до 60%. Интересная деталь - игрофикация. Например, в MexicoX платформе участники могли соревноваться между собой, зарабатывая на тестах по каждой теме золотые, серебряные и бронзовые значки — в зависимости от времени, которое они тратили на ответ, и количества попыток. А на edX такой возможности не было. Доли слушателей, завершивших курс, отличались более чем вдвое: 6% на edX и 14,4% на MexicoX.

Контент
Контент должен быть преимущественно уникальным с точки зрения практических заданий, насыщенным кейсами: все, что можно прочитать самим - за это не платят, а за кейсы и опыт платят. Интенсивность обратной связи и личного общения должна быть максимальной при любом формате обучения. Там, где больше ОС, там отток меньше. Ключевые рекомендации по контенту, как правило, и со структурой: понятное расписание и постановка целей на каждую неделю, равномерное распределение материала по этим недельным блокам, использование вводных видео к каждой секции, разделение материала внутри секции на короткие видеофрагменты до шести минут.
До конца доходят и из-за авторитета и точности данных спикера: если про аналитику для продактов говорит аналитик, то никто не поймет, зачем продакту нужна аналитика

Поддержка
Отсутствие ответа на сообщение в первую неделю в течение 2 дней создает отток до 15% с курса. Ответ преподавателя или техподдержки должен быть предельно оперативным или хотя бы прозрачным по срокам не только в первую неделю, но и когда ничего непонятно. Это то, что просто и эффективно лечить.

Целеполагание студента
Больше всего слушателей покидают обучение при прохождении первой трети программы.
На моих курсах по продакт-менеджменту самый сильный отвал происходит на … продуктовой аналитике. Высокий отток наблюдается среди студентов с низкими баллами по домашним заданиям.
Очень многие отваливаются, потому что не до конца понимают стек инструментов, которые будут изучены на курсах. Обязательно, перед курсом доносите в разных формах, что именно будет на курсе, и кто может его окончить.

Интервью с Аней Булдаковой о метриках менторинга
 
По ссылке - полная запись интервью, а ниже - ключевые выдержки выдержки.

Зачем менторить?
Все ребята, которые занимаются менторством, развивают в себе навыки управления людьми. Во многих западных компаниях предыдущий опыт в менторстве – необходимое условие, чтобы получить повышение до руководителя.
 
По каким метрикам можно оценить мэтч между ментором и подопечным?
Если мы говорим про отношения с руководителем, есть некоторый набор объективных параметров, по которым эти отношения можно оценить. В ситуации с менторством эти параметры, скорее, субъективные, так как отношения могут продолжаться долгие годы. Иногда даже представить не можешь, как твой текущий совет “отзовется" в жизни менти. Именно поэтому очень важна первая сессия: чтобы понять, насколько вы совпадаете, есть ли “химия”.
 
А LTV?
У менторства часто нет четкого критерия успеха. Иногда ребята приходят за конкретным советом, иногда – за порцией уверенности и вдохновения. Но, конечно, можно смотреть на продолжительность ваших отношений, то есть, приходит ли к тебе человек в следующий раз. С платными консультациями легче: можно мерить конверсию во вторую покупку. И, конечно, смотреть на что-то вроде NPS: насколько у менти горят глаза после сессии, насколько он чувствует, что продвинулся в решении проблемы.
 
Опцион – лучшая тема для менторинга?
Эта концепция уже существует, но до сих пор не является массовой из-за сложности реализации. Мне это нравится и в применение к акциям компании, и к “акциям" отдельно взятого человека. Если ты получаешь какой-то процент от зарплаты подопечного, тебе интересно, чтобы человек развивался и рос, продвигался по карьерной лестнице.
 
Кого могут менторить продакты?  
У меня большинство менти - это либо предприниматели, либо ребята из стартапов, которым нужно прокачать стратегическое мышление и продумать организационный дизайн, чтобы эту стратегию выполнять. Далее по частотности – дизайнеры, разработчики, и потом длинный хвост, кто хочет переключиться в продакт-менеджмент. Тут самое главное - помочь им понять разницу между их текущими навыками и тем, что нужно приобрести.
 
Куда в плане технологий пойдет менторство?
Менторство - очень старая индустрия и существует с незапамятных времен. В западных университетах это часть любого образования. Вполне могут быть интересны штуки, связанные с распознаванием навыков, которые тебе надо прокачать и в которых ты силен, а также рекомендациями, как развиваться дальше. Самое главное, как и везде, понять, есть ли Product market fit.
 
Полезные ссылки – бот для поиска ментора от команды Ани - https://t.me/Nfng_bot
Уверен, все уже подписаны, но тоже скину канал Ани о продакт-менеджменте - https://t.me/proproduct

Про опыт становления продактом

За последнее время вышло несколько интервью со мной про становление продакта. Собрал ключевые вопросы и выдержки из них.

Что было до?
В 2017 году я работал руководителем проектов в IBS, в классическом формате “вот ТЗ, вот деньги, вот дедлайн”. Одним из проектов был “Мобильный университет”, с фиксированным бюджетом, но нетипичной гибкостью. Вместе с заказчиком мы определяли, что важнее — электронная зачетка или онлайн-тесты. Общались с ректорами, преподавателями, студентами, выясняли их потребности и выбирали фичи.
Такой подход меня зацепил, я понял, что так и создаются крутые продукты. В текущей работе проджекта не хватало обратной связи, влияния на конечный результат. Позже узнал, что эта роль называется продакт менеджер и стал искать работу.

Что было самым сложным в начале?
Принимать решения на основе данных, а не хотелок со стороны.
Проджекты слушают стейкхолдеров и перекрашивают красную кнопку в синий, потому что так сказал заказчик. В основе продукта же лежат цифры — аналитика, конкурентный анализ, пользователи. Продакты делают кнопку синей, потому что с ней конверсия выше.

Каких скилов обычно не хватает начинающим?
Я бы сказал UX’a в широком понимании: custdev, пользовательская аналитика, персоны, вот это все. И проверки гипотез, ПМ-у придется очень часто валидировать гипотезы, надо учиться делать это быстро и дешево.
Самое сложное в начале пути — уметь отказываться от своих идей и мыслей, думать показателями бизнеса и доверять аналитике. Приходится делать то, что нужно пользователю, а не то, что кажется правильным. Ситуации, когда желание аудитории и личные желания совпадают, крайне редки. Нужно быть готовым, что крутые, на ваш взгляд, идеи могут быть отвергнуты.
Самое сложное сейчас — ждать. Хочется быстро получать результаты и быстро понимать, как дальше двигаться. В больших компаниях реализация фичей длится неделями. Сложно быть к этому терпимым.
Навык продакт-менеджмента — это про то, что вы улучшали и что благодаря вам изменилось. Умение запускать A/B-тесты несильно интересно работодателю. А вот то, что тест повысил конверсию в покупку на 15% и это принесло компании дополнительный 1 млн рублей компании за счет простого теста — рабочий кейс на собеседовании.

Если хотите стать продактом
Всем, кто думает о продуктовой деятельности, советую начать на текущем месте работы искать возможности. Например, пойти к генеральному директору, продактам, инвесторам и предложить задачу. В любом случае первый шаг на пути смены профессиональной деятельности, на мой взгляд, должен начинаться с поиска возможностей на текущем месте работы.
Другой вариант — делать свой продукт. Вы ищете какую-то боль на основе своего или чужого опыта. Думаете, чем можете с точки зрения продукта помочь людям, и решаете эту боль.
Третий вариант — образовательная история. Курсов по продакт-менеджменту сейчас много, но базовый вещи — A/B-тесты, юнит-экономика, кастдев — везде примерно одинаковые. По контенту нужно выбирать комплексный фундаментальный курс, в котором вы сможете наработать продуктовые кейсы. Ищите курс, который предполагает запуски фичей, продуктов, стартапов.

Хотите больше личных кейсов и историй, как стать проджектом или продактом?
На бесплатном занятии Нетологии «Продакт- и проджект-менеджер: что это за профессии и как их освоить» вы примерите на себя роль продакт и проджект-менеджера: вместе с экспертом рассмотрите цели и задачи изнутри, расставите приоритеты и оцените результаты.
Регистрируйтесь и выбирайте направление для себя https://netolo.gy/gLQ

Level up для продактов: что важно для резюме

1. Оцифрованные достижения и факапы (которые не будут повторяться) в нескольких компаниях
Описание адекватных достижений в денежном или метричном эквиваленте в нескольких местах работ.
Нельзя писать «увеличил прибыль компании в пять раз», это значит присвоить себе заслуги c-level.
Ошибки тоже могут быть в вашем резюме, структурированном рассказе и выводах, которые вы делаете по итогам них. Тут же круто наличие сайд-проекта с вашей рефлексией и результатами.

2. Насмотренность — это бизнес-модели и функции
При озвученной проблеме вы должны выдать 2-3 ситуации или какой-то мощнейший вывод, который расскажет все о вашей экспертизе. Если речь идет о низком ритеншене, то вы должны сразу же поговорить про с1,с2,с3+, про поведение когорт и LTV клиентов. Также вы должны понимать, какие метрики в какой бизнес-модели работают.

3. Разбираться в финансах и экономике продукта и компании.
Вы должны быть подкованы в финансах и экономике предприятия, иначе как вы будете общаться с функциями финансов, операциями и маркетингом. Эти люди отвечают за бюджет, и рассказы про роадмап их не впечатлят и не позволят вам получить от них достойное сотрудничество. Прибылеобразующим функциям всегда платят больше.

4. Структурно выражать свои мысли, управлять ожиданиями
Логика — это про то, чтобы четко понимать профиль собеседника и его нужды. Если вы ничего не сказали — значит, рассказать вам нечего.

5. Разбираться в разработке, дизайне и аналитике
Вас не должны обманывать, вы должны контролировать сроки и эффективность команды, траты на техдолг. Вы должны знать, что такое код ревью, зиро код, чем занимается девопс и чем его работа отличается от фронт-эндера. Чем больше у вас практических навыков, тем выше ваша стоимость на рынке труда.

Хотите перезагрузить или правильно построить карьеру продакта? Приходите на бесплатный онлайн-курс Level Up 1.0 от ProductStar, стартующий с 12 июля 19:00. Это 8 дней live-интенсивов, которые дадут вам прочную базу для развития в продакт-менеджменте, топовые спикеры-практики поделятся своим многолетним опытом и лайфхаками в разработке и управлении продуктом, а в каждом уроке курса вас ждет множество полезных материалов: шаблоны, стартер-паки, домашние задания с обратной связью и многое другое.
Узнать подробнее и зарегистрироваться:
https://bit.ly/2SRHaAC

В чём разница между Middle и Senior продактами?


Middle. Есть первичный опыт работы с продуктом, но нет большого количества кейсов или экспертного уровня владения компетенциями. Может отвечать за продуктовую метрику или даже за несколько, самостоятельно инициирует и проводит исследования. Может работать с командой разработки на базовом уровне — отвечает за дизайнера и нескольких инженеров. Может рассказать, по каким критериям он приоритезирует бэклог.
Они приходят на продукт/часть продукта, где понятна аудитория и её проблемы и заданы границы ответственности команды. Вот в рамках этих границ они и фигачат. Возможно, даже прекрасно фигачат, перевыполняя все поставленные цели.

Senior. Может привести по несколько кейсов, чтобы проиллюстрировать владение каждой компетенцией. Уверен в себе, может рассказать “как и что нужно делать”. Пока не думает про управление людьми, про стратегию, про индустрии в целом. Несет ответственность за большую команду разработки, обязательно выделенную, отвечает за важные для компании продуктовые метрики и за бизнес-результат, а не за процесс и сроки, управляет продуктовым роудмэпом своего продукта. Переходят на более высокие позиции те, кто становится более автономным и ищет возможности роста для бизнеса, а не конкретной продуктовой фичи. Здесь уже начинается анализ рынка, конкурентный анализ, разработка стратегии: то есть умение выстраивать процесс роста, а не просто везение или случайность.
Сеньор преимущественно сфокусирован на внешнем: он развивает отношения с другими командами, следит за рынком и либо расширяет границы своего круга, либо создает новые.
Сеньор понимает, что его основной фокус — стратегия, поэтому единственный выход — перекладывать execution на лидов.

Хотите узнать мнение от коллег из Авито и Dodo Brands? Приходите на митап специалистов из этих компаний — https://clc.to/F2XDDw

Также там будут доклады на темы: как организовать процесс запуска новой фичи, как развивать систему OKR (Objectives and Key Results), как взаимодействовать с командой и правильно распределить роли и как выстроить систему грейдов.

Приходите и развивайтесь!

Тренажер для продактов

Продактам полезно развивать насмотренность. Для ее развития я выполняю тестовые задания и иногда хожу на собеседования в другие компании, чтобы получить обратную связь. Также помогают тренажеры. Ниже мои любимые тестовые задания и тренажер, который я всем рекомендую пройти.

Тестовые задания

⁃ Приходя на сайт, у пользователя в целом есть 2 варианта найти нужный ему товар: через поиск и каталог. На данный момент, всего 10% DAU в принципе пользуются поиском, и 25% из них добавляют хотя бы 1 товар в корзину из поиска. Какие можно предложить гипотезы, чтобы увеличить долю аудитории, использующей поиск и повысить конверсию в добавление товара из поиска? Как можно проверить эти гипотезы?

⁃ Наши пользователи любят скидки, обращают внимание на их наличие и часто заходят просто посмотреть “что новенького по акциям”. Сейчас на сайте у нас есть раздел “Скидки”, в котором собраны все наши акционные предложения, при этом в нем очень сложно что-то искать из-за плоской структуры. Предложи, как можно улучшить раздел (или продукт в целом), чтобы пользователи могли экономить деньги, покупая акционные товары. Как ты будешь внедрять изменения? Какие метрики нужно отслеживать, чтобы оценить влияние?

⁃ У вас есть приложение и у него есть воронка.
1. Конверсия из инсталла в регистрацию,
2. Вторая конверсия из регистрации в становление активным пользователем
3. Активным пользователям раз в месяц предъявляется оффер на покупку, который отправляет их на платежный экран с третьей конверсией
4. Из посещения платежного экрана у нас есть четвертая конверсия в попытку оплатить
5. А из попытки оплатить — пятая конверсия в реальные деньги.
У вас есть возможность увеличить на 20% любую из пяти конверсий. Например, вместо 1% будет 1,2%. Какую конверсию лучше улучшить, чтобы заработать больше денег в 2021 году и почему?

Тренажер от Андрея Менде

С Андреем мы преподавали в Otus, он борец за чистые данные и чистый практик-продакт.
По нашему мнению, продакт-менеджеры учатся на практике. На интервью вас не будут просить перечислить метрики AARRR или критерии SMART цели, а предложат решить кейс работодателя, или рассказать о кейсе из вашей практики. По тому, как человек решает кейс, будет сразу заметно, есть ли у него практические навыки, или он только прочитал теорию и пытается механически ее применить.
Несколько продакт-менеджеров из международных компаний составили тестовое интервью с вопросами, которые позволяют оценить, какие разделы продакт менеджмента вы уже хорошо знаете, а какие имеет смысл подтянуть.
Получить ссылку на интервью можно у телеграм бота: @productdo_bot.

Бонус: после прохождения интервью можно запланировать 15 минутный созвон с одним из авторов проекта и получить развернутый фидбэк. Приходите в @productdo_bot.