Product Science by Anton Martsen
6.16K subscribers
233 photos
2 videos
37 files
410 links
I diagnose with data and treat with design.

More hardcore materials here – @co_intelligence

@martsen | martsen.me | p13n.ru
Download Telegram
🔥23👍31
https://www.quantuxcon.org/

Это, по-моему, первая выделенная конференция/митап чисто про квант ux.
Доклады короткие и поэтому скорее-всего малоинформативные. Но по заголовкам докладов можно понять о чем сейчас думают в этом комьюнити.
🔥6
Часто при обработке текста отзывов/ответов на открытые вопросы/комментарии и при анализе сессий пользователелей использую различные методы кластеризации.
Принес вам полезную ссылку на главу из учебника по ML, где эта тема хорошо описана.
Forwarded from Kantor.AI (Victor Kantor)
У ШАДа есть отличный коллективно написанный учебник по машинному обучению. Как раз недавно появился. В нем сочетается и довольно серьезное изложение того, как все работает (считаем, что читатель не боится математики), и рассказ про некоторые особенности применения этого всего на практике.

При этом сохраняется определенный уровень простоты изложения: для большинства людей оно и правда будет выглядеть слишком математично, но на уровне физтеха/мехмата/вмк это конечно не математический курс, а легкая прогулка солнечным днем в городском парке с непринужденным обсуждением таблицы умножения. Что однако не умаляет полезности учебника, т.к. количество интегралов и наличие сигма-алгебр в тексте не заставляет алгоритмы работать лучше :)

Для меня было большим удовольствием написать для учебника ШАД главу про кластеризацию. Задача была непростой: написать очень кратко, рассказать про самые популярные методы, но при этом ответить на вопрос, где это все используется так, что применение кластеризации оправдано. Последнее особенно любопытный вопрос. Сделать кластеризацию просто так, «потому что могу» - дело не хитрое. А вот оправданных применений гораздо меньше, чем у классификации, регрессии или ранжирования.

Мне очень нравится то, что вышло в итоге. Для меня эта глава не просто конспект лекции, а настоящее искусство. Можно сказать, что я писал ее не только сейчас, но и десять лет до этого. Совершенно точно нужно сказать, что я писал свою главу с заботой и любовью к читателю - так, как я мог ее выразить. Кроме того, я писал такой текст, который я бы хотел прочитать 12 лет назад и сэкономить годы на понимание каких-то несложных, но важных вещей и сопоставление разных источников. Мой путь в машинном обучении тоже начался с unsupervised learning, и мне было важно рассказать про кластеризацию так, чтобы каждый смог насладиться красотой и сложностью этой задачи, получить конкретные знания и не испугаться их применять, но в то же время не попасть в обманчивое впечатление, что «все тут легко решается». Я надеюсь, что у меня получилось)

Вот ссылка на главу, с той же страницы можно перейти на список всех глав: https://ml-handbook.ru/chapters/clustering/intro

Большое спасибо Стасу Федотову, что позвал поучаствовать не только на этапе обсуждения содержания учебника и составления итогового списка глав, но и в написании конкретной главы. Также спасибо Насте Павловской за обсуждения плана моей главы и добросовестное допинывание меня до осуществления задумки. Стас, Настя, вы супер :)
👍17🔥2👎1
Решил побить рекорд по объёму подборки по пользовательским исследованиям. Большое плотнотеево:
 
1. Gerry McGovern: Топовая памятка по методу анализа топовых задач пользователей в продукте. Это один из самых полезных способов понять потребности пользователей.
 
2. Robin Zaragoza: Отличная памятка по выбору методов исследований при поиске и понимании проблемы пользователей.
 
3. NN/g: Советы по демократизации пользовательских исследований. Как научить коллег проводить простые исследования, чтобы у профессионалов оставалось время на сложные.
 
4. Spotify: Особенности этнографических исследований в эпоху вечной удалёнки.
 
5. NN/g: Сравнение методов персонажей и архетипов для описания целевой аудитории.
 
6. Salesforce: Опытом практического использования персонажей.
 
7. Shopify: Комбинация методов исследований в продуктовой работе.
 
8. Marty Cagan: Интервью о его понимании роли и формата пользовательских исследований в современной продуктовой работе.
 
9. Steve Bromley: Памятки по проведению игровых тестов и поиску респондентов для них.
 
10. Airtime: Советы по созданию собственной панели респондентов.
 
11. IBM: Комбинация методов исследований для ранжирования беклога.
 
12. NN/g: Чеклист для модератора юзабилити-тестирования.
 
13. Shaun Genter, Yazmín García Trejo и Elizabeth Nichols: Разница в способах представления опросов, где от пользователя требуется расставить список в нужном порядке. У перетаскивания и вбивания номеров вручную свои плюсы и минусы.
 
14. NN/g: 4 типа пользователей, которые покупают люксовую одежду и аксессуары. Чем отличается их поведение и каковы их потребности.
 
15. Dan Busso: Как снизить эффект «социальной благожелательности» при проведении пользовательских исследований. Например, при общении с подростками.
 
#research
👍111
Data + Stats + Design = Predictive User Experience?
Относиельно старая статеечка, которая перечисляет варианты использования данных в дизайне и исследованиях.
👍3
Designing-for-Analytics-Self-Assessment-Guide.pdf
138.9 KB
Передай другу дата-сцайнтисту, эта листовка - пропуск на дизайнерскую линию фронта
👍14👎1
Как хороший дизайн помогает хорошим алгоритмам?

В статье Seeing Like an Algorithm бывший продакт видео Меты и Амазона Eugene Wei раскрывает некоторые очевидные неочевидности. Источник публичный, поэтому я думаю, что многим новичкам на канале будет небезынтересно почитать о таком подходе, который предполагает алгоритмоцентризм в UX.

Итак, в https://www.eugenewei.com/blog/2020/9/18/seeing-like-an-algorithm поднимается вопрос - как при помощи дизайна достигнуть максимальной отдачи от алгоритмов машинного обучения при разработке приложений и сервисов?

Изначально для TikTok (или Douyin, его китайского предка), которому нужен был алгоритм, способный рекомендовать зрителям короткие видеоролики, не было массивного общедоступного обучающего набора данных. Где вы можете найти короткие видеоролики с мемами, детьми, танцующими и поющими липсинки, домашними животными, инфлюенсерами, продвигающими бренды, солдатами, бегущими через полосу препятствий, детьми? Даже если бы у вас были такие видео, где бы вы могли найти сопоставимые данные о том, как пользователи относится к таким видео?

В уникальной задаче о курице и яйце те самые типы видео, на которых должен обучаться алгоритм TikTok, было невозможно создать без инструментов и фильтров приложения для камеры, лицензированных музыкальных клипов и музыки. В этом и заключается магия дизайна TikTok: это замкнутый цикл обратной связи, который вдохновляет и позволяет создавать и просматривать видео, на которых можно обучать его алгоритм. Чтобы его алгоритм стал таким же эффективным, TikTok стал собственным источником обучающих данных.

Если раньше дизайнеры и теоретики предполагали, что мы должны максимально удалять трение между приложением и юзером, то теперь мы все больше думает не в русле эргономики, а гедономики, способа получить фан и удовольствие. Важно при этом, что такой фан и удовольствие сами по себе могут требовать нетривиальных усилий и труда.

Что если ключ к лучшему обслуживанию ваших пользователей во многом зависит от обучения алгоритма машинного обучения? Что, если этому алгоритму машинного обучения нужен массивный набор обучающих данных? Когда машинное обучение находится на подъеме в мире — это становится все более важной задачей проектирования.

Вы смотрите видео, у вас мало интерфейса - в этот же момент какой-то человек из операционной группы TikTok уже просмотрел видео и добавил множество соответствующих тегов или ярлыков. Алгоритм видит только ваше поведение и ярлыки.
Все просто, но сравните то, что видит алгоритм TikTok FYP, с тем, что видит сопоставимый алгоритм рекомендаций в большинстве других каналов социальных сетей: социальные графы, «Возможно Вы знакомы», всякий мусор типа подарочков, стикеров, способов монетизации развлекательных порталов, данные портлетов. Бесконечные ленты — это апофеоз дизайна, ориентированного на юзера, минимальное усилие и при этом навигация при необходимости с кучей настроек.

ТикТок предлагает работать, чтобы им пользоватся — его надо листать пальцем и с усилием!

Другим примером может быть кнопка «Дизлайка» в условном реддите, которая тоже требует усилий, но при это тренирует алгоритм рекомендаций. Также и твиттер - с его блокировками юзеров и блокировкой слов в твитах для ручной настройки алгоритма.
👍8👎7
Это, пожалуй, самая познавательная для меня статья из 2021. Не помню, почему не делился раньше, но исправляюсь.

Она больше про проектирование, а не аналитику, но позволяет взглянуть на продуктовую работу под другим углом.

Суть в том, чтобы представить ваш продукт как «пространство» через которое люди пробиваются к своей цели. Идея вроде как из геймдева, но расширяет немного сознание.

Кратко пересказывать не буду. Это достойно полного прочтения
https://stephenanderson.medium.com/when-customer-journeys-dont-work-arcs-loops-terrain-4f7f8ac6df4e
👍17
А примерно как-то вот так я подходил к проектированию интерфейсов рекомендательных систем и прочих algorithm-based продуктов, где критична роль данных.

https://habr.com/ru/post/682424/
👍6
Forwarded from Грокс (Ilya Pestov)
Федеральная торговая комиссия США (FTC) выпустила отчёт по тёмным паттернам — это методы проектирования пользовательских интерфейсов, которые используются в попытке склонить пользователя к действиям, которые он считает нежелательными. Как пример — непримечательная галочка в форме, которая приводит к покупке ненужной дополнительной услуги или передаче пользовательских данных. Намеренно спрятанная за десятью кликами кнопка отписки от сервиса тоже является тёмным паттерном. В общем, запутать пользователя и повысить конверсию/понизить отток стремятся все, а в FTC предприняли попытку придать все эти трюки таксономии и регуляции, оставив чёткий посыл всем growth-хакерам — «we will continue to take action». Правильное начинание, хотя перспективая появления ГОСТов в цифровых в интерфейсах несколько напрягает.

https://www.ftc.gov/business-guidance/blog/2022/09/ftc-issues-illuminating-report-digital-dark-patterns
👍20
Как понять на данных, что продукт вышел на PMF: гайд от Мордакниги
https://medium.com/@AnalyticsAtMeta/analytics-and-product-market-fit-11efaea403cd
👍11
Привлекательность легко перепутать с потребностью, но это кардинально различные свойства. Меня привлекает возможность провести полтора месяца на Бермудских островах, но мне это не нужно. Если у меня жёлчные камни, то я нуждаюсь в операционном лечении, но меня это не привлекает. Риэлтор Салли нуждается в том, чтобы продать четыре дома в этом году. А возможность обеспечить четыре семьи счастьем и уютом её привлекает. Она нуждается в МLS-программе, позволяющей опубликовать предложения своих услуг в многочисленных каталогах, но если эта программа будет заставлять её чувствовать себя глупой, то она её не привлечёт.
На короткий срок человек может оказываться под мощным влиянием своих потребностей, но в долгосрочной перспективе его желания могут оказывать более сильное и более выраженное воздействие. Желания людей всегда находят выход после того, как удовлетворены потребности. Когда человеку что-то нужно, он сделает то, что необходимо, чтобы это получить, но если человека что-то привлекает, он предан этому.

Психбольница в руках пациентов. Алан Купер об интерфейсах
👍15
Ну и немного юмора из той же книжки

В компьютерной индустрии широкое хождение имеет такой анекдот: человек, пилотирующий небольшой самолёт, заблудился в облаках. Он снижается и замечает офисное здание неподалёку. «Не подскажете, где я нахожусь?» — кричит он человеку в открытом окне. Человек отвечает: «Вы в самолёте, примерно в тридцати метрах над землей». Пилот немедленно ложится на верный курс, находит аэропорт и совершает посадку. Его пассажиры в изумлении интересуются, как он определил, куда лететь. И пилот говорит: «Ответ этого человека был абсолютно точен и правдив, однако совершенно бесполезен, поэтому я сразу понял, что это разработчик программного обеспечения из Microsoft, а я знаю, где находится здание Microsoft по отношению к аэропорту».
🔥25👍65
Свеженький туториал по АБ-тестам от гуру эксперементирования

https://drive.google.com/file/d/18jukd0M4PgHpBKC_uDFQREMyIYSS3qiL/view
🔥12👍2
Про MaxDiff (спасибо переводчику Яндекса):

На какие типы вопросов может ответить maxDiff?
Какую следующую функцию мы должны создать
Какие проблемы в продукте больше всего влияют на пользователей
Каковы наиболее важные аспекты продукта для пользователя

В чем преимущества maxDiff?
Простая просьба пользователей оценить элементы по их важности часто приводит к низкой дифференциации, поскольку все считается важным. maxDiff обычно приводит к хорошо дифференцированным спискам, потому что респонденты вынуждены выбирать.
Вопросы maxDiff легко понять и на них легко ответить
maxDiff также дает нам относительные степени предпочтения различных элементов
Исследования показали, что вы можете запускать maxDiffs при скромных размерах выборки (100-300)

Оригинал и подробности тут:
https://www.linkedin.com/posts/inna-tsirlin-phd-6114374_datascience-ux-uxresearch-activity-6999025059096920064-xuKl
🔥6👍4👎21
Гайд по немодермруемым ЮТ от разработчиков платформы :)

Из гайда вы узнаете:
1. Какие есть виды немодерируемых тестов и когда такие тесты применяются.
2. Как подготовиться к их проведению.
3. Как проанализировать результаты.

https://pthwy.design/guide
👍6
Способ получить бенчмарк по основным бизнес-метрикам для SaaS-компаний от небезызвестного венчурного фонда.

https://a16z.com/growth/guide-growth-metrics/

Пока выдаёт числа только для b2b/b2e, но думаю и b2c завезут рано или поздно.
👍6