Forwarded from UI_UX inspiration
Обратная связь — инструмент роста дизайнера
Успешное развитие профессиональных навыков требует не только самооценки, но и внешней обратной связи. Как избежать смещения в самооценке? Узнай больше
Читать на дизайнерс | #статья
Успешное развитие профессиональных навыков требует не только самооценки, но и внешней обратной связи. Как избежать смещения в самооценке? Узнай больше
Читать на дизайнерс | #статья
Forwarded from Цифровой геноцид
Почему синтетические респонденты - плохая идея?
Крис Чапмен — один из создателей термина количественный UX (QuantUX), автор книги по количественным методам, популяризатор метода МаксДиф при исследовании предпочтений пользователей, глава отдела в Амазон гораздо интереснее и глубже анализирует аргументы против подобного рода методов как синтетики-респонденты - даже с количественной точки зрения.
Вебинар достаточно интересный, посмотрите, не откажите себе в удовольствии, есть даже приличные субтитры на русском https://www.youtube.com/watch?v=gseHxz4PfVw&t=5s
Какие аргументы?
Пожалуй, самый интересный:
Ответы на опрос — это не фиксированные «настоящие баллы» в ответах опроса, которые ждут, чтобы их извлекли. Это мотивированная коммуникация, формируемая контекстом, формулировками, обстоятельствами участников опроса. В то время как синтетические данные — это текст, генерируемый LLM, основанный на обучающих данных и подсказках. В опросных исследованиях, поскольку цель — учиться у людей, их мотивации и контексту, их замена меняет объект исследования. Важно помнить, что моделирование — это не то же самое, что измерение, а симуляция — это не то же самое, что участие в опросе.
Все опросы в мире так или иначе являются смещенными в сторону мотивированных пользователей
Более очевидные и прагматические аргументы
Прагматическая неудача
Хорошая метафора в том, что если бы синтетические респонденты так хорошо эмулировали и симулировали человеческое поведение, то все бы загружали себе ЛЛМ для покупки и продажи на рынке акций - но так никто не делает, а если делает, то не слишком успешно (условно загрузить книгу по паттернам анализа японских свечей можно, только это скорее путь потерять деньги). Ни один из ЛЛМ для создания цифрового двойника не предсказыает будущее - так, чтобы быть в этом уверены с позиций прагматизма
Симуляция не для любого опроса и мы не знаем для какого именно
Хотя ЛЛМ может эмулировать ответы 1 человека, иногда даже удачно, но не может эмулировать ответы выборок (как случайных, так и не случайных) так, чтобы разница между выборками была не статзначима. Когда некоторые статьи показывают, что ответы близки к ответам людей, стоит помнить, что в бесконечном варианте всех вопросов всех возможных опросников в мире будут ситуации, где отличие опросника ЛЛМ от живых людей не будет значимым, и будут ситуации, где это отличие будет статистически значимым.
Инструментально сложно использовать
Кроме того, именно репрезентативность выборок дает возможность строить гипотезы о мире - а если различие выборки ЛЛМ и людей десятки процентов, то о каком построении гипотез может идти речь? Естественно, в конце ссылки с разными ссылками на работы про синтетических юзеров, особенно, мне понравилась статья "Синтетические юзеры - гомеопатия исследований"
Презентация будет в комментариях
Крис Чапмен — один из создателей термина количественный UX (QuantUX), автор книги по количественным методам, популяризатор метода МаксДиф при исследовании предпочтений пользователей, глава отдела в Амазон гораздо интереснее и глубже анализирует аргументы против подобного рода методов как синтетики-респонденты - даже с количественной точки зрения.
Вебинар достаточно интересный, посмотрите, не откажите себе в удовольствии, есть даже приличные субтитры на русском https://www.youtube.com/watch?v=gseHxz4PfVw&t=5s
Какие аргументы?
Пожалуй, самый интересный:
Ответы на опрос — это не фиксированные «настоящие баллы» в ответах опроса, которые ждут, чтобы их извлекли. Это мотивированная коммуникация, формируемая контекстом, формулировками, обстоятельствами участников опроса. В то время как синтетические данные — это текст, генерируемый LLM, основанный на обучающих данных и подсказках. В опросных исследованиях, поскольку цель — учиться у людей, их мотивации и контексту, их замена меняет объект исследования. Важно помнить, что моделирование — это не то же самое, что измерение, а симуляция — это не то же самое, что участие в опросе.
Все опросы в мире так или иначе являются смещенными в сторону мотивированных пользователей
Более очевидные и прагматические аргументы
Прагматическая неудача
Хорошая метафора в том, что если бы синтетические респонденты так хорошо эмулировали и симулировали человеческое поведение, то все бы загружали себе ЛЛМ для покупки и продажи на рынке акций - но так никто не делает, а если делает, то не слишком успешно (условно загрузить книгу по паттернам анализа японских свечей можно, только это скорее путь потерять деньги). Ни один из ЛЛМ для создания цифрового двойника не предсказыает будущее - так, чтобы быть в этом уверены с позиций прагматизма
Симуляция не для любого опроса и мы не знаем для какого именно
Хотя ЛЛМ может эмулировать ответы 1 человека, иногда даже удачно, но не может эмулировать ответы выборок (как случайных, так и не случайных) так, чтобы разница между выборками была не статзначима. Когда некоторые статьи показывают, что ответы близки к ответам людей, стоит помнить, что в бесконечном варианте всех вопросов всех возможных опросников в мире будут ситуации, где отличие опросника ЛЛМ от живых людей не будет значимым, и будут ситуации, где это отличие будет статистически значимым.
Инструментально сложно использовать
Кроме того, именно репрезентативность выборок дает возможность строить гипотезы о мире - а если различие выборки ЛЛМ и людей десятки процентов, то о каком построении гипотез может идти речь? Естественно, в конце ссылки с разными ссылками на работы про синтетических юзеров, особенно, мне понравилась статья "Синтетические юзеры - гомеопатия исследований"
Презентация будет в комментариях
YouTube
Synthetic Survey Data? It's Not Data
Many vendors claim that LLM "AI" systems can generate human-like survey responses quickly and cheaply using previous or sometimes concurrent training data. In this webinar, Chris discusses several fundamental problems that he believes should disqualify any…
Forwarded from UI_UX inspiration
Forwarded from Новые шрифты
Forwarded from Shock Design
Вдохновение айдентикой семейного бизнеса CHESINI. MEAT & FISH от студии Emanuele Abrate.