Вернёмся к сбору обратной связи.
Тут у нас варианты наполнения шкалы Лейкерта в #опросныеметоды
Это все ещё не поведенческие шкалы, но лучше, чем просто цифры.
Тут у нас варианты наполнения шкалы Лейкерта в #опросныеметоды
Это все ещё не поведенческие шкалы, но лучше, чем просто цифры.
Обратная связь.
Маленький хак от моего клиента, сервисной компании.
При сборе обратной связи их менеджеры звонят не тем клиентам, которых ведут, а клиентам друг друга и представляются специалистами по качеству.
Так их пользователи с большей готовностью рассказывают, что можно улучшить в сервисе.
#опросныеметоды
Маленький хак от моего клиента, сервисной компании.
При сборе обратной связи их менеджеры звонят не тем клиентам, которых ведут, а клиентам друг друга и представляются специалистами по качеству.
Так их пользователи с большей готовностью рассказывают, что можно улучшить в сервисе.
#опросныеметоды
Аггравация - преувеличение своего плохого состояния - встречается в опросах так же, как и социальная желательность и приукрашивание.
А кроме "плацебо" есть ещё и "ноцебо".
Ниже пример.
#опросныеметоды
А кроме "плацебо" есть ещё и "ноцебо".
Ниже пример.
#опросныеметоды
Возраст в анкетах, действительно, иногда искажают. А тут у нас разведённые женщины преуменьшают свой возраст чаще, чем замужние.
#опросныеметоды
#опросныеметоды
Исследованию уже 50 лет и сейчас у нас больше способов узнать возраст, не спрашивая напрямую.
Точнее, было больше возможностей. До введения GDPR.
#опросныеметоды
Точнее, было больше возможностей. До введения GDPR.
#опросныеметоды
За эту неделю уже три раза ко мне обратились за советом в стиле: "гляньте на наше исследование, все ли в порядке?".
Ну нет, не все в порядке. Как всегда, все не в порядке. Все эти исследования пытаются решать задачи космического масштаба и сами знаете чего прямыми опросами.
Просто спросим у людей, говорят они. А ещё лучше - дадим выбрать из списка. Так же удобнее. Наверное, люди все - осознанные и глубоко рефлексирующие субъекты, они ерунды не напишут.
Пытаются простым вопросом измерить скрытые эмоции пользователей и их готовность продолжать использовать услугу после on-line консультации. Желательно - говорят они - узнавать это, спрашивая сразу у on-line консультанта.
Или хотят выявить различия потребности в каких-то навыках для разных профессий, просто попросив людей выбрать из списка навыков.
Наконец, оценивают инвестиционный потенциал приложения для совместного отдыха, спрашивая у знакомых, стали бы они меньше сидеть дома перед телевизором, случись в их жизни такое приложение.
Давайте, договоримся.
1. Спрашиваете о мнении - рапортуйте о мнении.
В отчёте должно быть написано "по мнению", "в представлениях участников опроса". Это не имеет никакого отношения к реальному поведению (да и к мнению часто тоже), но тоже вполне заслуживает исследования. Главное - не потерять источник в кругах анализа и обобщений.
2. Не делегируйте экспертность.
По большинству вопросов люди не имеют представления, пока их не спросят. И от того, как мы спросим, будет плясать их мнение.
3. Поинтересуйтесь наукой, в которой проводите исследования.
Оценивать химический состав почвы по опросу туристов кажется абсурдным. А почему в некоторых других науках анкетный опрос обычных пользователей кажется таким элегантным решением?
Не получится узнать о дисбалансе гармонов, попросив ответить на вопрос: "Выберите из списка, каких гармонов вам не хватает?".
Но частично получится, если задать вопросы о симптомах. А для этого нужно знать науку.
Поэтому, уместно разобраться немного в общей психологии, если исследуете реакции пользователей. Или в психологии мотивации и деятельности, если решили предсказывать поведение. И так далее.
#опросныеметоды
Ну нет, не все в порядке. Как всегда, все не в порядке. Все эти исследования пытаются решать задачи космического масштаба и сами знаете чего прямыми опросами.
Просто спросим у людей, говорят они. А ещё лучше - дадим выбрать из списка. Так же удобнее. Наверное, люди все - осознанные и глубоко рефлексирующие субъекты, они ерунды не напишут.
Пытаются простым вопросом измерить скрытые эмоции пользователей и их готовность продолжать использовать услугу после on-line консультации. Желательно - говорят они - узнавать это, спрашивая сразу у on-line консультанта.
Или хотят выявить различия потребности в каких-то навыках для разных профессий, просто попросив людей выбрать из списка навыков.
Наконец, оценивают инвестиционный потенциал приложения для совместного отдыха, спрашивая у знакомых, стали бы они меньше сидеть дома перед телевизором, случись в их жизни такое приложение.
Давайте, договоримся.
1. Спрашиваете о мнении - рапортуйте о мнении.
В отчёте должно быть написано "по мнению", "в представлениях участников опроса". Это не имеет никакого отношения к реальному поведению (да и к мнению часто тоже), но тоже вполне заслуживает исследования. Главное - не потерять источник в кругах анализа и обобщений.
2. Не делегируйте экспертность.
По большинству вопросов люди не имеют представления, пока их не спросят. И от того, как мы спросим, будет плясать их мнение.
3. Поинтересуйтесь наукой, в которой проводите исследования.
Оценивать химический состав почвы по опросу туристов кажется абсурдным. А почему в некоторых других науках анкетный опрос обычных пользователей кажется таким элегантным решением?
Не получится узнать о дисбалансе гармонов, попросив ответить на вопрос: "Выберите из списка, каких гармонов вам не хватает?".
Но частично получится, если задать вопросы о симптомах. А для этого нужно знать науку.
Поэтому, уместно разобраться немного в общей психологии, если исследуете реакции пользователей. Или в психологии мотивации и деятельности, если решили предсказывать поведение. И так далее.
#опросныеметоды
В интервью с пользователями беседа может сильно отклониться от сценария, если вести расследование по эмоциональным реакциям.
Человек может не осознавать, что какие-то явления вызывают у него недоверие, раздражение, недоумение, злорадство, удовольствие.
Ещё он может скрывать, считать незначительным, не хотеть расстраивать.
И интервью становится похожим на рыбалку с поплавком: надо следить за малыми колебаниями, чтобы вовремя подсечь большую рыбу.
На что надо смотреть
Люди стараются контролировать свои слова, меньше - лицо, ещё меньше - руки и совсем мало - ноги, корпус и дыхание. Поэтому меньше всего надо слушать слова, больше следить за лицом и дальше - по возрастающей.
1. Следите за крыльями носа, уголками рта и лбом. Там хорошо видны брезгливость, радость, злорадство и сожаление. Особенно сожаление. Люди часто поджимают подбородок и опускают губы, когда не могут получить то, что хотят.
2. Следите за руками: вас должно насторожить не постоянное щёлканье ручкой, или перебирание пальцев, а изменение движений после какого-то вопроса. Например, человек может перестать двигать руками, и это тоже реакция.
3. Тут же идут действия: почесывание, поправление волос, закусывание губы, прищуривание, покашливание.
4. Следите за ногами: за тем, как человек стал интенсивнее болтать, или стучать ногой после вашего вопроса.
5. Следите за позой: после какой-то темы он может откинуться, стать дальше, приблизиться, или сесть вполоборота.
6. Следите за дыханием, вздохами, зевотой, паузами, изменением голоса - все это отражает реакцию.
Так вот, как только вы получили такое изменение на свой вопрос, - это поклёвка. Вернитесь к теме через несколько вопросов, иногда можно прямо спросить, почему человек отреагировал на эту тему, может ли он подробнее рассказать, что думает об этом вопросе. Часто это помогает вскрыть целый клубок отношений и эмоций.
Будет отрицать - не верьте, раскручивайте, пока не поймёте причину эмоций. Может, он вместе с вами тоже впервые ее поймет.
#опросныеметоды
Человек может не осознавать, что какие-то явления вызывают у него недоверие, раздражение, недоумение, злорадство, удовольствие.
Ещё он может скрывать, считать незначительным, не хотеть расстраивать.
И интервью становится похожим на рыбалку с поплавком: надо следить за малыми колебаниями, чтобы вовремя подсечь большую рыбу.
На что надо смотреть
Люди стараются контролировать свои слова, меньше - лицо, ещё меньше - руки и совсем мало - ноги, корпус и дыхание. Поэтому меньше всего надо слушать слова, больше следить за лицом и дальше - по возрастающей.
1. Следите за крыльями носа, уголками рта и лбом. Там хорошо видны брезгливость, радость, злорадство и сожаление. Особенно сожаление. Люди часто поджимают подбородок и опускают губы, когда не могут получить то, что хотят.
2. Следите за руками: вас должно насторожить не постоянное щёлканье ручкой, или перебирание пальцев, а изменение движений после какого-то вопроса. Например, человек может перестать двигать руками, и это тоже реакция.
3. Тут же идут действия: почесывание, поправление волос, закусывание губы, прищуривание, покашливание.
4. Следите за ногами: за тем, как человек стал интенсивнее болтать, или стучать ногой после вашего вопроса.
5. Следите за позой: после какой-то темы он может откинуться, стать дальше, приблизиться, или сесть вполоборота.
6. Следите за дыханием, вздохами, зевотой, паузами, изменением голоса - все это отражает реакцию.
Так вот, как только вы получили такое изменение на свой вопрос, - это поклёвка. Вернитесь к теме через несколько вопросов, иногда можно прямо спросить, почему человек отреагировал на эту тему, может ли он подробнее рассказать, что думает об этом вопросе. Часто это помогает вскрыть целый клубок отношений и эмоций.
Будет отрицать - не верьте, раскручивайте, пока не поймёте причину эмоций. Может, он вместе с вами тоже впервые ее поймет.
#опросныеметоды
Так вот, обратить внимание вслух на изменение состояния собеседника - это довольно бесцеремонный, но эффективный способ вызвать откровения и эмоции.
Иногда им злоупотребляют психотерапевты, манипуляторы и следователи.
Человек, уличенный в дрожи, или красноте, старается оправдаться и объясниться.
Во время обычного исследования этим точно не стоит злоупотреблять, чтобы не оскорбить своего респондента.
Но краткая ремарка может помочь: "почему вы усмехнулись?", "вас что-то беспокоит?", "мне показалось, что вас этот вопрос опечалил" и т.д., не вдаваясь в подробности дрожащих рук и бледных щек.
#опросныеметоды
Иногда им злоупотребляют психотерапевты, манипуляторы и следователи.
Человек, уличенный в дрожи, или красноте, старается оправдаться и объясниться.
Во время обычного исследования этим точно не стоит злоупотреблять, чтобы не оскорбить своего респондента.
Но краткая ремарка может помочь: "почему вы усмехнулись?", "вас что-то беспокоит?", "мне показалось, что вас этот вопрос опечалил" и т.д., не вдаваясь в подробности дрожащих рук и бледных щек.
#опросныеметоды
То ли дело Порфирий Петрович. Но у него и роль другая
#опросныеметоды
#опросныеметоды
Или вот, например, у Довлатова
#опросныеметоды
#опросныеметоды
И ещё у Довлатова
#опросныеметоды
#опросныеметоды
Делаем исследование условий работы и ценностного предложения работодателя по модели КАНО.
Сейчас третий этап исследования - пилотный запуск инструмента с избыточными вопросами.
Он нужен для поиска неочевидных взаимосвязей, последующего укрупнения шкал и сокращения опросника с помощью факторного анализа и других методов.
И вот этот этап избыточных материалов всегда пугает. С одной стороны, есть мечта о возможностях Кеттелла с 4500 словами для экспертной оценки, а с другой стороны, реальность - уставшие и обозлившиеся участники исследования.
Но оказалось, что 55 характеристик (+2 пустые) с 2 вопросами с 5 вариантами ответов не так уж напрягают участников (не волонтеров, работающих программистов).
Чтобы уменьшить сопротивление, мы давали анкету после доверительных часовых интервью, объясняли, почему вопросов пока много, извинялись и предлагали заполнить анкету при нас, или принести через 15 минут.
Заполнение 10 страниц заняло в среднем 10 минут.
Так что, такой формат можно использовать: 55 функций для оценки по модели КАНО не страшит людей.
Теперь хотим автоматизировать и сделать опрос широким.
#опросныеметоды #методология
#исследования
Сейчас третий этап исследования - пилотный запуск инструмента с избыточными вопросами.
Он нужен для поиска неочевидных взаимосвязей, последующего укрупнения шкал и сокращения опросника с помощью факторного анализа и других методов.
И вот этот этап избыточных материалов всегда пугает. С одной стороны, есть мечта о возможностях Кеттелла с 4500 словами для экспертной оценки, а с другой стороны, реальность - уставшие и обозлившиеся участники исследования.
Но оказалось, что 55 характеристик (+2 пустые) с 2 вопросами с 5 вариантами ответов не так уж напрягают участников (не волонтеров, работающих программистов).
Чтобы уменьшить сопротивление, мы давали анкету после доверительных часовых интервью, объясняли, почему вопросов пока много, извинялись и предлагали заполнить анкету при нас, или принести через 15 минут.
Заполнение 10 страниц заняло в среднем 10 минут.
Так что, такой формат можно использовать: 55 функций для оценки по модели КАНО не страшит людей.
Теперь хотим автоматизировать и сделать опрос широким.
#опросныеметоды #методология
#исследования
Вот так выглядит опросник по модели КАНО #опросныеметоды #исследования
Из Пикабу о ценности сбора пользовательских отзывов:
"Какое-то время назад носил брекеты. Если кто не знает, то в этом случае рот набит кучей посторонних железяк: пружинки, проволоки, сами брекеты(такие кубики, за которые держится проволока).
Так вот, брекеты благополучно относил, и решил вставить имплант на место отсутствующего зуба. Ортопед установил его, и далее я снова записался к ортодонту (это тот, кто брекеты и устанавливал).
Лежу в кресле, ортодонт рассматривает зубы, а затем зовёт ортопеда на консультацию к себе. И в моём присутствии говорит ему: "посмотрите, мне кажется этот имплант не совсем удобен пациенту, наверное подшлифовать нужно".
А ортопед удивлённо: "в смысле, Вам кажется? А почему Вы просто пациента не спросите, удобно ли ему?".
На что ортодонт отвечает: "да бесполезно, пару месяцев назад он пришел ко мне на очередное обслуживание брекетов, и я спросила его, всё ли в порядке, и он ответил, что да, а в этот момент у него проволока была воткнута в щеку, так что давайте не будем руководствоваться его ощущениями и просто подшлифуем имплант, а?"
#опросныеметоды #потребности
"Какое-то время назад носил брекеты. Если кто не знает, то в этом случае рот набит кучей посторонних железяк: пружинки, проволоки, сами брекеты(такие кубики, за которые держится проволока).
Так вот, брекеты благополучно относил, и решил вставить имплант на место отсутствующего зуба. Ортопед установил его, и далее я снова записался к ортодонту (это тот, кто брекеты и устанавливал).
Лежу в кресле, ортодонт рассматривает зубы, а затем зовёт ортопеда на консультацию к себе. И в моём присутствии говорит ему: "посмотрите, мне кажется этот имплант не совсем удобен пациенту, наверное подшлифовать нужно".
А ортопед удивлённо: "в смысле, Вам кажется? А почему Вы просто пациента не спросите, удобно ли ему?".
На что ортодонт отвечает: "да бесполезно, пару месяцев назад он пришел ко мне на очередное обслуживание брекетов, и я спросила его, всё ли в порядке, и он ответил, что да, а в этот момент у него проволока была воткнута в щеку, так что давайте не будем руководствоваться его ощущениями и просто подшлифуем имплант, а?"
#опросныеметоды #потребности
Культурные различия отзывов
#опросныеметоды
#опросныеметоды
Тут у нас изящно про то, как спрашивать о пользовательском опыте
https://youtu.be/H0h7j0CRKT4
#исследования #опросныеметоды
https://youtu.be/H0h7j0CRKT4
#исследования #опросныеметоды
YouTube
"Я что, похожа на идиотку?!" :)))
Отрывок из Доктор Хаус (House, M.D.), 2008
5 сезон 11 серия HD720
5 сезон 11 серия HD720
Мы сейчас проводим большое исследование: определяем, какие условия работы важны для специалистов в ИТ.
1. Сделали список с 57 условиями труда (из анализа статей и глубинных интервью).
2. Опросили 90 сотрудников ИТ компании по методике Кано, чтобы определить базовые, мотивирующие и нейтральные условия. (Какие из них сотрудники считают обязательными, а какие создают дополнительную мотивацию, прямо по Герцбергу).
3. Сравнили по полу, должности и опыту.
4. Оценили 100 вакансий ИТ компаний: какие условия труда в них упоминаются.
5. Сравнили вакансии продуктовых и аутсорсинговых, больших и маленьких компаний.
6. Выбрали, у каких компаний самые уникальные предложения и какие условия упоминаются почти во всех вакансиях.
7. Сравнили, чего в вакансиях больше: обязательных (что бесполезно), или мотивирующих (что важно) условий.
Получилось местами неожиданно.
Планируем сделать серию публикаций, но это нескоро. Узнать результаты раньше тоже можно:
1. Включайтесь в большое исследование. Для этого напишите мне, я пришлю ссылку для вашей компании. Сотрудники пройдут анонимное исследование, вы получите доступ к сырым данным по вашей компании и описательную аналитику в Гугл формах.
2. Приходите меня послушать 12-13 октября на SECR в Москве, там будет первая аналитика: https://2018.secrus.org/program/submitted-presentations/what-is-valuable-for-developers
Спасибо за помощь в исследовании Светлане Петрик, Екатерине Кулешовой и Маргарите Бурковой.
Если получится рассказать это тем, кто захочет принять участие в исследовании, буду очень благодарна.
#исследования #опросныеметоды
1. Сделали список с 57 условиями труда (из анализа статей и глубинных интервью).
2. Опросили 90 сотрудников ИТ компании по методике Кано, чтобы определить базовые, мотивирующие и нейтральные условия. (Какие из них сотрудники считают обязательными, а какие создают дополнительную мотивацию, прямо по Герцбергу).
3. Сравнили по полу, должности и опыту.
4. Оценили 100 вакансий ИТ компаний: какие условия труда в них упоминаются.
5. Сравнили вакансии продуктовых и аутсорсинговых, больших и маленьких компаний.
6. Выбрали, у каких компаний самые уникальные предложения и какие условия упоминаются почти во всех вакансиях.
7. Сравнили, чего в вакансиях больше: обязательных (что бесполезно), или мотивирующих (что важно) условий.
Получилось местами неожиданно.
Планируем сделать серию публикаций, но это нескоро. Узнать результаты раньше тоже можно:
1. Включайтесь в большое исследование. Для этого напишите мне, я пришлю ссылку для вашей компании. Сотрудники пройдут анонимное исследование, вы получите доступ к сырым данным по вашей компании и описательную аналитику в Гугл формах.
2. Приходите меня послушать 12-13 октября на SECR в Москве, там будет первая аналитика: https://2018.secrus.org/program/submitted-presentations/what-is-valuable-for-developers
Спасибо за помощь в исследовании Светлане Петрик, Екатерине Кулешовой и Маргарите Бурковой.
Если получится рассказать это тем, кто захочет принять участие в исследовании, буду очень благодарна.
#исследования #опросныеметоды
2018.secrus.org
Конференция «Разработка ПО»
Конференция «Разработка ПО» за 14 лет стала важнейшим событием в индустрии разработки программного обеспечения
Москва, октябрь 2018
Москва, октябрь 2018