«Так по результатам повторного опроса респондентов мы не смогли подтвердить предположение, что люди, повторно участвующие в телефонных опросах, более позитивно оценивают происходящие события, а также что респонденты, которые не одобряют деятельность руководства страны, чаще отказываются от участия в опросах (и что данные опросов общественного мнения характеризуют только тех, кто готов идти на контакт и отвечать на вопросы анкеты). Иными словами, рост рейтингов и иных опросных показателей в 2022 году правильнее объяснять именно изменением мнений и настроений, а не в недостатках опросного инструмента.»

Не смогли подтвердить, но и опровергнуть тоже не смогли? Или, переводя на язык статистики, не отклонили гипотезу о том же уровне поддержки среди тех, кто повторно участвует в опросах. Стоп, или отклонили? Видим, что достижимость (RR1) в группе нелояльных власти ниже на 5 процентных пунктов (замечу, что это оптимистичная оценка, тк эксперимент проведен на тех, кто ранее соглашался участвовать в опросе)

При этом видим, что среди повторно опрошенных доля “полностью доверяющих” верховному маразматику за год выросла с 32 до 50%. Этому находят объяснение: другие репрезентативные опросы показывают такой же рост поддержки. Чтобы на это объяснение полагаться, не хватает деталей методологии, как формировались группы в эксперименте: только одни и те же люди в обеих волнах, либо второй датасет перевзвешен после отвала 41% из первой группы. В первом случае можно определить наличие роста, во втором - нет.

Также мы узнали, что среди молодежи (18-24) уровень отказов в полтора раза выше, чем у взрослых 40-54 (54%/ 50% М/Ж против 33%/ 34%). Из ряда других исследований знаем, что товарищи 40+ сильно чаще болеют киселевщиной.

«Что касается списочных опросных экспериментов, которые вроде бы свидетельствуют о более низкой поддержке «спецоперации» и власти, то их результаты не всегда можно трактовать однозначно. Исследователи, которые проводили похожие эксперименты в отношении массовой поддержки Владимира [цензура] в России в 2015–2021 годах, предостерегают от однозначной интерпретации результатов таких экспериментов. Цифры, полученные в результате таких экспериментов, совпадают с показателями безусловной поддержки военных действий и власти. Но это не значит, что «поддержка с оговорками» представляет собой ложные заявления респондентов. Существует целая совокупность различных факторов (невозможность повлиять на происходящее, нежелание критиковать свое правительство в ситуации международного конфликта и проч.) которые побуждают сомневающихся присоединиться к мнению большинства. Сводить все к страху было бы серьезным упрощением.»

К страху высказывать мнение не сводим. Страх, ненависть, отвращение, отчаяние, депрессия - все это может влиять не только (и не столько?) на декларируемое мнение, но и на достижимость.

«Наконец, сегодня часто звучит тезис о том, что в России респонденты находятся под увеличивающимся давлением (власти, официальных СМИ, мнения большинства) и поэтому никогда не скажут, что они думают на самом деле. Но опросы не проводятся с использованием полиграфа, и фиксируют лишь то, чем люди готовы поделиться с интервьюером. И это информация о том, как люди готовы вести себя на публике. Вряд ли можно спорить с тем, что давление российского государства на индивида в последнее время выросло. Главная цель такого давления – изменить поведение людей, отбить желание критиковать власть, участвовать в протестных акциях. Вряд ли можно спорить, что эта цель достигается. Но ровно о том же говорят и результаты опросов.»

Нет ничего зазорного признаться, что опросы общественного мнения всё в большей степени описывают эффективность действий пропаганды. Но подобных градусников и так хватает, возможно, самое время создавать новые инструменты, позволяющие расщепить эти 80% “поддержки”: одни готовы отдать жизнь за нерзула; другие - как все, так и они; третьи - протрезвеют спустя время; четвертые - прозреют при любом подходящем случае? Ну или для начала не склеивать в динамике позиции ответов “полностью” и “скорее”?

«А кроме того, изменения в общественном мнении, как правило, носят системный характер: изменение уровня поддержки властей сопровождаются изменениями по вопросам о настроении, надеждах, экономическом поведении. Изменения в ответах на эти вопросы вряд кто-то станет объяснять лукавством респондентов (при условии, что доля участвующих в опросах остается более-менее постоянной величиной). Так, рост рейтингов президента и правительства феврале-марте 2022 года сопровождался ростом общего оптимизма, воодушевления, уверенности в завтрашнем дне, ура-патриотизма.»

При условии, что выборка смещается в ура-патриотов, логично, что смежные показатели одурения сместятся аналогично? Системный, блин, характер.


Резюмируя основные претензии:
- Достижимость: отрицание реального падения, маскировка ковидом, сравнение показателей разных методов, манипуляция “интервьюеры бы отказались работать”
- Отказы: отрицание реального роста отказов, недостаточное описание эксперимента
- Искажение ответов: “не всё так однозначно”, но ничего лучше не придумывается, “пипл хавает”

Имеем: у некоторых доводов веская аргументация отсутствует, а по остальным выводы оказались противоположны. Война оказывает ощутимое влияние на достижимость опросов - это то, о чем могла бы поведать Левада. Но, увы, более наглядные свидетельства можно найти там, где их совсем не ждешь.

C 1 июня 2022 ВЦИОМ публикует пресс-релизы по телефонникам с указанием коэффициентов результативности по стандартам AAPOR (кроме заказных, и с начала года убрал их из мониторинга политических рейтингов). Дело за малым: расковырять все релизы и достать из текста коэффициенты. Но чего не сделаешь ради доказательства, что в интернете кто-то неправ поиска истины.

Методология описана тут. Дам короткую расшифровку:
- COOP1 (Коэффициент кооперации) - доля завершенных интервью от всех, кто прошел скрининг
- RR1 (Минимальный коэффициент ответов) - доля завершенных интервью от всех контактов, где снята трубка, кроме тех, по кому удалось установить непопадание в исследуемую совокупность (например, не гражданин, моложе 18, номер организации и тп.)
- RR3 (Коэффициент достижимости) - То же, что предыдущий, но с поправкой на оценку доли подходящих контактов среди не определенных по принадлежности к исследуемой совокупности.

Данные на графиках ниже (жирная линия - сглаживание скользящим средним).
С одной стороны, высокий коэффициент кооперации подтверждает ранее сказанное: прошел скрининг = пройдешь интервью. С другой, слишком высокие значения скорее говорят о проблемах на предыдущих этапах (заслуживает отдельного разбора со сравнением данных разных контор).

Жаль, что нет данных с начала года. Но для меня странно, что обсуждения достижимости опросов в основном ограничились сравнениями до/в начале войны (и до сих пор тот анализ приводится в качестве аргументации). Мобилизация - ключевой этап, и, увы, для кого-то осознание войны пришло только с ней. Не говоря о прочих побочках мобилизации, которые могут влиять на достижимость. На случай, если кто-то увидит на этих данных то же, что Левада: я вижу на них падение достижимости.

Я твой Взгляд массив вертел

Довелось продолжительно поработать с опросными выгрузками из Яндекс Взгляда. А поскольку SPSS все ещё жив (благодаря custom tables), сделал себе ноутбук для преобразования выгрузки из экселя в sav (переименование переменных, создание словарей меток, кодирование текста в числа и тп). Вдруг кому-то тоже пригодится https://github.com/ArthurGoncharov/yandex_surveys_to_spss

Где сводить результирующие таблички, конечно, отчасти вкусовщина и привычка. Но и без экспорта работать с питоном над причесанным опросным массивом все равно куда приятнее.

Чадо GPT

Встретил в ленте (пост от ceo с опытом) очень полезное применение chatGPT для расширения возможностей исследований.

Суть - c chatGPT вам не нужны пользователи для “кастдевов”.

Я считаю это колоссальным прорывом, поскольку теперь продактам не нужно тратить время на живых людей, чтобы быстро закрепиться в своих иллюзиях, и скорее приступить уже к их реализации, потерпеть успех или обрести неудачу.

“Что это вообще за канал, откуда он у меня? Что за некромантия? ”

Привет! Коротко о главных причинах можно сказать так: война, эмиграция.
Чуть конкретнее: автор ушел целиком в продуктовую аналитику, отложив рисёч до лучших времен (и с вероятностью ≈35% вы добавили его канал в подборке по продуктовым исследованиям примерно в то же время).

Так и не реализованный бэклог тем для постов за время двухлетнего забвения канала: инфоцыганство в исследованиях, кейс из жизни о вреде продуктов кастдевосодержащих, синергия data-аналитики и исследований, а также слова признательности исследовательским агентствам и коллегам по цеху, не шедшим на сделку с совестью ради клиентской базы или должностей.

О чем-то из этого для меня еще актуально написать (как минимум, обещал кейс о вреде замесинщины). Буду признателен за отписку, если подобные темы не откликаются.

Ну а сейчас возвращаюсь в продуктовые исследования сразу с поиска человека в команду (сорян за два поста подряд).

Этот человек (я) ищет себе в команду UX/CX-исследователя, изучать потребности геймеров в социальном сервисе (Gameram). https://gameram.notion.site/researcher
Пожелания:
- Упор на qual-методы, остальное будет плюсом (quant с удовольствием постепенно передам);
- Сильный английский для проведения интервью (испанский, португальский могут быть плюсом);
- Местонахождение НЕ в РФ (либо готовность стряхнуть пыль с чемоданов).

Столькитолетний личный опыт менторства UX-исследователей показывает, что в quant может каждый исследователь, у кого хватает желания. А там и до аналитики рукой подать. Поэтому от меня помощь и менторство где нужно и хочется, от кандидата - готовность олицетворять собой qual-исследования в стартапе. Синергия методов существует (я проверял).

Если вдруг мы знакомы лично, то можно прямо в тг-личку (но тогда с сопроводительным - как вы живы-здоровы?). В иных случаях быстрее будет написать Лизе @elizaveta_sk1

Если сподручно, помогите независимому журналисту спастись от кастдеверей, предложите услугу исследования по-сестрински/по-братски

Ищу специалиста по кастдеву

Мне нужен человек, который поможет провести customer development для персонального медиа-бренда (площадки — ютуб и телеграм-каналы). Задачи:

- Обсудить со мной цели исследования
- Разработать план и ключевые вопросы
- Провести анкетирование и глубинные интервью
- Проанализировать результаты и подготовить рекомендации

Если у вас есть опыт кастдева в медиа и вы готовы взяться за проект, напишите мне на kolezev.inbox@gmail.com с темой «Кастдев». В письме укажите:

- Коротко о себе и опыте
- Примеры похожих проектов (если есть)
- Стоимость услуг

Спасибо!