В "качестве" гипотезы

Был как-то холивар в одном чатике рисечеров на тему проверки гипотез: можно ли проверять гипотезы качественниками. Начался он с моего недоумённого коммента на скинутую вакансию, где в задачах содержался пункт "проверять гипотезы качественными методами". А как раз за несколько дней до этого меня позвали на рисечерский подкаст поговорить о методах исследований. Казалось, что исследователи (кастдеверы сюда не относятся) всё и так знают про методы, чего там обсуждать. Но после холивара было решено: тема подкаста - проверка гипотез в quant и qual(!). Шагнул на чужую территорию, но отступать было некуда - Google Podcasts / Apple Podcasts

И вот немного рефлексии по мотивам подкаста. Откуда (кроме кастдева головного мозга) может родиться искушение проверять гипотезы качественными методами? Мне пришло в голову, что исследователи с опытом в ux, проверяющие гипотезы качественниками, подразумевают под гипотезами нечто иное, не статистическое, а бытовое значение. Хотя выводами могут вполне замахиваться на валидность и обобщаемость, если читать их дословно.

Так, все знают, что с помощью UX можно проверять свойства интерфейса. Действительно, если в тестировании возникли трудности хотя бы у одного подопытного, этого может быть достаточно, чтобы озаботиться переработкой. И если проблема критична для пользователя (и бизнеса), не так важна ее встречаемость. Выходит, что “качественную гипотезу” можно даже переложить на язык статистики. Например, можно ее формулировать как "все понимают, для чего эта кнопка", и тогда, найдя непонявшего человека, можно отвергнуть ее вполне статистически.

Далее возникает соблазн переложить такой паттерн проверки на метод интервью. У интервьюера такая "гипотеза" звучала бы: "такая-то потребность существует". И кто-то тихо кладет эту гипотезу в коробочку "на оценку", а кто-то рад сообщить, что "подтвердил гипотезу", доказав существование черного лебедя. Увы, аналогия не работает, поскольку интервью решает задачу выявить спектр потребностей, а не “доказать” конкретные.

Кстати, если чисто гипотетически предположить, что мы бы набрали на ux-тестирование и на глубинки вместо целевых групп подобие репрезентативной выборки ЦА по 30 человек и пытались бы “проверять гипотезы”, то ux-тест в своей области будет значительно надежней, чем интервью - дисперсия вскрытых проблем с интерфейсом (разнообразие когнитивных паттернов юзера) существенно меньше дисперсии мнений, суждений, помноженных на нестандартизированное взаимодействие с интервьюером.

Маломощность критерия

Две самые бесящие ошибки исследователей, связанные со статистикой:
- Фраза "с большой долей вероятности"
- Проверка гипотезы о различии средних двух выборок с помощью сравнения доверительных интервалов

Если первая ошибка просто приносит боль знакомому со статистикой (или стилистикой) собеседнику, то вред второй вполне осязаемый.

Встречаю ошибочную проверку интервалами не только в практике у менеджеров, но даже у quant-рисечеров на собеседованиях, а изредка и в онлайн-калькуляторах АБ-тестов, да чего уж там - она есть в наиболее хайповых курсах по продакт-менеджменту.

Проиллюстрируем ошибку:
- Возьмем 2 выборки с биномиальным распределением размером 300, доля успехов у обеих = 0.5
- Будем увеличивать успехи в одной выборке с шагом в 1 успех, чтобы поймать момент, когда доверительные интервалы наших выборок перестанут накладываться, и нарисуем зависимость от разницы долей
- Посчитаем и отложим для каждого случая p-value, посчитанный тестом для разницы долей двух независимых выборок

Видим (на картинке ниже) расхождение доверительных интервалов при разнице долей более 11 процентных пунктов. Парный тест проявляет значимость различия уже на разнице в 8 процентных пунктов.

Резюме: да, если дов. интервалы не пересекаются, то можно говорить о значимости различий. Если же пересекаются, то без проверки рано делать выводы - вполне возможно, что нулевую гипотезу можно отвергнуть. Конечно, интервалы бывают такие наглядненькие на графиках, что сложно устоять, но стоит ли ради этого так жертвовать мощностью теста? (нет)

U*X / X = 5

Наверняка вы тоже часто слышали утверждение, что для юзабилити-тестирования достаточно провести 5 тестов. Мне понятна логика, по которой для UX нужно меньше информантов, чем на качественниках (находки меньше разнятся среди подопытных из-за ограниченности паттернов считывания информации, а проблемы имеют меньше интерпретаций). Но я решил углубиться в первоисточники мифа о 5 юзерах.

Отправная точка поиска – заклинание-успокоение против неверующего менеджера: "5 человек достаточно - это подтвержденный исследованиями факт, об этом еще сам Нильсен писал научные статьи. Больше тестов особо ничего не даст. Раунд".

Утверждение отсылает нас к Якобу Нильсену, сооснователю компании Nielsen Norman Group (специализируются на UX-исследованиях). В статье 1993 года "A Mathematical Model of the Finding of Usability Problems" Нильсен, исследуя 11 UX-проектов (рассматриваются как пользовательские тесты, так и аудиторские), приходит к тому, что зависимость количества выявленных проблем от числа проведенных тестов неплохо аппроксимируется Пуассоном, и можно делать некие экстрапполяции.

Но в этой статье он не утверждает, что 5 тестов – достаточно (он толкает к этому в более свежей, неакадемической публикации, приводя график по большему числу проектов, где 5 тестируемых дают 80-85% находок - думаю, на этом многие останавливаются). Он идет дальше, оценивая стоимостной эффект от проведения тестов. Как оценить издержки понятно, с выгодами все гораздо менее очевидно. Но он как-то справляется и с ними. Затем автор, руководствуясь понятным правилом убывающей предельной отдачи, находит, что экономически оптимальным будет проведение 15 тестов. Откуда тогда взялось 5, справедливо спросите вы? Ну, где-то на 4-5 тестах, по его грубым прикидкам, отношение совокупных выгод к издержкам максимально. Поэтому он предлагает отложить остальные тесты на итерации с обновленными версиями интерфейса, где учтены выявленные ранее проблемы (итого 3 раза по 5). Это позволит как выявить остальные ненайденные проблемы, так и протестировать внесенные изменения.

Есть целый ряд "но", которые могут повлиять на оптимальное количество тестов:

- Правило пяти скорее уместно в случае итеративного дизайна, когда оставшиеся проблемы в скором будущем все равно будут закрыты
- Чем сложнее и дольше внедрение новых версий дизайна, тем больше (пяти) тестов за итерацию будет целесообразно
- Скилл исследователя: чем ниже, тем больше тестов на итерацию необходимо
- Сложность и специфика продукта может потребовать большего числа тестов за итерацию
- Стадия готовности интерфейса: для начальных этапов итерации будут короче
- Наличие нескольких целевых с предполагаемо разным паттерном пользования
- Качество рекрута
- На закуску: если у сервиса большая аудитория, выигрыш от добавочно вскрытых проблем может значительно перевешивать издержки дополнительных тестов, смещая оптимум к большему их числу

Что если вы продакт в компании-лидере с многомиллионной аудиторией, комплексным продуктом с несколькими типами юзеров, с длинной очередью на ux-тесты, проводимые стажерами? Вам 5 тестов завернуть?

P.S. А ниже относительно свежая картинка с зависимостью числа находок от количества тестов в исследовании. Автор использует как аргумент слабой корреляции. Кажется, если поработать с выбросами (что если клиент переборщил с хотелкой?), картинка может поменяться.

Вместе с инициативной группой исследователей провели независимый опрос о “военной операции в Украине”

Выкладываю материалы до публикаций и подведения формальных результатов, если есть желающие поработать над анализом и интерпретацией, создам открытый чат в телеге обсуждения:
- Анкета
- Массив данных исходный, содержит все статусы дозвона (кодировка открытого вопроса в процессе)
- Массив данных, в который сохранил достроенные переменные + свой синтаксис, который их воспроизводит (для удобства тех, кому захочется что-то пересчитать иначе, или воспроизвести расчеты)

Описание выборки:
Телефонный опрос граждан РФ 18+.
Сроки опроса: 28 февраля – 1 марта 2022. Всего опрошено 1642 респондента.
Опрос проводился по случайной выборке номеров мобильных телефонов. В качестве основы выборки использовалась информация о диапазонах, зарегистрированных на территории РФ. Выборка стратифицировалась по укрупнённым часовым поясам. Опрашивался человек, взявший трубку.
Результаты опроса взвешивались для выравнивания диспропорций по полу, возрасту и уровню образования. В качестве эталона для уровня образования использовалась экспертная поправка к данным микропереписи населения 2015 года, было принято, что у 35% населения РФ есть высшее или неоконченное высшее образование, у 65% уровень образования ниже. В качестве эталона для распределения по полу и возрасту использовались данные Росстата на 1.1.2021.
С учётом влияния весов величина 95% доверительного интервала не превышает 2,6 процентных пунктов.

Результаты совместной работы по опросу о "военной операции" https://www.extremescan.eu/post/1-chronicles-athena-project

Не война, а спецоперация. Не мусорная база нереализованных лидов, а зарегистрированные ученики.

Делимся результатами за первый квартал 2022 года. Он завершился ростом выручки на 9%.

Два месяца назад ФОМ делал рассылку опроса по случаю своего юбилея, опрашивались все бывшие сотрудники. В одном из вопросов предлагалось поделиться, какой бы тост я произнес на торжестве. На тот момент было накопившееся, излил. Ответ был обращен ко всем сотрудникам, хотя я мог бы его адресовать и доброй половине социологов.
Недавно узнал, что ответ так и не дошел до коллег-социологов, затерявшись при обработке. Вторая попытка, цитата:

“Хотел написать открытым сообщением в фб. Кто знает, может быть, так и сделаю, хотя стоило сделать это сразу. Я бы очень хотел, чтобы мое обращение дошло до каждого сотрудника, от охранника до Александра Анатольевича.

Вы - мостик между обществом и государством. Государство - это не абстрактный институт из учебников по обществознанию. Это те люди, кто несет непосредственную ответственность за происходящее в нескольких странах и в мире в целом. Вы зеркало общества, а не выжигающая линза. Вам виден весь спектр. На шкале серого черный цвет - такой же оттенок. В определенный момент, когда серый достаточно сгущается - это и называют черным. Проведите черту. Путь они не прислушаются, но им точно стоит знать вашу гражданскую позицию.

Слова “профессиональный долг” для вас всегда были среди высших приоритетов. Но вспомните добросовестную организацию холокоста. Чтобы понять суть долга социолога, я раньше применял рассказанную коллегами метафору про хирурга, который должен спасти убийцу на операционном столе. Сейчас это уже не метафора. Сейчас это можно понять умом, но никак нельзя принять совестью. Нельзя безропотно работать в клинике, специализирующейся на спасении маньяков, даже если за их жизни хорошо платят.

Я/МЫ - Грегор Замза. Проснувшись в один день насекомыми, мы думаем о том, что начальник отругает за опоздание. И, ползая по потолку, мы уже не поможем нашей семье. Но мы знаем, что в наших обезображенных телах еще осталась человеческая идентичность.
Безусловно, отказавшись от гос. контрактов, многие лишатся работы. Да, вероятнее всего, вы не найдете работу с сопоставимым достатком, либо вообще надолго останетесь без него. Но голод в любом случае придет. Подумайте, где еще вы можете принести пользу.

Если вы руководитель, помните, что люди доверились вам, делегировали ответственность за выбор гаек, которые нужно крутить, чтобы получать зарплату. Но ответственность за ваш моральный выбор также ложится на них, поддержите их.

У многих из вас есть дети, связывающие руки обязательствами. Стоит пытаться объяснить им, с ними нужно разговаривать на равных. Может быть, не сейчас, но когда-то они поймут, будут уважать вас, скажут спасибо. Потеряйте всё, чтобы не потерять себя.

Я глубоко неверующий. Но если вы верите в бога - спросите у него совет. Если он молчит, придумайте его, воскресите в себе, и спросите.
Я пишу это из самых добрых побуждений, поскольку знаю людей, к которым испытывал уважение, оказавшихся в ловушке морального выбора. Слишком поздно уже случилось, но лучше слишком поздно. Искренне желаю вам спасти себя.”

Минутка саморекламы

Обучение / менторство: количественные методы исследований

Особенности обучения:
- Неформальный, индивидуальный подход. Содержание кастомизируется под запрос и уровень
- Упор на разборе непонятного, а не пробегании материала
- Возможен групповой формат для отдела
- Домашки (обязательны)
- В приоритете обучение на ваших рабочих задачах, но есть альтернативы
- 18+, вероятны мат, деформированный юмор
- Не даю быстрых пилюль и ноубрейнеров, пытаюсь заставить думать
- Предпочитаю брать исследователей (неважно в какой области), работающих по специальности. Опыт “кастдева” не считается опытом в исследованиях

Темы обучения:
- Понятие выборки и репрезентативности. Источники смещений и подходы к работе с ними.
- Основы мат. статистики. Необходимый минимум для формирования вероятностного мышления и понимания проверки гипотез. Создаем свой калькулятор значимости.
- SQL для выгрузки выборки респондентов
- Анализ данных. SPSS или бесплатные аналоги (Python - в проекте). Предобработка, создание переменных, лучшие практики по ускорению работы с данными.
- Декомпозиция бизнес-задачи в исследовательскую задачу и дизайн анкеты
- Формулирование вопросов и составление анкеты
- Практики работы с опросными движками
- Автоматизация результатов регулярных опросов
- Методы анализа данных. Факторный, кластерный, регрессионный анализ. Сегментация аудитории

Есть желание запилить материал по анализу данных на Python, заточенный для исследователей. Если будет достаточный спрос, возьмусь.

______

Помимо менторства в данный момент занимаюсь аутсорсом, открыт к любым релевантным предложениям о работе.

Поиск работы: исследования и/или аналитика
- Рассматриваю работу в любом формате: полная/частичная/аутсорс, удалёнка/приближёнка, в этой стране или за рубежом
- Единственное исключение: не рассматриваю окологосов, мейлы/вк, сберы и прочие газпромы направляются в сторону русского военного корабля (не относится к обучению сотрудников из этих компаний, если хотите дальше не плыть на корабле, и обучение - ваша шлюпка)
- Руководящий опыт в направлениях: продуктовые, маркетинговые исследования / data-аналитика, продуктовая и маркетинговая аналитика
- В исследованиях уклон в количественные методы, но к качественным тоже имею отношение: аутсорс агентств, небольшой личный опыт интервью, выстраивание процессов и внедрение результатов
- Всю карьеру строил направления и команды с нуля
- Совмещал оба направления (исследования и дата-аналитику), верю в их синергию, тк сам ее создавал и трогал. Но на рынке такого не дают, поэтому могу в любое.

Резюме на английском

Продакты, вы нужны (здоровыми)

До недавнего времени полагал, что продакты бывают только двух типов: а) те, что любят вместо работы повпечатляться живыми пользователями на «кастдевах», и б) те, что предпочтут неустанно высекать алхимическую искру из аб-тестов, перебирая комбинации. Но оказывается есть еще те, кто вкупе с методологической миопией страдают еще и методологической биполяркой.

Пациент постом ниже. Увы, и коммент не написать, и какашулю не поставить - доступны только сердечки (“вы ведь любите, признайтесь честно?”), вынужден репостить.

И правда, продакты не нужны - такие.

Время A/B тестов прошло

Сегодня разговаривали с Мишей Табуновым и пришли к выводу, что эпоха A/B тестов подходит к концу. Фэйсбук был одним из основоположников тестирования всего, однако это не особо помогает ему сейчас, когда компании не хватает внятной стратегии. За годы экспериментов над собой интернет-пользователи привыкли к хитрожопым продактам, которые то кнопку крестика спрячут, то триал оформят и деньги спишут.

Сейчас важнее понимать фундаментальные мотивы, которые двигают пользователями. На первый план выходит не тестирование гипотез сидя в бункере, а работа в полях по локоть в касдевах. Общение с пользователями, интервью, продажи. Продакт, который боится общаться со своими клиентами, сгинет в вечной пустоте своих душевных терзаний. Победит тот, кто выдержит 10 звонков, на которых пользователи рассказывают, что не понимают как работает его приложение.

Через 2 года ждите от меня пост, что время касдевов прошло, теперь рулят A/B тесты.

А вы че думаете? https://www.instagram.com/p/ClRZrDmjTTb/

Срочно: “Достижимость опросов снизилась на фоне мобилизации” - Левада ВЦИОМ

В результате спора в чате рисечеров пришлось подписаться на разбор вброса от Левады.
Посыл статьи: зря опросы критикуют, всё с ними ок, война не мешает. Далее цитаты с комментариями и бонус в конце.

«Начнем с разговора о недостижимости. В Левада-Центре мы рассчитываем недостижимость для каждого исследования, используя рекомендации AAPOR. Рассчитанный таким образом средний уровень достижимости в нашем регулярном всероссийском поквартирном опросе в прошлом году составил 27%. Это несколько меньше чем в 2021 году (в среднем – 31%), но выше по сравнению со средними показателями предыдущих лет (в 2020 году – 25%, в 2019 – 20%). Сейчас оставим за скобками дискуссию о том, какой уровень достижимости считать достаточным (так, в США для приемлемым уровнем достижимости телефонных опросов еще недавно считался показатель в 9%).»

Оставим за скобками дискуссию о качестве измерения достижимости в квартирниках (больно уж радужно, и для анализа требует прозрачности процедур измерения).

Из скобок же вынесем три манипуляции:
а) Отсвечивание ковидным периодом (где достижимость ниже);
б) Снижение с 2021 существенное, и напрашивается анализ причин;
в) Сравнение с cati со ссылкой на американский опыт. Может быть, стоит сравнивать cati c cati? Гипотеза для размышления: желание открывать двери у протестной аудитории и без того ниже, поэтому на выборке (смещенной в непротестную аудиторию) ее вклад в изменение занижен.

Про оценку достижимости квартирников спекулировать не стану - старался не взаимодействовать с квартирниками около 10 лет. Последний опыт связан с методическим экспериментом (не для себя, для убеждения начальства): заказал несколько одинаковых вопросов в f2f, cati и панель, чтобы сравнить с внутренними данными аудиторий соцсетей. Надо ли говорить, что интернет-аудиторию намного лучше репрезентировал cati. Но эксперимент можно было и не проводить, показав аудиторию OK > ВК по квартирнику.

«Важно то, что уровень достижимости в прошлом году изменился незначительно (как не поменялись и установки в отношении самих опросов). Если бы дела обстояли иначе, опросы по привычной методологии стали бы невозможны: интервьюеры не стали бы браться за заведомо невыполнимое задание или же стоимость их работы стала бы непомерно высокой. Но этого не происходит.»

Интервьюеры не будут работать, устроят забастовку и вообще бросят свою работу в условиях кризиса - что еще им остаётся, всегда так и делали. А что об этом говорят сами интервьюеры? Есть какие-то данные?

«Проблема прерванных интервью изучалась нами специально в конце прошлого года. Анализ показал, что это стабильный показатель, который практически не меняется во времени. … В большинстве случаев, если респонденты уже согласились отвечать, они пройдут опрос до конца (особенно, если это личное интервью). Поэтому попытки поставить под сомнение качество опросных данных ссылками на прерванные интервью выглядят совсем уж беспочвенными.»

Да, те, кто соглашаются на опросы, чаще всего, доходят до конца. В этом проще всего убедиться, и это не вызывает больших вопросов. Зато в тех же данных можно порыть другую почву: доля отказов от общей недостижимости левадовских квартирников в сентябре 2022 выросла на 7 процентных пунктов (относительно сентября 2021).

«Слова о том, что в опросах принимают участие только сторонники власти тоже пока не находят подтверждение.»

В такой ультимативной формулировке они никогда не найдут подтверждение. Поэтому вернемся к небинарным категориям, и поговорим об относительных изменениях.

«Так по результатам повторного опроса респондентов мы не смогли подтвердить предположение, что люди, повторно участвующие в телефонных опросах, более позитивно оценивают происходящие события, а также что респонденты, которые не одобряют деятельность руководства страны, чаще отказываются от участия в опросах (и что данные опросов общественного мнения характеризуют только тех, кто готов идти на контакт и отвечать на вопросы анкеты). Иными словами, рост рейтингов и иных опросных показателей в 2022 году правильнее объяснять именно изменением мнений и настроений, а не в недостатках опросного инструмента.»

Не смогли подтвердить, но и опровергнуть тоже не смогли? Или, переводя на язык статистики, не отклонили гипотезу о том же уровне поддержки среди тех, кто повторно участвует в опросах. Стоп, или отклонили? Видим, что достижимость (RR1) в группе нелояльных власти ниже на 5 процентных пунктов (замечу, что это оптимистичная оценка, тк эксперимент проведен на тех, кто ранее соглашался участвовать в опросе)

При этом видим, что среди повторно опрошенных доля “полностью доверяющих” верховному маразматику за год выросла с 32 до 50%. Этому находят объяснение: другие репрезентативные опросы показывают такой же рост поддержки. Чтобы на это объяснение полагаться, не хватает деталей методологии, как формировались группы в эксперименте: только одни и те же люди в обеих волнах, либо второй датасет перевзвешен после отвала 41% из первой группы. В первом случае можно определить наличие роста, во втором - нет.

Также мы узнали, что среди молодежи (18-24) уровень отказов в полтора раза выше, чем у взрослых 40-54 (54%/ 50% М/Ж против 33%/ 34%). Из ряда других исследований знаем, что товарищи 40+ сильно чаще болеют киселевщиной.

«Что касается списочных опросных экспериментов, которые вроде бы свидетельствуют о более низкой поддержке «спецоперации» и власти, то их результаты не всегда можно трактовать однозначно. Исследователи, которые проводили похожие эксперименты в отношении массовой поддержки Владимира [цензура] в России в 2015–2021 годах, предостерегают от однозначной интерпретации результатов таких экспериментов. Цифры, полученные в результате таких экспериментов, совпадают с показателями безусловной поддержки военных действий и власти. Но это не значит, что «поддержка с оговорками» представляет собой ложные заявления респондентов. Существует целая совокупность различных факторов (невозможность повлиять на происходящее, нежелание критиковать свое правительство в ситуации международного конфликта и проч.) которые побуждают сомневающихся присоединиться к мнению большинства. Сводить все к страху было бы серьезным упрощением.»

К страху высказывать мнение не сводим. Страх, ненависть, отвращение, отчаяние, депрессия - все это может влиять не только (и не столько?) на декларируемое мнение, но и на достижимость.

«Наконец, сегодня часто звучит тезис о том, что в России респонденты находятся под увеличивающимся давлением (власти, официальных СМИ, мнения большинства) и поэтому никогда не скажут, что они думают на самом деле. Но опросы не проводятся с использованием полиграфа, и фиксируют лишь то, чем люди готовы поделиться с интервьюером. И это информация о том, как люди готовы вести себя на публике. Вряд ли можно спорить с тем, что давление российского государства на индивида в последнее время выросло. Главная цель такого давления – изменить поведение людей, отбить желание критиковать власть, участвовать в протестных акциях. Вряд ли можно спорить, что эта цель достигается. Но ровно о том же говорят и результаты опросов.»

Нет ничего зазорного признаться, что опросы общественного мнения всё в большей степени описывают эффективность действий пропаганды. Но подобных градусников и так хватает, возможно, самое время создавать новые инструменты, позволяющие расщепить эти 80% “поддержки”: одни готовы отдать жизнь за нерзула; другие - как все, так и они; третьи - протрезвеют спустя время; четвертые - прозреют при любом подходящем случае? Ну или для начала не склеивать в динамике позиции ответов “полностью” и “скорее”?

«А кроме того, изменения в общественном мнении, как правило, носят системный характер: изменение уровня поддержки властей сопровождаются изменениями по вопросам о настроении, надеждах, экономическом поведении. Изменения в ответах на эти вопросы вряд кто-то станет объяснять лукавством респондентов (при условии, что доля участвующих в опросах остается более-менее постоянной величиной). Так, рост рейтингов президента и правительства феврале-марте 2022 года сопровождался ростом общего оптимизма, воодушевления, уверенности в завтрашнем дне, ура-патриотизма.»

При условии, что выборка смещается в ура-патриотов, логично, что смежные показатели одурения сместятся аналогично? Системный, блин, характер.


Резюмируя основные претензии:
- Достижимость: отрицание реального падения, маскировка ковидом, сравнение показателей разных методов, манипуляция “интервьюеры бы отказались работать”
- Отказы: отрицание реального роста отказов, недостаточное описание эксперимента
- Искажение ответов: “не всё так однозначно”, но ничего лучше не придумывается, “пипл хавает”

Имеем: у некоторых доводов веская аргументация отсутствует, а по остальным выводы оказались противоположны. Война оказывает ощутимое влияние на достижимость опросов - это то, о чем могла бы поведать Левада. Но, увы, более наглядные свидетельства можно найти там, где их совсем не ждешь.

C 1 июня 2022 ВЦИОМ публикует пресс-релизы по телефонникам с указанием коэффициентов результативности по стандартам AAPOR (кроме заказных, и с начала года убрал их из мониторинга политических рейтингов). Дело за малым: расковырять все релизы и достать из текста коэффициенты. Но чего не сделаешь ради доказательства, что в интернете кто-то неправ поиска истины.

Методология описана тут. Дам короткую расшифровку:
- COOP1 (Коэффициент кооперации) - доля завершенных интервью от всех, кто прошел скрининг
- RR1 (Минимальный коэффициент ответов) - доля завершенных интервью от всех контактов, где снята трубка, кроме тех, по кому удалось установить непопадание в исследуемую совокупность (например, не гражданин, моложе 18, номер организации и тп.)
- RR3 (Коэффициент достижимости) - То же, что предыдущий, но с поправкой на оценку доли подходящих контактов среди не определенных по принадлежности к исследуемой совокупности.

Данные на графиках ниже (жирная линия - сглаживание скользящим средним).
С одной стороны, высокий коэффициент кооперации подтверждает ранее сказанное: прошел скрининг = пройдешь интервью. С другой, слишком высокие значения скорее говорят о проблемах на предыдущих этапах (заслуживает отдельного разбора со сравнением данных разных контор).

Жаль, что нет данных с начала года. Но для меня странно, что обсуждения достижимости опросов в основном ограничились сравнениями до/в начале войны (и до сих пор тот анализ приводится в качестве аргументации). Мобилизация - ключевой этап, и, увы, для кого-то осознание войны пришло только с ней. Не говоря о прочих побочках мобилизации, которые могут влиять на достижимость. На случай, если кто-то увидит на этих данных то же, что Левада: я вижу на них падение достижимости.