Не война, а спецоперация. Не мусорная база нереализованных лидов, а зарегистрированные ученики.

Делимся результатами за первый квартал 2022 года. Он завершился ростом выручки на 9%.

Два месяца назад ФОМ делал рассылку опроса по случаю своего юбилея, опрашивались все бывшие сотрудники. В одном из вопросов предлагалось поделиться, какой бы тост я произнес на торжестве. На тот момент было накопившееся, излил. Ответ был обращен ко всем сотрудникам, хотя я мог бы его адресовать и доброй половине социологов.
Недавно узнал, что ответ так и не дошел до коллег-социологов, затерявшись при обработке. Вторая попытка, цитата:

“Хотел написать открытым сообщением в фб. Кто знает, может быть, так и сделаю, хотя стоило сделать это сразу. Я бы очень хотел, чтобы мое обращение дошло до каждого сотрудника, от охранника до Александра Анатольевича.

Вы - мостик между обществом и государством. Государство - это не абстрактный институт из учебников по обществознанию. Это те люди, кто несет непосредственную ответственность за происходящее в нескольких странах и в мире в целом. Вы зеркало общества, а не выжигающая линза. Вам виден весь спектр. На шкале серого черный цвет - такой же оттенок. В определенный момент, когда серый достаточно сгущается - это и называют черным. Проведите черту. Путь они не прислушаются, но им точно стоит знать вашу гражданскую позицию.

Слова “профессиональный долг” для вас всегда были среди высших приоритетов. Но вспомните добросовестную организацию холокоста. Чтобы понять суть долга социолога, я раньше применял рассказанную коллегами метафору про хирурга, который должен спасти убийцу на операционном столе. Сейчас это уже не метафора. Сейчас это можно понять умом, но никак нельзя принять совестью. Нельзя безропотно работать в клинике, специализирующейся на спасении маньяков, даже если за их жизни хорошо платят.

Я/МЫ - Грегор Замза. Проснувшись в один день насекомыми, мы думаем о том, что начальник отругает за опоздание. И, ползая по потолку, мы уже не поможем нашей семье. Но мы знаем, что в наших обезображенных телах еще осталась человеческая идентичность.
Безусловно, отказавшись от гос. контрактов, многие лишатся работы. Да, вероятнее всего, вы не найдете работу с сопоставимым достатком, либо вообще надолго останетесь без него. Но голод в любом случае придет. Подумайте, где еще вы можете принести пользу.

Если вы руководитель, помните, что люди доверились вам, делегировали ответственность за выбор гаек, которые нужно крутить, чтобы получать зарплату. Но ответственность за ваш моральный выбор также ложится на них, поддержите их.

У многих из вас есть дети, связывающие руки обязательствами. Стоит пытаться объяснить им, с ними нужно разговаривать на равных. Может быть, не сейчас, но когда-то они поймут, будут уважать вас, скажут спасибо. Потеряйте всё, чтобы не потерять себя.

Я глубоко неверующий. Но если вы верите в бога - спросите у него совет. Если он молчит, придумайте его, воскресите в себе, и спросите.
Я пишу это из самых добрых побуждений, поскольку знаю людей, к которым испытывал уважение, оказавшихся в ловушке морального выбора. Слишком поздно уже случилось, но лучше слишком поздно. Искренне желаю вам спасти себя.”

Минутка саморекламы

Обучение / менторство: количественные методы исследований

Особенности обучения:
- Неформальный, индивидуальный подход. Содержание кастомизируется под запрос и уровень
- Упор на разборе непонятного, а не пробегании материала
- Возможен групповой формат для отдела
- Домашки (обязательны)
- В приоритете обучение на ваших рабочих задачах, но есть альтернативы
- 18+, вероятны мат, деформированный юмор
- Не даю быстрых пилюль и ноубрейнеров, пытаюсь заставить думать
- Предпочитаю брать исследователей (неважно в какой области), работающих по специальности. Опыт “кастдева” не считается опытом в исследованиях

Темы обучения:
- Понятие выборки и репрезентативности. Источники смещений и подходы к работе с ними.
- Основы мат. статистики. Необходимый минимум для формирования вероятностного мышления и понимания проверки гипотез. Создаем свой калькулятор значимости.
- SQL для выгрузки выборки респондентов
- Анализ данных. SPSS или бесплатные аналоги (Python - в проекте). Предобработка, создание переменных, лучшие практики по ускорению работы с данными.
- Декомпозиция бизнес-задачи в исследовательскую задачу и дизайн анкеты
- Формулирование вопросов и составление анкеты
- Практики работы с опросными движками
- Автоматизация результатов регулярных опросов
- Методы анализа данных. Факторный, кластерный, регрессионный анализ. Сегментация аудитории

Есть желание запилить материал по анализу данных на Python, заточенный для исследователей. Если будет достаточный спрос, возьмусь.

______

Помимо менторства в данный момент занимаюсь аутсорсом, открыт к любым релевантным предложениям о работе.

Поиск работы: исследования и/или аналитика
- Рассматриваю работу в любом формате: полная/частичная/аутсорс, удалёнка/приближёнка, в этой стране или за рубежом
- Единственное исключение: не рассматриваю окологосов, мейлы/вк, сберы и прочие газпромы направляются в сторону русского военного корабля (не относится к обучению сотрудников из этих компаний, если хотите дальше не плыть на корабле, и обучение - ваша шлюпка)
- Руководящий опыт в направлениях: продуктовые, маркетинговые исследования / data-аналитика, продуктовая и маркетинговая аналитика
- В исследованиях уклон в количественные методы, но к качественным тоже имею отношение: аутсорс агентств, небольшой личный опыт интервью, выстраивание процессов и внедрение результатов
- Всю карьеру строил направления и команды с нуля
- Совмещал оба направления (исследования и дата-аналитику), верю в их синергию, тк сам ее создавал и трогал. Но на рынке такого не дают, поэтому могу в любое.

Резюме на английском

Продакты, вы нужны (здоровыми)

До недавнего времени полагал, что продакты бывают только двух типов: а) те, что любят вместо работы повпечатляться живыми пользователями на «кастдевах», и б) те, что предпочтут неустанно высекать алхимическую искру из аб-тестов, перебирая комбинации. Но оказывается есть еще те, кто вкупе с методологической миопией страдают еще и методологической биполяркой.

Пациент постом ниже. Увы, и коммент не написать, и какашулю не поставить - доступны только сердечки (“вы ведь любите, признайтесь честно?”), вынужден репостить.

И правда, продакты не нужны - такие.

Время A/B тестов прошло

Сегодня разговаривали с Мишей Табуновым и пришли к выводу, что эпоха A/B тестов подходит к концу. Фэйсбук был одним из основоположников тестирования всего, однако это не особо помогает ему сейчас, когда компании не хватает внятной стратегии. За годы экспериментов над собой интернет-пользователи привыкли к хитрожопым продактам, которые то кнопку крестика спрячут, то триал оформят и деньги спишут.

Сейчас важнее понимать фундаментальные мотивы, которые двигают пользователями. На первый план выходит не тестирование гипотез сидя в бункере, а работа в полях по локоть в касдевах. Общение с пользователями, интервью, продажи. Продакт, который боится общаться со своими клиентами, сгинет в вечной пустоте своих душевных терзаний. Победит тот, кто выдержит 10 звонков, на которых пользователи рассказывают, что не понимают как работает его приложение.

Через 2 года ждите от меня пост, что время касдевов прошло, теперь рулят A/B тесты.

А вы че думаете? https://www.instagram.com/p/ClRZrDmjTTb/

Срочно: “Достижимость опросов снизилась на фоне мобилизации” - Левада ВЦИОМ

В результате спора в чате рисечеров пришлось подписаться на разбор вброса от Левады.
Посыл статьи: зря опросы критикуют, всё с ними ок, война не мешает. Далее цитаты с комментариями и бонус в конце.

«Начнем с разговора о недостижимости. В Левада-Центре мы рассчитываем недостижимость для каждого исследования, используя рекомендации AAPOR. Рассчитанный таким образом средний уровень достижимости в нашем регулярном всероссийском поквартирном опросе в прошлом году составил 27%. Это несколько меньше чем в 2021 году (в среднем – 31%), но выше по сравнению со средними показателями предыдущих лет (в 2020 году – 25%, в 2019 – 20%). Сейчас оставим за скобками дискуссию о том, какой уровень достижимости считать достаточным (так, в США для приемлемым уровнем достижимости телефонных опросов еще недавно считался показатель в 9%).»

Оставим за скобками дискуссию о качестве измерения достижимости в квартирниках (больно уж радужно, и для анализа требует прозрачности процедур измерения).

Из скобок же вынесем три манипуляции:
а) Отсвечивание ковидным периодом (где достижимость ниже);
б) Снижение с 2021 существенное, и напрашивается анализ причин;
в) Сравнение с cati со ссылкой на американский опыт. Может быть, стоит сравнивать cati c cati? Гипотеза для размышления: желание открывать двери у протестной аудитории и без того ниже, поэтому на выборке (смещенной в непротестную аудиторию) ее вклад в изменение занижен.

Про оценку достижимости квартирников спекулировать не стану - старался не взаимодействовать с квартирниками около 10 лет. Последний опыт связан с методическим экспериментом (не для себя, для убеждения начальства): заказал несколько одинаковых вопросов в f2f, cati и панель, чтобы сравнить с внутренними данными аудиторий соцсетей. Надо ли говорить, что интернет-аудиторию намного лучше репрезентировал cati. Но эксперимент можно было и не проводить, показав аудиторию OK > ВК по квартирнику.

«Важно то, что уровень достижимости в прошлом году изменился незначительно (как не поменялись и установки в отношении самих опросов). Если бы дела обстояли иначе, опросы по привычной методологии стали бы невозможны: интервьюеры не стали бы браться за заведомо невыполнимое задание или же стоимость их работы стала бы непомерно высокой. Но этого не происходит.»

Интервьюеры не будут работать, устроят забастовку и вообще бросят свою работу в условиях кризиса - что еще им остаётся, всегда так и делали. А что об этом говорят сами интервьюеры? Есть какие-то данные?

«Проблема прерванных интервью изучалась нами специально в конце прошлого года. Анализ показал, что это стабильный показатель, который практически не меняется во времени. … В большинстве случаев, если респонденты уже согласились отвечать, они пройдут опрос до конца (особенно, если это личное интервью). Поэтому попытки поставить под сомнение качество опросных данных ссылками на прерванные интервью выглядят совсем уж беспочвенными.»

Да, те, кто соглашаются на опросы, чаще всего, доходят до конца. В этом проще всего убедиться, и это не вызывает больших вопросов. Зато в тех же данных можно порыть другую почву: доля отказов от общей недостижимости левадовских квартирников в сентябре 2022 выросла на 7 процентных пунктов (относительно сентября 2021).

«Слова о том, что в опросах принимают участие только сторонники власти тоже пока не находят подтверждение.»

В такой ультимативной формулировке они никогда не найдут подтверждение. Поэтому вернемся к небинарным категориям, и поговорим об относительных изменениях.

«Так по результатам повторного опроса респондентов мы не смогли подтвердить предположение, что люди, повторно участвующие в телефонных опросах, более позитивно оценивают происходящие события, а также что респонденты, которые не одобряют деятельность руководства страны, чаще отказываются от участия в опросах (и что данные опросов общественного мнения характеризуют только тех, кто готов идти на контакт и отвечать на вопросы анкеты). Иными словами, рост рейтингов и иных опросных показателей в 2022 году правильнее объяснять именно изменением мнений и настроений, а не в недостатках опросного инструмента.»

Не смогли подтвердить, но и опровергнуть тоже не смогли? Или, переводя на язык статистики, не отклонили гипотезу о том же уровне поддержки среди тех, кто повторно участвует в опросах. Стоп, или отклонили? Видим, что достижимость (RR1) в группе нелояльных власти ниже на 5 процентных пунктов (замечу, что это оптимистичная оценка, тк эксперимент проведен на тех, кто ранее соглашался участвовать в опросе)

При этом видим, что среди повторно опрошенных доля “полностью доверяющих” верховному маразматику за год выросла с 32 до 50%. Этому находят объяснение: другие репрезентативные опросы показывают такой же рост поддержки. Чтобы на это объяснение полагаться, не хватает деталей методологии, как формировались группы в эксперименте: только одни и те же люди в обеих волнах, либо второй датасет перевзвешен после отвала 41% из первой группы. В первом случае можно определить наличие роста, во втором - нет.

Также мы узнали, что среди молодежи (18-24) уровень отказов в полтора раза выше, чем у взрослых 40-54 (54%/ 50% М/Ж против 33%/ 34%). Из ряда других исследований знаем, что товарищи 40+ сильно чаще болеют киселевщиной.

«Что касается списочных опросных экспериментов, которые вроде бы свидетельствуют о более низкой поддержке «спецоперации» и власти, то их результаты не всегда можно трактовать однозначно. Исследователи, которые проводили похожие эксперименты в отношении массовой поддержки Владимира [цензура] в России в 2015–2021 годах, предостерегают от однозначной интерпретации результатов таких экспериментов. Цифры, полученные в результате таких экспериментов, совпадают с показателями безусловной поддержки военных действий и власти. Но это не значит, что «поддержка с оговорками» представляет собой ложные заявления респондентов. Существует целая совокупность различных факторов (невозможность повлиять на происходящее, нежелание критиковать свое правительство в ситуации международного конфликта и проч.) которые побуждают сомневающихся присоединиться к мнению большинства. Сводить все к страху было бы серьезным упрощением.»

К страху высказывать мнение не сводим. Страх, ненависть, отвращение, отчаяние, депрессия - все это может влиять не только (и не столько?) на декларируемое мнение, но и на достижимость.

«Наконец, сегодня часто звучит тезис о том, что в России респонденты находятся под увеличивающимся давлением (власти, официальных СМИ, мнения большинства) и поэтому никогда не скажут, что они думают на самом деле. Но опросы не проводятся с использованием полиграфа, и фиксируют лишь то, чем люди готовы поделиться с интервьюером. И это информация о том, как люди готовы вести себя на публике. Вряд ли можно спорить с тем, что давление российского государства на индивида в последнее время выросло. Главная цель такого давления – изменить поведение людей, отбить желание критиковать власть, участвовать в протестных акциях. Вряд ли можно спорить, что эта цель достигается. Но ровно о том же говорят и результаты опросов.»

Нет ничего зазорного признаться, что опросы общественного мнения всё в большей степени описывают эффективность действий пропаганды. Но подобных градусников и так хватает, возможно, самое время создавать новые инструменты, позволяющие расщепить эти 80% “поддержки”: одни готовы отдать жизнь за нерзула; другие - как все, так и они; третьи - протрезвеют спустя время; четвертые - прозреют при любом подходящем случае? Ну или для начала не склеивать в динамике позиции ответов “полностью” и “скорее”?

«А кроме того, изменения в общественном мнении, как правило, носят системный характер: изменение уровня поддержки властей сопровождаются изменениями по вопросам о настроении, надеждах, экономическом поведении. Изменения в ответах на эти вопросы вряд кто-то станет объяснять лукавством респондентов (при условии, что доля участвующих в опросах остается более-менее постоянной величиной). Так, рост рейтингов президента и правительства феврале-марте 2022 года сопровождался ростом общего оптимизма, воодушевления, уверенности в завтрашнем дне, ура-патриотизма.»

При условии, что выборка смещается в ура-патриотов, логично, что смежные показатели одурения сместятся аналогично? Системный, блин, характер.


Резюмируя основные претензии:
- Достижимость: отрицание реального падения, маскировка ковидом, сравнение показателей разных методов, манипуляция “интервьюеры бы отказались работать”
- Отказы: отрицание реального роста отказов, недостаточное описание эксперимента
- Искажение ответов: “не всё так однозначно”, но ничего лучше не придумывается, “пипл хавает”

Имеем: у некоторых доводов веская аргументация отсутствует, а по остальным выводы оказались противоположны. Война оказывает ощутимое влияние на достижимость опросов - это то, о чем могла бы поведать Левада. Но, увы, более наглядные свидетельства можно найти там, где их совсем не ждешь.

C 1 июня 2022 ВЦИОМ публикует пресс-релизы по телефонникам с указанием коэффициентов результативности по стандартам AAPOR (кроме заказных, и с начала года убрал их из мониторинга политических рейтингов). Дело за малым: расковырять все релизы и достать из текста коэффициенты. Но чего не сделаешь ради доказательства, что в интернете кто-то неправ поиска истины.

Методология описана тут. Дам короткую расшифровку:
- COOP1 (Коэффициент кооперации) - доля завершенных интервью от всех, кто прошел скрининг
- RR1 (Минимальный коэффициент ответов) - доля завершенных интервью от всех контактов, где снята трубка, кроме тех, по кому удалось установить непопадание в исследуемую совокупность (например, не гражданин, моложе 18, номер организации и тп.)
- RR3 (Коэффициент достижимости) - То же, что предыдущий, но с поправкой на оценку доли подходящих контактов среди не определенных по принадлежности к исследуемой совокупности.

Данные на графиках ниже (жирная линия - сглаживание скользящим средним).
С одной стороны, высокий коэффициент кооперации подтверждает ранее сказанное: прошел скрининг = пройдешь интервью. С другой, слишком высокие значения скорее говорят о проблемах на предыдущих этапах (заслуживает отдельного разбора со сравнением данных разных контор).

Жаль, что нет данных с начала года. Но для меня странно, что обсуждения достижимости опросов в основном ограничились сравнениями до/в начале войны (и до сих пор тот анализ приводится в качестве аргументации). Мобилизация - ключевой этап, и, увы, для кого-то осознание войны пришло только с ней. Не говоря о прочих побочках мобилизации, которые могут влиять на достижимость. На случай, если кто-то увидит на этих данных то же, что Левада: я вижу на них падение достижимости.

Я твой Взгляд массив вертел

Довелось продолжительно поработать с опросными выгрузками из Яндекс Взгляда. А поскольку SPSS все ещё жив (благодаря custom tables), сделал себе ноутбук для преобразования выгрузки из экселя в sav (переименование переменных, создание словарей меток, кодирование текста в числа и тп). Вдруг кому-то тоже пригодится https://github.com/ArthurGoncharov/yandex_surveys_to_spss

Где сводить результирующие таблички, конечно, отчасти вкусовщина и привычка. Но и без экспорта работать с питоном над причесанным опросным массивом все равно куда приятнее.

Чадо GPT

Встретил в ленте (пост от ceo с опытом) очень полезное применение chatGPT для расширения возможностей исследований.

Суть - c chatGPT вам не нужны пользователи для “кастдевов”.

Я считаю это колоссальным прорывом, поскольку теперь продактам не нужно тратить время на живых людей, чтобы быстро закрепиться в своих иллюзиях, и скорее приступить уже к их реализации, потерпеть успех или обрести неудачу.

“Что это вообще за канал, откуда он у меня? Что за некромантия? ”

Привет! Коротко о главных причинах можно сказать так: война, эмиграция.
Чуть конкретнее: автор ушел целиком в продуктовую аналитику, отложив рисёч до лучших времен (и с вероятностью ≈35% вы добавили его канал в подборке по продуктовым исследованиям примерно в то же время).

Так и не реализованный бэклог тем для постов за время двухлетнего забвения канала: инфоцыганство в исследованиях, кейс из жизни о вреде продуктов кастдевосодержащих, синергия data-аналитики и исследований, а также слова признательности исследовательским агентствам и коллегам по цеху, не шедшим на сделку с совестью ради клиентской базы или должностей.

О чем-то из этого для меня еще актуально написать (как минимум, обещал кейс о вреде замесинщины). Буду признателен за отписку, если подобные темы не откликаются.

Ну а сейчас возвращаюсь в продуктовые исследования сразу с поиска человека в команду (сорян за два поста подряд).

Этот человек (я) ищет себе в команду UX/CX-исследователя, изучать потребности геймеров в социальном сервисе (Gameram). https://gameram.notion.site/researcher
Пожелания:
- Упор на qual-методы, остальное будет плюсом (quant с удовольствием постепенно передам);
- Сильный английский для проведения интервью (испанский, португальский могут быть плюсом);
- Местонахождение НЕ в РФ (либо готовность стряхнуть пыль с чемоданов).

Столькитолетний личный опыт менторства UX-исследователей показывает, что в quant может каждый исследователь, у кого хватает желания. А там и до аналитики рукой подать. Поэтому от меня помощь и менторство где нужно и хочется, от кандидата - готовность олицетворять собой qual-исследования в стартапе. Синергия методов существует (я проверял).

Если вдруг мы знакомы лично, то можно прямо в тг-личку (но тогда с сопроводительным - как вы живы-здоровы?). В иных случаях быстрее будет написать Лизе @elizaveta_sk1

Если сподручно, помогите независимому журналисту спастись от кастдеверей, предложите услугу исследования по-сестрински/по-братски