К обсуждению про односторонние тесты, @smatrosov и @slavenkofm согласились созвониться в этот четверг 19 февраля в 19.00 МСК.
Будет чисто дружеский междусобойчик, проговорим что уже обсудили, ответим на вопросы если останутся
@the_thousand_lepers @bqmaks @Nik_Burlov и все остальные, присоединяйтесь!

Кстати. Вот есть такая штука, я там читаю модули про смешанные модели и ресемплинг (монте-карло, бутстреп, пермутации). Остальные модули тоже очень интересные, я хочу послушать их и сам. Приходите :)

Подъехала запись с расшифровкой. В первые полчаса моя первая попытка прочитать лекцию про то, как анализировать статистические тесты и из чего они состоят. Потом было интересное обсуждение именно дизайна исследований и того, как думать головой, а не только чиселка считать. Душевно посидели, хочу еще.

https://drive.google.com/drive/folders/19G4b3TtxqJ4ge8G6hjelZbwW6eVtGIm-?usp=sharing
Запись, пересказ и транскрипция встречи в четверг! Сначала примерно полчаса по хардкору с формулами, дальше уже больше практическое применение в аналитике

Помните я говорил про то, что неплохо бы писать ретро / постмортемы, пусть даже это будет запись в стол? Эндрю Гельман предлагает похожую штуку: ведение статистического дневника. Изначально это было заданием на его курсе в универе: предлагалось делать запись каждый день на протяжении недели. Никто не мешает это сделать постоянной практикой: пришла мысль — запиши. В принципе, примерно на этом основаны методы типа цеттелькастена.

Коллега Кузнецов, кстати, тоже рекомендует.

Если хотите, можем, например, в комментах попробовать вести совместные записи — недельку или две.

В некоторых журналах при подаче манускрипта статьи просят вот такое. Как вам?

Вот тут очень интересный сюжет рассматривают.

Давайте обсудим. В комментариях предположили психологические и другие похожие объяснения, и они, действительно, напрашиваются. Пессимисты/ипохондрики аккуратнее лечатся, тяжелые пациенты склонны отрицать свою болезнь, более образованные люди более трезво оценивают свой прогноз и, при этом, живут дольше (это известный факт).
Однако я бы присмотрелся к эпидемиологии. То есть, занялся бы критическим чтением (надеюсь, все уже прошли специальный курс).

В бузинесе тоже проблемы с воспроизводимостью исследований. Мне, правда, хочется посмотреть на ДИ в каждом случае. Ну и может быть так, что это все истинная гетерогенность: в оригинальном исследовании, например, какой-то нишевый магазин любителей кругленького. В конце концов, в медицине вон много говорят про индивидуализированный подход; было бы странно, если бы в мире бизнеса был один статичный эффект от круглых кнопок, не меняющийся между странами, брендами, индустриями и стабильный во времени.

Очень короткой строкой, просто хочу записать мысль.
Одна из задачек, с которой мы сталкиваемся, — это понять, в чем разница между subject-specific и population-averaged эффектами и характеристиками. Так вот, мне кажется, что хороший способ представить себе, что такое популяционные эффекты, состоит в следующем.
Слышали про исследования сточных вод? Типа измеряем вирусную нагрузку ковида на популяцию по сточным водам, или изучаем потребление ПАВ по концентрации метаболитов в сточных водах. Еще пример: бактериологические исследования смывов с ручек общественного транспорта.
Вот это все те самые популяционные характеристики. И в чем их ограниченность тоже хорошо понятно на этих примерах: то, что в сточных водах много интересных веществ, совсем не значит что лично ты, Иван Иванович, хорошо провел выходные. Также пациентов, например, инфекционки вряд ли сильно утешит, что количество позитивных смывов на гепатит А с поручней в метро пошло вниз.

В биостатере по касательной затронули тему вычмата и вопрос того, что неплохо бы знать, а что там происходит внутри lm() и как подгоняются модели. Вот тут пост, который рассматривает это с более широкого ракурса, можно с него начать ощупывание темы.

Друзья, рубрика #ярмарка_тщеславия
Вышел подкаст с моим участием. Ведущий Алексей Кардаш - философ-эпистемолог. Поговорили о том, чем занимаются биостатистики, что такое данные и зачем это все надо. Мне понравилось, вынес много пищи для ума. Кажется, что между статистикой / эпидемиологией / анализом данных и философией познания почему-то не налажены устойчивые контакты, хотя обе стороны могли бы многое вынести из такого диалога. Лежу в эту сторону, вы тоже присоединяйтесь :)

Статистика никогда не врёт? Эмпирические данные говорят сами за себя и не нуждаются в интерпретации? Доверия заслуживают лишь исследования с большими выборками? Вместе с биостатистиком и математиком Матвеем Славенко обсуждаем, как работают статистические данные в эпоху, когда к ним прибегают даже в самых повседневных разговорах.

https://youtu.be/x0Kxz7cAdOI

Паяльники, синтезаторы и прикладной signal processing

Пятница и выходные, поэтому сегодня немного развлекательного контента, который открывает мои личные вкусы.

Послушал тут два подкаста от Чайного паладина про синтезаторы и то, что их можно собирать самому практически из пеньки и гаек и воодушевился. Во-первых, теперь хочу себе паяльник, который можно запитать через обычный USB и жало у которого через audio jack подключается. В детстве любил играть с паяльником деда и спаивать крупинки олова вместе, видимо, это было не зря.
Во-вторых, конечно, захотел себе коробочку, которая производит звуки матричного принтера, калькулятора и прочей офисной техники, ведь это красиво.
В-третьих, в подкасте упомянули, что есть люди, которые этим всем интересуются чисто с точки зрения математики обработки сигналов, и я что-то почувствовал внутри. Кажется, это может быть входной точкой: я давненько смотрю в сторону того, чтобы причаститься к signal processing; есть ощущение, что там много штук, близких матстату и теорверу или просто перепеавающих их на свой лад. А тут можно будет еще и ручками это все потыкать, вау.

Допссылки: шоуноуты к первому подкасту; список ютубчиков про синтезаторы и около него; объяснение, что за птичка на КДПВ. Сам канал Чайного паладина тоже полистайте, там так-то в основном про НРИ, но не только, синтезаторы просто случайно ворвались в чат.

Приятных выходных!

Вынесу, пожалуй, из комментариев.

Хорошее наблюдение, разверну свою мысль. Моя телега рождается именно из математики, на которую я пытаюсь нанизывать прикладную интерпретацию. Дело в том, что классический матстат весь построен так, что в нем мы работаем с асимптотиками, то есть "на достаточно больших выборках" и с допущением, что эта выборка может по нашему хотению (хотя бы теоретически) быть сколь угодно большой. Т-тесты, например, работают именно в такой схеме.

Если же вы знаете, что у вас заведомо конечная ГС из которой вы сделали какую-то выборку без повторов, то вам нужен совсем другой раздел статистики - sample surveys, вот тут советую книжку.

Интуитивно это можно представить так: пусть у вас маленькая ГС из пяти человек, и вы обследовали её всю целиком. Тогда у вас не осталось вообще никакой неопределённости о, например, среднем росте людей в этой ГС - вы знаете его достоверно. Хотя классический подход вам нарисует очень широкий ДИ для среднего.

В биомедицине все используют классическую статистику, не sample surveys. В том числе потому, что расчёты в классической статистике (сильно) проще. Этот факт требует осмысления и в плоскости прикладной интерпретации. Один из способов, как это можно сделать - это через мой тейк о том, что нас интересуют не прямо сейчас живущие пациенты, а некоторая воображаемая ГС пациентов с этим диагнозом.

Другой способ это осмыслить - сказать, что на самом деле нас интересует конечная ГС, но она большая, наша выборка по сравнению с ней пренебрежимо мала, результаты классического анализа в такой ситуации очень близки к sample surveys, поэтому мы пользуемся классикой, так как она проще в расчётах.

В конечном итоге это все не очень важно, это скорее повод подушнить и порассуждать, никакого серьёзного влияния ни на что это не имеет.

По поводу "скорректированной ГС" - она в этой линии рассуждений тоже бесконечная. Бесконечная ГС женщин от 40 до 70, никогда не рожавших, с нормальным ИМТ и диабетом первого типа, например, если мы хотим применить критерии включения и исключения.

Ещё один способ разрешить эту "проблему" - это перестать разговаривать о ГС в принципе, потому что она сбивает с толку, и начать рассуждать в терминах "механизма порождения данных" (data generating process). Если я подбрасываю монетку много раз, то что является моей ГС? Если я играю в рулетку, то о какой ГС речь? Мы не знаем. А вот механизм порождения данных позволяет обсуждать и эти ситуации тоже.

Утром в газете, вечером в куплете

Или два оленя - тренд. Сначала увидел этот пост в телеге, потом похожий вопрос задали студенты. Поговорим немного о бутстрепе и его превратном понимании прикладными ширнармассами. Я почти уверен, что метод в посте не работает, но пока хожу и думаю, как это обосновать формально. Раз думаю я, то вы, уважаемые читатели, тоже подумайте.

Хотите подглядывать в AB тесты? Вот вероятно простейший способ, за который не надают по рукам. Проблема известная: подглядывание в AB тестах увеличивает ложноположительные ошибки (шансы внедрить ерунду в прод).
Авторы статьи предлагают относиться к завершению теста как к задаче предсказания. В любой момент подглядывания вы вычисляете вероятность того, что ваш тест отвергнет нулевую гипотезу когда этот самый тест завершится.
Представьте: запустили тест на месяц, спустя неделю у вас есть накопленные выборки X0, X1. Делаем финт ушами и говорим, что остальные 3 недели у нас будет верна нулевая гипотеза, а значит можно объединить вместе X0 и X1 в одну выборку и бутстрапом заполнить из нее будущие три недели для тестовой (X1_future) и контрольной (X0_future) групп, а затем посчитать заранее выбранную статистику (t-тест, непараметрическую и тд) и получаем бинарный результат - 0 (нулевая гипотеза не отклонена), 1 (нулевая гипотеза отклонена). Повторяем этот бутстрап 10000 раз и считаем Q - долю симуляций, где тест показал значимость. Если Q >= 0.95 (или другой заданный порог), мы торжественно закрываем AB тест досрочно.