Хорошее наблюдение, разверну свою мысль. Моя телега рождается именно из математики, на которую я пытаюсь нанизывать прикладную интерпретацию. Дело в том, что классический матстат весь построен так, что в нем мы работаем с асимптотиками, то есть "на достаточно больших выборках" и с допущением, что эта выборка может по нашему хотению (хотя бы теоретически) быть сколь угодно большой. Т-тесты, например, работают именно в такой схеме.

Если же вы знаете, что у вас заведомо конечная ГС из которой вы сделали какую-то выборку без повторов, то вам нужен совсем другой раздел статистики - sample surveys, вот тут советую книжку.

Интуитивно это можно представить так: пусть у вас маленькая ГС из пяти человек, и вы обследовали её всю целиком. Тогда у вас не осталось вообще никакой неопределённости о, например, среднем росте людей в этой ГС - вы знаете его достоверно. Хотя классический подход вам нарисует очень широкий ДИ для среднего.

В биомедицине все используют классическую статистику, не sample surveys. В том числе потому, что расчёты в классической статистике (сильно) проще. Этот факт требует осмысления и в плоскости прикладной интерпретации. Один из способов, как это можно сделать - это через мой тейк о том, что нас интересуют не прямо сейчас живущие пациенты, а некоторая воображаемая ГС пациентов с этим диагнозом.

Другой способ это осмыслить - сказать, что на самом деле нас интересует конечная ГС, но она большая, наша выборка по сравнению с ней пренебрежимо мала, результаты классического анализа в такой ситуации очень близки к sample surveys, поэтому мы пользуемся классикой, так как она проще в расчётах.

В конечном итоге это все не очень важно, это скорее повод подушнить и порассуждать, никакого серьёзного влияния ни на что это не имеет.

По поводу "скорректированной ГС" - она в этой линии рассуждений тоже бесконечная. Бесконечная ГС женщин от 40 до 70, никогда не рожавших, с нормальным ИМТ и диабетом первого типа, например, если мы хотим применить критерии включения и исключения.

Ещё один способ разрешить эту "проблему" - это перестать разговаривать о ГС в принципе, потому что она сбивает с толку, и начать рассуждать в терминах "механизма порождения данных" (data generating process). Если я подбрасываю монетку много раз, то что является моей ГС? Если я играю в рулетку, то о какой ГС речь? Мы не знаем. А вот механизм порождения данных позволяет обсуждать и эти ситуации тоже.

Утром в газете, вечером в куплете

Или два оленя - тренд. Сначала увидел этот пост в телеге, потом похожий вопрос задали студенты. Поговорим немного о бутстрепе и его превратном понимании прикладными ширнармассами. Я почти уверен, что метод в посте не работает, но пока хожу и думаю, как это обосновать формально. Раз думаю я, то вы, уважаемые читатели, тоже подумайте.

Хотите подглядывать в AB тесты? Вот вероятно простейший способ, за который не надают по рукам. Проблема известная: подглядывание в AB тестах увеличивает ложноположительные ошибки (шансы внедрить ерунду в прод).
Авторы статьи предлагают относиться к завершению теста как к задаче предсказания. В любой момент подглядывания вы вычисляете вероятность того, что ваш тест отвергнет нулевую гипотезу когда этот самый тест завершится.
Представьте: запустили тест на месяц, спустя неделю у вас есть накопленные выборки X0, X1. Делаем финт ушами и говорим, что остальные 3 недели у нас будет верна нулевая гипотеза, а значит можно объединить вместе X0 и X1 в одну выборку и бутстрапом заполнить из нее будущие три недели для тестовой (X1_future) и контрольной (X0_future) групп, а затем посчитать заранее выбранную статистику (t-тест, непараметрическую и тд) и получаем бинарный результат - 0 (нулевая гипотеза не отклонена), 1 (нулевая гипотеза отклонена). Повторяем этот бутстрап 10000 раз и считаем Q - долю симуляций, где тест показал значимость. Если Q >= 0.95 (или другой заданный порог), мы торжественно закрываем AB тест досрочно.

Красивое

Метрики-метрики.

В комментариях положили классного.

Upd: За годноту благодарим Лену и её канал. Заходите к ней на огонёк, записывайтесь на консультации.

Автор - лягушка-путешественница, наконец, возвращается к родным пенатам и даже готовит оригинальный контент (в том числе и давно обещанный). А пока можете почитать вот эту заметку Лены Убогоевой и потыкать в симуляции (все мы любим Монте-Карло). В комменты тоже загляните, там всякое интересное обсуждают.

Тест Стьюдента, Велча и непараметрика на малых выборках

Возвращение долгожданных лонгридов по статистике! В прошлый раз я сравнивала тест Стьюдента и тест Велча на больших выборках и обещала разобрать отдельно, что происходит на малых выборках. Не прошло и года (или прошло), но лонгриды возвращаются в новом интерактивном формате:

https://ubogoeva.github.io/R4Analytics/posts/small_samples_simulation.html

Теперь можно самостоятельно накликать разные варианты размеров выборок, дисперсий, распределений и посмотреть на ошибку первого рода и мощность. Помимо наших любимых тестов Стьюдента, Велча и Манна-Уитни, бонусом разобрала еще тест Бруннера-Мюнцеля, грубо говоря аналог теста Манна-Уитни для неравных дисперсий. И не забыла про статью от X5 про тест Велча (Серега, респекты 💪).

Не буду здесь долго расписывать, все самое интересное разобрано в посте, заходите!

#stats #stat_hard

У нас сегодня пятница, поэтому пост про ремейк Готики и головоломки :3

Очень хороший пост, рекомендасьон.

Why Adjusted Regression Coefficients Are Less Descriptive Than They Look

Kristoffer Magnusson (исследователь в области клинической психологии) ведет любопытный блог, который называется R Psychologist. У него можно посмотреть множество интересных статистических визуализаций, в частности, как-то у нас упоминалась визуализация по доверительным интервалам.

У автора вышла еще одна интерактивная визуализация: Why Adjusted Regression Coefficients Are Less Descriptive Than They Look. Здесь автор утверждает, что сначала нужно определить цель исследования в линейной множественной регрессии (прогноз или причинно-следственный вывод, описание), а затем рассматривать корректировки как отдельный анализ. Главный вывод автора: исследовательский вопрос определяет метод, а не наоборот.

Сегодня читаю лекцию про постхок мощность. Буду рассказывать про мощность вообще и опять агитировать смотреть на ДИ, а не на p-values. Приходите, будет в меру теоретично, с картиночками и, как всегда, лампово.

Если вам зашли лекции из цикла Разрушители мифов, то вот, есть возможность попасть на полугодовую программу по биостату: заявки принимают до 16-го включительно. Программа удаленная, но все занятия вживую, не в записи. Среди преподавателей, в том числе, и лекторы Разрушителей. Походите-подумайте, может, вам надо, успеете запрыгнуть в последний вагон.