День 10. Тест Стьюдента для зависимых выборок.

Ранее мы говорили о том, как сравнивать две независимые выборки. Набираем случайных людей в обе группы, к одной применяем некое воздействие, например, даем таблетку для повышения IQ, измеряем интересующий нас параметр (IQ) у каждого испытуемого, ищем средние значения для обеих групп, проверяем гипотезу о том, что эти средние статистически равны или различны. Если мы получаем, что средние различны, то мы радуемся, что наша таблетка сработала и принимаем её сами. Но что делать, если у нас не набралось две группы? Что, если нам нужно понять, было ли эффективным воздействие на одной группе людей? У нас все еще будет два набора измерений — до и после воздействия — но они явно будут зависимы: это одни и те же люди! Тут нам на помощь приходит t-критерий Стьюдента для зависимых выборок.

Идея t-критерия Стьюдента для зависимых выборок довольно проста. Мы хотим узнать, имело ли наше воздействие результат, отличный от нуля. К примеру, если мы измеряем изменения уровня интеллекта в одной группе, то хотелось бы узнать, является ли различие в интеллекте после воздействия (принятия таблетки) значимым. Иными словами, мы хотим узнать, является ли наблюдаемое различие в среднем отличным от нуля. В этом и заключается идея t-критерия Стьюдента для зависимых выборок: как основную выборку мы берем не наши измерения, а набор разностей между наблюдаемым показателем после и до воздействия.

Давайте разберем пошагово на примере. У нас есть одна группа людей. Мы измеряем у них показатель IQ, затем мы даем им таблетку для его повышения и снова измеряем показатель IQ. Теперь мы выдвигаем нулевую гипотезу: среднее разностей показателя IQ до и после воздействия не отличается от нуля. Затем мы смотрим на колокол t-распределения со средним в нуля (он уже задан) и рассчитываем, насколько вероятно получить наше значение t при верности нулевой гипотезы. Иными словами, мы смотрим, насколько наше значение t отклоняется от нуля в соответствующем t-распределении Стьюдента с необходимым числом степеней свободы: чем дальше от нуля, тем ниже p-value. Степени свободы равны количеству парных измерений минус единица. Если p-value меньше некого заранее заданного (к примеру, 0.05), значит, наше значение статистически отличается от нуля, мы отклоняем нулевую гипотезу и делаем вывод, что таблетка сработала.

#статябрь #статябрь2025 #statober #statober2025

Статябрь. День 11. Распределение Пуассона

Некоторые события происходят редко, но с более или менее постоянной интенсивностью: появляется брак в партии, корректоры допускают ошибки в книгах, люди погибают в ДТП. Для описания вероятности происхождения возникновения определенного числа редких событий в некий промежуток времени используется распределение Пуассона. Оно задается одним параметром — интенсивностью редких событий. Эта интенсивность, в свою очередь, приближенна равна произведению общего числа возможных событий на вероятность редкого события. Таким образом, зная среднюю интенсивность событий, мы можем определить, например, какова будет вероятность получить количество брака в партии больше ожидаемого. На основе этого можно заложить дополнительные издержки на покрытие возможного брака.

Вики: https://ru.wikipedia.org/wiki/%D0%A0%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D0%9F%D1%83%D0%B0%D1%81%D1%81%D0%BE%D0%BD%D0%B0

#статябрь #статябрь2025 #statober #statober2025

Статябрь. День 12. Критерий Уилкоксона для связанных (связных) выборок.

Помните, мы проходили т-критерий для связных выборок? Данные у нас имели предположительно нормальное распределение и были интервальными (то есть расстояние между 1 и 2 такое же, как между 2 и 3 или 3 и 4). Но что делать, если данные не всегда интервальные, и, максимум, что мы можем сказать, это, что 1<2, а 2<3? Примером неинтервальных данных может служить конкурс по поеданию кабачков: съесть один кабачок легко для многих, съесть два кабачка уже слегка труднее, а съесть три кабачка для многих уже непосильная задача. Получается, что разность в сложности поедания между одним и двумя кабачками сильно меньше, чем между двумя и тремя. Такой тип данных с неравными интервалами называется порядковым.

Как же нам сравнить две связанные выборки с порядковыми данными? К примеру, пусть бабушка набрала команду внуков по поеданию кабачков. Она решает проверить следующую гипотезу: на вместительность внуков влияет время, проведенное за компьютером. В первый день она замеряет, сколько кабачков максимум может съесть каждый внук. Затем она проводит воздействие на внуков: отводит их на целый день в компьютерный клуб. На второй день она повторяет эксперимент и снова замеряет, сколько кабачков может съесть каждый из подопытных.

В нашем случае мы получаем набор порядковых данных из двух связанных выборок. В этом случае мы не можем напрямую использовать t-test: не выполняется требование о характере данных. Тут нам на помощь приходит критерий Уилкоксона для связанных выборок. Первым шагом необходимо вычислить разности между измерениями после и до воздействия. Кстати, наша нулевая гипотеза будет утверждать, что распределение разностей будет симметричным вокруг нуля. Затем мы ранжируем абсолютные значения (модули) этих разностей: наименьшая разность получает первое место и т. д. Следующим шагом каждому месту мы присваиваем знак соответствующей разности. При больших выборках распределение статистики W аппроксимируется нормальным, и тогда вычисляют соответствующую z-оценку. При малых же выборках мы используем точное распределение W. В обоих случаях мы определяем по соответствующему распределению, насколько вероятно получить такое значение статистики при верности нулевой гипотезы.

Напоследок, стоит упомянуть, что критерий Уилкоксона тоже накладывает определенные требования:
- симметрия распределения разностей
- независимость пар измерений между собой.

#статябрь #статябрь2025 #statober #statober2025

Статябрь. День 13. Критерий МакНемара.

Как повлияла наша рекламная кампания на группу пользователей? Подействовала ли вакцина на группу пациентов? Изменилось ли мнение внуков о бабушке после двух дней кабачковой диеты? Чтобы ответить на такие вопросы, где: 1) наблюдения парные или сильно связаны между собой, 2) результат представлен категориальной переменной (любит/не любит, есть болезнь/нет болезни), можно использовать тест МакНеймара.

Продолжение в ноутбуке: https://colab.research.google.com/drive/1NLr9XDeqcC2PzFEj6QHQFUP948AxhrNn?usp=sharing

#статябрь #статябрь2025 #statober #statober2025

Статябрь. День 14. Показательное (экспоненциальное) распределение.

Сегодня мы совсем коротко поговорим о показательном (экспоненциальном) распределении. Оно является крайне полезным для моделирования времени ожидания или времени безотказной работы.

Попробуем понять логику безотказной работы. Вероятность безотказной работы начинается с единицы и экспоненциально убывает к нулю при увеличении времени. Иными словами, чтобы смоделировать вероятность безотказной работы, нам нужно найти такое распределение, которое бы начиналось с единицы и стремилось бы к нулю в бесконечности. Одним из лучших кандидатов в этом случае является экспенента.

Одним из свойств показательного распределения является отсутствие памяти. Цитируя учебник Гмурмана: вероятность безотказной работы элемента на интервале времени длительностью t не зависит от времени предшествующей работы до начала рассматриваемого интервала, а зависит только от длительности времени t (при заданной интенсивности отказов). Иными словами, вероятность того, что при известной интенсивности отказов новый телевизор сломается в первые десять лет такая же, что и вероятность телевизора сломаться в последующие десять лет, если он проработал без поломок первые десять лет.

#статябрь #статябрь2025 #statober #statober2025

Статябрь. День 15. Дисперсионный анализ.

Ранее мы научились сравнивать средние двух групп. Было все просто: формулируем нулевую гипотезу, выставляем уровень значимости, проводим измерения, находим вероятность получить такое значение тестовой статистики при верности нулевой гипотезы. Если эта вероятность (p-value) меньше уровня значимости (0.05), то мы отклоняем нулевую гипотезу. А что же делать, если у нас возможно несколько воздействий? Что если мы испытываем не один вид удобрений, а сразу несколько?

Читать далее в ноутбуке: https://colab.research.google.com/drive/1EysPyoswynvpv-G71vaeINHGZ8xwPTz6?usp=sharing

#статябрь #статябрь2025 #statober #statober2025

Статябрь. День 16. Непрерывное равномерное распределение.

Не все измеряемые величины подчиняются нормальному распределению. Одно из распространенных альтернативных распределений — непрерывное равномерное распределение. Если в нормальном распределении вероятность получить значение переменной, сильно отличное от среднего, довольно мала, то в равномерном распределении все иначе: вероятности получить определенные значения одинаковы на некотором интервале и равны нулю за его пределами. Это можно увидеть и на графике плотности вероятности.

Равномерное распределение часто используется как модель для описания случайных процессов без предпочтений или для аппроксимации ошибок измерения. Один из примеров: ошибка округления до ближайшего целого на измерительном приборе имеет равномерное распределение. Другой пример — вероятность получить определенного результата от генератора случайных значений.

Вики с графиком: https://ru.wikipedia.org/wiki/%D0%9D%D0%B5%D0%BF%D1%80%D0%B5%D1%80%D1%8B%D0%B2%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D0%B2%D0%BD%D0%BE%D0%BC%D0%B5%D1%80%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5

#статябрь #статябрь2025 #statober #statober2025

Статябрь. День 17. Критерий Краскела-Уоллиса.

Сегодня у нас на очереди непараметрический тест для нескольких выборок. Он подходит для тех случаев, когда по каким-либо причинам мы не можем использовать дисперсионный анализ. Критерий является обобщением ранее рассмотренного критерия Манна-Уитни.

Суть критерия в следующем. Пусть у нас есть несколько выборок. Чтобы определить, есть ли среди них различия, мы, как и в критерии Манна-Уитни, ранжируем данные. Наше основное предположение состоит в том, что если группы одинаковые, то ранги распределяются случайным образом между ними. Иными словами, H-критерий Краскела-Уоллиса показывает наличие сдвига в параметрах положения (сдвиг медиан) двух или более сравниваемых выборок, имеющих одинаковые формы распределения. Этот критерий имеет асимптотическое распределение хи-квадрат с k-1 степенями свободы, где k — количество выборок.

Вывод формулы для критерия дан в русской вики: https://ru.wikipedia.org/wiki/%D0%9A%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9_%D0%9A%D1%80%D0%B0%D1%81%D0%BA%D0%B5%D0%BB%D0%B0_%E2%80%94_%D0%A3%D0%BE%D0%BB%D0%BB%D0%B8%D1%81%D0%B0

#статябрь #статябрь2025 #statober #statober2025

Статябрь. День 18. Критерий Хи-квадрат Пирсона.

Критерий хи-квадрат применяется при работе с категориальными данными, когда мы хотим узнать, есть ли статистически значимая разница между несколькими группами. К примеру, мы можем хотеть узнать, отличается ли количество выигравших в лотерею (категории: выигравшие, проигравшие) в зависимости от пола. Другим примером может служить смертность от болезни в зависимости от степени ожирения.

Идея критерия заключается в следующем. В нашей нулевой гипотезе мы предполагаем, что распределение наблюдений — мультиномиальное. Примером такого распределения может служить распределение вероятностей выпадения каждой из сторон игрового кубика при n попытках. Иными словами, мы предполагаем, что различия в полученных результатах объясняются только случайными факторами.

Затем мы вычисляем сумму квадратов разностей между наблюдаемыми и ожидаемыми значениями, деленную на те же ожидаемые значения. Почему мы делим на ожидаемое значение? При больших n распределение наблюдаемых частот можно приближённо считать нормальным, поскольку мультиномиальное распределение по центральной предельной теореме стремится к нормальному. В частных случаях, если вероятность категории мала, отдельные категории могут приближаться к распределению Пуассона. В итоге мы получаем сумму квадратов разностей, деленную на эквивалент дисперсии. Как мы знаем, величины такого типа имеют распределение хи-квадрат. Нам остается только вычислить число степеней свободы, определить значение p и проверить, меньше ли полученное значение заранее заданного уровня значимости.

Ссылка на доп. материал: https://bigenc.ru/c/polinomial-noe-raspredelenie-be9c62

#статябрь #статябрь2025 #statober #statober2025

Статябрь. День 19. Дисперсионный анализ для связанных выборок.

Ранее мы рассмотрели идею дисперсионного анализа для несвязанных выборок. Например, с его помощью мы могли определить, существует ли разница между несколькими видами лекарств в нескольких разных группах пациентов. В дисперсионном анализе для связанных выборок группа испытуемых будет одна, а вопросы нас будут интересовать, к примеру, следующие: 1. Как группа испытуемых воспринимает некое воздействие через разные интервалы времени. 2. Какие изменения можно наблюдать в одной и той же группе испытуемых при разных воздействиях.

Идея дисперсионного анализа для связанных выборок довольно проста. В обычном дисперсионном анализе мы сравнивали меры межгрупповой и внутригрупповой вариативности. Ведь если они примерно равны, это означает, что некий фактор не оказывал значимого влияния, отличного от шума. При связанных выборках мы делаем почти то же самое, с одним исключением. Если раньше мы знали, что участники в выборках независимы, то сейчас нам также известно, что часть внутригрупповой дисперсии объясняется индивидуальными особенностями каждого из участников. А так как участники у нас одни и те же в нескольких экспериментах, мы можем оценить и исключить «шум», вносимый каждым участником во внутригрупповую вариативность. Затем мы снова находим F-статистику и вычисляем её уровень значимости.

Ссылка на доп. материал: https://statistics.laerd.com/statistical-guides/repeated-measures-anova-statistical-guide.php

#статябрь #статябрь2025 #statober #statober2025