#базовыйуровень
✍ Про p-уровень статистической значимости (предложен Рональдом Фишером в 1925 году)
В классической статистике существуют понятия нулевой гипотезы (H0) и альтернативной гипотезы (H1). H0 гласит, что 2 случайные выборки, взятые из генеральной совокупности, не отличаются между собой в контексте статистического теста, который вы используете. H1 - говорит об обратном. Тогда:
🙅♂️
p-значимость ≠ вероятности (P) ошибки I рода
p-значимость ≠ P ложного результата
p-значимость ≠ P нулевой гипотезы
p-значимость ≠ P случайности результата
💁♂️
p-значимость = P результата в генеральной совокупности, при условии верности H0
p-уровень значимости – вероятность получить такие или более выраженные различия при предположении верности нулевой гипотезы для генеральной совокупности.
Другими словами, если в генеральной совокупности верна H0, вероятность получить результаты, которые позволят принять гипотезу H1, составляет менее 5% (при α=0.05).
Если p>=α (заданный порог статистической значимости), мы отвергаем H1-гипотезу и не отвергаем, но и не принимаем H0-гипотезу, нужны новые эксперименты …
Никогда не просите "посчитать p" - это звучит глупо! У вас должна быть научная гипотеза, для подтверждения или опровержения которой применяют тот или иной статистический тест. В ходе этого теста результаты сравниваются через p-уровень значимости. Проверяйте научные гипотезы!
✍ Про p-уровень статистической значимости (предложен Рональдом Фишером в 1925 году)
В классической статистике существуют понятия нулевой гипотезы (H0) и альтернативной гипотезы (H1). H0 гласит, что 2 случайные выборки, взятые из генеральной совокупности, не отличаются между собой в контексте статистического теста, который вы используете. H1 - говорит об обратном. Тогда:
🙅♂️
p-значимость ≠ вероятности (P) ошибки I рода
p-значимость ≠ P ложного результата
p-значимость ≠ P нулевой гипотезы
p-значимость ≠ P случайности результата
💁♂️
p-значимость = P результата в генеральной совокупности, при условии верности H0
p-уровень значимости – вероятность получить такие или более выраженные различия при предположении верности нулевой гипотезы для генеральной совокупности.
Другими словами, если в генеральной совокупности верна H0, вероятность получить результаты, которые позволят принять гипотезу H1, составляет менее 5% (при α=0.05).
Если p>=α (заданный порог статистической значимости), мы отвергаем H1-гипотезу и не отвергаем, но и не принимаем H0-гипотезу, нужны новые эксперименты …
Никогда не просите "посчитать p" - это звучит глупо! У вас должна быть научная гипотеза, для подтверждения или опровержения которой применяют тот или иной статистический тест. В ходе этого теста результаты сравниваются через p-уровень значимости. Проверяйте научные гипотезы!
👍1
#базовыйуровень
Главные минусы p-уровня статистической значимости: его пороговое значение, он не говорит о вероятности проверяемой научной гипотезы и его все время стремятся "подделать" за счет манипуляциями с данными. Это называется p-hacking и это преступление над данными 😡
Есть ли альтернатива p-значению? Есть, но пока это дискутабельные темы.
Альтернативы:
1. Доверительные интервалы (интервалы неопределенности). Например, используются при расчете отношения шансов
2. Оценка p-уровня значимости как непрерывного значения, а не как порога
3. Байесовская статистика
Главные минусы p-уровня статистической значимости: его пороговое значение, он не говорит о вероятности проверяемой научной гипотезы и его все время стремятся "подделать" за счет манипуляциями с данными. Это называется p-hacking и это преступление над данными 😡
Есть ли альтернатива p-значению? Есть, но пока это дискутабельные темы.
Альтернативы:
1. Доверительные интервалы (интервалы неопределенности). Например, используются при расчете отношения шансов
2. Оценка p-уровня значимости как непрерывного значения, а не как порога
3. Байесовская статистика
👍1
#среднийуровень #прогноз
🤖 Многие из нас хотят что-то прогнозировать, другими словами, создавать прогностические модели. Прежде, чем приступить, подумайте, что вам предстоит сделать:
1. Почитайте, какие модели уже существуют для решения вашей задачи. Чем ваша модель будет лучше, и сможет ли она быть лучше? Чаще лучше добавить новые предикторы к старой модели, чем создавать новую с нуля.
2. Сформулируйте вашу научную гипотезу, подумайте какие данные вам нужны и посмотрите на них. Они хорошего качества? Их достаточно?
3. Выберите статистический метод
4. Примените все допущения к методу до, во время и после моделирования
5. Выполните внутреннюю валидацию модели
6. Выполните внешнюю валидацию, если возможно
7. Постройте калибровочную кривую (если считаете вероятность)
8. Оцените метрики модели, в зависимости от ее предназначения. Убедитесь, что они удовлетворительные или хорошие
9. Представьте результаты для практического использования, если выполнили пункты 1-8 и ваша научная гипотеза подтвердилась
🤖 Многие из нас хотят что-то прогнозировать, другими словами, создавать прогностические модели. Прежде, чем приступить, подумайте, что вам предстоит сделать:
1. Почитайте, какие модели уже существуют для решения вашей задачи. Чем ваша модель будет лучше, и сможет ли она быть лучше? Чаще лучше добавить новые предикторы к старой модели, чем создавать новую с нуля.
2. Сформулируйте вашу научную гипотезу, подумайте какие данные вам нужны и посмотрите на них. Они хорошего качества? Их достаточно?
3. Выберите статистический метод
4. Примените все допущения к методу до, во время и после моделирования
5. Выполните внутреннюю валидацию модели
6. Выполните внешнюю валидацию, если возможно
7. Постройте калибровочную кривую (если считаете вероятность)
8. Оцените метрики модели, в зависимости от ее предназначения. Убедитесь, что они удовлетворительные или хорошие
9. Представьте результаты для практического использования, если выполнили пункты 1-8 и ваша научная гипотеза подтвердилась
👍1
#базовыйуровень
Нормальное распределение - распределение данных, при котором ~95% их значений находятся в интервале ~ ±2х стандартных отклонений. Нормальное распределение - обязательное условие для некоторых параметрических тестов. Собственно тесты называются параметрическими, потому что они работают с данными, распределенными по каким-либо закономерностям.
Как проверить, что распределение нормальное:
1. Графический метод. Визуальная оценка по гистограмме частот. Быстрый, но грубый метод оценки.
2. Статистические методы: тесты Пирсона, Шапиро-Уилка, Колмогорова-Смирнова. Это точный метод, поэтому часто показывает ненормальное распределение.
3. Смешанный анализ. Построение QQ-плот графика и анализ корреляции истинного распределения данных и теоретического нормального распределения. Коэффициент корреляции более 0.95 говорит о близком к нормальному или нормальном распределении. Данный метод можно назвать оптимальным!
Нормальное распределение - распределение данных, при котором ~95% их значений находятся в интервале ~ ±2х стандартных отклонений. Нормальное распределение - обязательное условие для некоторых параметрических тестов. Собственно тесты называются параметрическими, потому что они работают с данными, распределенными по каким-либо закономерностям.
Как проверить, что распределение нормальное:
1. Графический метод. Визуальная оценка по гистограмме частот. Быстрый, но грубый метод оценки.
2. Статистические методы: тесты Пирсона, Шапиро-Уилка, Колмогорова-Смирнова. Это точный метод, поэтому часто показывает ненормальное распределение.
3. Смешанный анализ. Построение QQ-плот графика и анализ корреляции истинного распределения данных и теоретического нормального распределения. Коэффициент корреляции более 0.95 говорит о близком к нормальному или нормальном распределении. Данный метод можно назвать оптимальным!
👍1
#базовыйуровень
😱 Выбросы (или Outliers) - значения переменных, которые выходят за рамки их привычного распределения в выборке. Один выброс может "сломать" все распределение и привести к проблемам при статистическом анализе. Причины выбросов различны. Это могут быть опечатки, артефакты данных, а также неклассические случаи. Выбросы, как правило, сильно плохо влияют на среднее значение и не трогают медиану. Поэтому выбросы - враг статистических методов, требующих нормального распределения данных.
Существуют 2 типа выбросов:
1. Стандартные - значения, выходящие за пределы 1.5 межквартильных размахов (разность между 1 и 3 квартилем). Их легко увидеть на бокс-плот диаграмме.
2. Экстремальные - значения, выходящие за пределы 99 процентиля
😱 Выбросы (или Outliers) - значения переменных, которые выходят за рамки их привычного распределения в выборке. Один выброс может "сломать" все распределение и привести к проблемам при статистическом анализе. Причины выбросов различны. Это могут быть опечатки, артефакты данных, а также неклассические случаи. Выбросы, как правило, сильно плохо влияют на среднее значение и не трогают медиану. Поэтому выбросы - враг статистических методов, требующих нормального распределения данных.
Существуют 2 типа выбросов:
1. Стандартные - значения, выходящие за пределы 1.5 межквартильных размахов (разность между 1 и 3 квартилем). Их легко увидеть на бокс-плот диаграмме.
2. Экстремальные - значения, выходящие за пределы 99 процентиля
👍1
#базовыйуровень
☝️ Любой анализ данных, независимо от научной гипотезы, сводится к одной или нескольким группам статистических решений. Вот они:
1. Распределение данных (описательная статистика)
2. Сравнение распределений
3. Взаимосвязь данных:
- корреляция
- регрессия (прогноз)
- классификация и кластеризация
При этом мы можем использовать:
1. Методы классической статистики
2. Методы байесовской статистики
3. Машинное обучение (Machine learning)
4. Глубокое обучение (Deep learning).
Методы 3 и 4 можно отнести к технологиям слабого искусственного интеллекта.
☝️ Любой анализ данных, независимо от научной гипотезы, сводится к одной или нескольким группам статистических решений. Вот они:
1. Распределение данных (описательная статистика)
2. Сравнение распределений
3. Взаимосвязь данных:
- корреляция
- регрессия (прогноз)
- классификация и кластеризация
При этом мы можем использовать:
1. Методы классической статистики
2. Методы байесовской статистики
3. Машинное обучение (Machine learning)
4. Глубокое обучение (Deep learning).
Методы 3 и 4 можно отнести к технологиям слабого искусственного интеллекта.
👍1
#базовыйуровень
Поговорим о t-тесте. Самый известный t-тест Стьюдента, предложен Уильямом Госсетом в 1917 году. Публикация вышла под псевдонимом "Студент" (инициатива Рональда Фишера, после того, как Госсет попросил Фишера не публиковать его настоящее имя). Короче запутанная история.
Тест Стьюдента предназначен для сравнения дисперсии двух независимых выборок (для зависимых наблюдений есть парный t-тест). По сути это одномерный однофакторный дисперсионный анализ.
✅ Условия применения:
Нормальное или близкое к нормальному распределение:
Равенство дисперсий - стандартные отклонения в сравниваемых группах примерно равны (проверяется отдельным тестом Фишера или Бартлетта).
❗ Если дисперсии не равны нужно использовать t-тест Уэлча (модифицированный тест Стьюдента). Можно всегда его применять без сравнения дисперсий.
Если распределение ненормальное:
1. Использовать непараметрические тесты
2. Исходя из центральной предельной теоремы при размере выборки более 30, условие нормальности для t-теста не является обязательным (не все сторонники данного подхода). Но выбросы лучше удалить в любом случае.
Поговорим о t-тесте. Самый известный t-тест Стьюдента, предложен Уильямом Госсетом в 1917 году. Публикация вышла под псевдонимом "Студент" (инициатива Рональда Фишера, после того, как Госсет попросил Фишера не публиковать его настоящее имя). Короче запутанная история.
Тест Стьюдента предназначен для сравнения дисперсии двух независимых выборок (для зависимых наблюдений есть парный t-тест). По сути это одномерный однофакторный дисперсионный анализ.
✅ Условия применения:
Нормальное или близкое к нормальному распределение:
Равенство дисперсий - стандартные отклонения в сравниваемых группах примерно равны (проверяется отдельным тестом Фишера или Бартлетта).
❗ Если дисперсии не равны нужно использовать t-тест Уэлча (модифицированный тест Стьюдента). Можно всегда его применять без сравнения дисперсий.
Если распределение ненормальное:
1. Использовать непараметрические тесты
2. Исходя из центральной предельной теоремы при размере выборки более 30, условие нормальности для t-теста не является обязательным (не все сторонники данного подхода). Но выбросы лучше удалить в любом случае.
👍1
#базовыйуровень
✍️ Про план научного исследования. Еще до начала сбора данных и их анализа любой исследователь должен составить план будущего исследования. Хороший план экономит время, силы и деньги, потраченные впустую.
Базовые принципы плана научного исследования:
1. Идея формализуется в научную гипотезу
2. Научная гипотеза определяет тип(ы) статистической задачи, которую предстоит решать
3. От типа статистической задачи и самой гипотезы зависят тип нужных данных и методы их анализа.
Проработайте все эти пункты заранее. Оцените возможности по сбору качественных данных в нужном количестве. Убедитесь, что владеете знаниями по применению необходимых методов статистического анализа или найдите того, кто вам в этом поможет.
Что может произойти, если у вас не будет плана научного исследования:
1. Ошибки в сборе данных, данные плохого качества
2. Неправильное применение методов статистического анализа
3. Неверные результаты и выводы
4. Большая трата времени и сил впустую
✍️ Про план научного исследования. Еще до начала сбора данных и их анализа любой исследователь должен составить план будущего исследования. Хороший план экономит время, силы и деньги, потраченные впустую.
Базовые принципы плана научного исследования:
1. Идея формализуется в научную гипотезу
2. Научная гипотеза определяет тип(ы) статистической задачи, которую предстоит решать
3. От типа статистической задачи и самой гипотезы зависят тип нужных данных и методы их анализа.
Проработайте все эти пункты заранее. Оцените возможности по сбору качественных данных в нужном количестве. Убедитесь, что владеете знаниями по применению необходимых методов статистического анализа или найдите того, кто вам в этом поможет.
Что может произойти, если у вас не будет плана научного исследования:
1. Ошибки в сборе данных, данные плохого качества
2. Неправильное применение методов статистического анализа
3. Неверные результаты и выводы
4. Большая трата времени и сил впустую
👍2
#базовыйуровень
✍️ Про ошибки I и II рода.
Ошибка I рода – ситуация, когда отвергнута истинная нулевая гипотеза (ложноположительный результат), фиксирование эффекта, где его нет (искусственное завышение чувствительности). Исследователь заявляет о статистически значимых отличиях, там, где их на самом деле нет. Вероятность ошибки I рода называется α и ее значение, как принято, должно быть ≤0.05.
Основные причины: нерепрезентативная случайная выборка, ошибки применения статистического теста.
Ошибка II рода – ситуация, когда отвергнута истинная альтернативная гипотеза (ложноотрицательный результат), отсутствие эффекта, там, где он есть (занижение чувствительности). Исследователь не находит статистически значимых отличий, где они есть. Вероятность ошибки II рода называется β, ее значение должно быть ≤0.2. Мощность статистического теста = 1-β.
Основные причины: низкая мощность статистического теста (например, из-за малого размера выборки), ошибки применения статистического теста.
✍️ Про ошибки I и II рода.
Ошибка I рода – ситуация, когда отвергнута истинная нулевая гипотеза (ложноположительный результат), фиксирование эффекта, где его нет (искусственное завышение чувствительности). Исследователь заявляет о статистически значимых отличиях, там, где их на самом деле нет. Вероятность ошибки I рода называется α и ее значение, как принято, должно быть ≤0.05.
Основные причины: нерепрезентативная случайная выборка, ошибки применения статистического теста.
Ошибка II рода – ситуация, когда отвергнута истинная альтернативная гипотеза (ложноотрицательный результат), отсутствие эффекта, там, где он есть (занижение чувствительности). Исследователь не находит статистически значимых отличий, где они есть. Вероятность ошибки II рода называется β, ее значение должно быть ≤0.2. Мощность статистического теста = 1-β.
Основные причины: низкая мощность статистического теста (например, из-за малого размера выборки), ошибки применения статистического теста.
👍1
#среднийуровень
Проблема множественных сравнений. Чем больше требуется проверок гипотез, тем выше риск ошибки 1 рода α = 1-0.95^m, m – число гипотез. Нужно вводить поправку, чтобы сравнивать p-уровень значимости с α, которое корректируется и становится <0.05.
Методы:
📌 Поправка Бонферрони: α / m, m – число проверяемых гипотез. Скорректированный уровень α един для всех гипотез, но при возрастании числа гипотез падает мощность статистического теста. Не рекомендуется применять при числе гипотез >7.
📌 Метод Холма-Бонферрони: α / (m + і - 1), m – число проверяемых гипотез; і – порядковый номер проверки гипотез. Скорректированный уровень α вычисляется поэтапно и гипотезы отвергаются тоже поэтапно.
📌 Метод Тьюки. Применяется только для дисперсионного анализа. Допущения метода: нормальное распределение и равенство дисперсий.
и др.
Поправки на множественные сравнения используются после получения первичных статистических результатов, если результат является статистически значимым (post hoc анализ).
Проблема множественных сравнений. Чем больше требуется проверок гипотез, тем выше риск ошибки 1 рода α = 1-0.95^m, m – число гипотез. Нужно вводить поправку, чтобы сравнивать p-уровень значимости с α, которое корректируется и становится <0.05.
Методы:
📌 Поправка Бонферрони: α / m, m – число проверяемых гипотез. Скорректированный уровень α един для всех гипотез, но при возрастании числа гипотез падает мощность статистического теста. Не рекомендуется применять при числе гипотез >7.
📌 Метод Холма-Бонферрони: α / (m + і - 1), m – число проверяемых гипотез; і – порядковый номер проверки гипотез. Скорректированный уровень α вычисляется поэтапно и гипотезы отвергаются тоже поэтапно.
📌 Метод Тьюки. Применяется только для дисперсионного анализа. Допущения метода: нормальное распределение и равенство дисперсий.
и др.
Поправки на множественные сравнения используются после получения первичных статистических результатов, если результат является статистически значимым (post hoc анализ).
👍1
#базовыйуровень
🧐 Про допущения статистических тестов. Любой статистический тест имеет допущения (assumptions) или условия для его применения. Если условия не соблюдены, тест не получится выполнить или его результаты будут неправильные. Допущения связаны с математической природой самого метода анализа данных. Каждый тест имеет свои допущения, которые нужно обязательно знать и соблюдать. Например, про допущения t-теста я писал выше. Некоторые допущения трудно выполнить, какими-то можно отчасти пренебрегать в зависимости от ситуации, принимая повышенные риски ошибок I и II рода.
Большинство обычных статистических программ не контролируют допущения тех тестов, что вы используете. Вы не получите предупреждение или совет о том, что результат может быть неверный. Не доверяйте им на 100%. Для проверки допущений некоторых методов анализа часто требуется выполнение других статистических тестов. Обо всем этом и много другом в наших следующих постах.
🧐 Про допущения статистических тестов. Любой статистический тест имеет допущения (assumptions) или условия для его применения. Если условия не соблюдены, тест не получится выполнить или его результаты будут неправильные. Допущения связаны с математической природой самого метода анализа данных. Каждый тест имеет свои допущения, которые нужно обязательно знать и соблюдать. Например, про допущения t-теста я писал выше. Некоторые допущения трудно выполнить, какими-то можно отчасти пренебрегать в зависимости от ситуации, принимая повышенные риски ошибок I и II рода.
Большинство обычных статистических программ не контролируют допущения тех тестов, что вы используете. Вы не получите предупреждение или совет о том, что результат может быть неверный. Не доверяйте им на 100%. Для проверки допущений некоторых методов анализа часто требуется выполнение других статистических тестов. Обо всем этом и много другом в наших следующих постах.
👍1
#среднийуровень
Как рассчитать отношение шансов (ОШ), если одна из сравниваемых долей равна 0? В случае сравнения двух долей, одна из которых равна 0%, рассчитать ОШ невозможно в связи с делением на 0. В этом случае необходимо к каждому значению в ячейке таблицы сопряженности добавить 0.5, что называется поправкой Холдейн-Анскомба (Энскомба).
Как рассчитать отношение шансов (ОШ), если одна из сравниваемых долей равна 0? В случае сравнения двух долей, одна из которых равна 0%, рассчитать ОШ невозможно в связи с делением на 0. В этом случае необходимо к каждому значению в ячейке таблицы сопряженности добавить 0.5, что называется поправкой Холдейн-Анскомба (Энскомба).