#базовыйуровень
Нормальное распределение - распределение данных, при котором ~95% их значений находятся в интервале ~ ±2х стандартных отклонений. Нормальное распределение - обязательное условие для некоторых параметрических тестов. Собственно тесты называются параметрическими, потому что они работают с данными, распределенными по каким-либо закономерностям.

Как проверить, что распределение нормальное:
1. Графический метод. Визуальная оценка по гистограмме частот. Быстрый, но грубый метод оценки.
2. Статистические методы: тесты Пирсона, Шапиро-Уилка, Колмогорова-Смирнова. Это точный метод, поэтому часто показывает ненормальное распределение.
3. Смешанный анализ. Построение QQ-плот графика и анализ корреляции истинного распределения данных и теоретического нормального распределения. Коэффициент корреляции более 0.95 говорит о близком к нормальному или нормальном распределении. Данный метод можно назвать оптимальным!

#базовыйуровень
😱 Выбросы (или Outliers) - значения переменных, которые выходят за рамки их привычного распределения в выборке. Один выброс может "сломать" все распределение и привести к проблемам при статистическом анализе. Причины выбросов различны. Это могут быть опечатки, артефакты данных, а также неклассические случаи. Выбросы, как правило, сильно плохо влияют на среднее значение и не трогают медиану. Поэтому выбросы - враг статистических методов, требующих нормального распределения данных.
Существуют 2 типа выбросов:
1. Стандартные - значения, выходящие за пределы 1.5 межквартильных размахов (разность между 1 и 3 квартилем). Их легко увидеть на бокс-плот диаграмме.
2. Экстремальные - значения, выходящие за пределы 99 процентиля

#базовыйуровень
☝️ Любой анализ данных, независимо от научной гипотезы, сводится к одной или нескольким группам статистических решений. Вот они:
1. Распределение данных (описательная статистика)
2. Сравнение распределений
3. Взаимосвязь данных:
- корреляция
- регрессия (прогноз)
- классификация и кластеризация

При этом мы можем использовать:
1. Методы классической статистики
2. Методы байесовской статистики
3. Машинное обучение (Machine learning)
4. Глубокое обучение (Deep learning).

Методы 3 и 4 можно отнести к технологиям слабого искусственного интеллекта.

#базовыйуровень
Поговорим о t-тесте. Самый известный t-тест Стьюдента, предложен Уильямом Госсетом в 1917 году. Публикация вышла под псевдонимом "Студент" (инициатива Рональда Фишера, после того, как Госсет попросил Фишера не публиковать его настоящее имя). Короче запутанная история.

Тест Стьюдента предназначен для сравнения дисперсии двух независимых выборок (для зависимых наблюдений есть парный t-тест). По сути это одномерный однофакторный дисперсионный анализ.

✅ Условия применения:
Нормальное или близкое к нормальному распределение:
Равенство дисперсий - стандартные отклонения в сравниваемых группах примерно равны (проверяется отдельным тестом Фишера или Бартлетта).

❗ Если дисперсии не равны нужно использовать t-тест Уэлча (модифицированный тест Стьюдента). Можно всегда его применять без сравнения дисперсий.

Если распределение ненормальное:
1. Использовать непараметрические тесты
2. Исходя из центральной предельной теоремы при размере выборки более 30, условие нормальности для t-теста не является обязательным (не все сторонники данного подхода). Но выбросы лучше удалить в любом случае.

#базовыйуровень
✍️ Про план научного исследования. Еще до начала сбора данных и их анализа любой исследователь должен составить план будущего исследования. Хороший план экономит время, силы и деньги, потраченные впустую.
Базовые принципы плана научного исследования:
1. Идея формализуется в научную гипотезу
2. Научная гипотеза определяет тип(ы) статистической задачи, которую предстоит решать
3. От типа статистической задачи и самой гипотезы зависят тип нужных данных и методы их анализа.

Проработайте все эти пункты заранее. Оцените возможности по сбору качественных данных в нужном количестве. Убедитесь, что владеете знаниями по применению необходимых методов статистического анализа или найдите того, кто вам в этом поможет.

Что может произойти, если у вас не будет плана научного исследования:
1. Ошибки в сборе данных, данные плохого качества
2. Неправильное применение методов статистического анализа
3. Неверные результаты и выводы
4. Большая трата времени и сил впустую

#базовыйуровень
✍️ Про ошибки I и II рода.
Ошибка I рода – ситуация, когда отвергнута истинная нулевая гипотеза (ложноположительный результат), фиксирование эффекта, где его нет (искусственное завышение чувствительности). Исследователь заявляет о статистически значимых отличиях, там, где их на самом деле нет. Вероятность ошибки I рода называется α и ее значение, как принято, должно быть ≤0.05.
Основные причины: нерепрезентативная случайная выборка, ошибки применения статистического теста.

Ошибка II рода – ситуация, когда отвергнута истинная альтернативная гипотеза (ложноотрицательный результат), отсутствие эффекта, там, где он есть (занижение чувствительности). Исследователь не находит статистически значимых отличий, где они есть. Вероятность ошибки II рода называется β, ее значение должно быть ≤0.2. Мощность статистического теста = 1-β.
Основные причины: низкая мощность статистического теста (например, из-за малого размера выборки), ошибки применения статистического теста.

#среднийуровень
Проблема множественных сравнений. Чем больше требуется проверок гипотез, тем выше риск ошибки 1 рода α = 1-0.95^m, m – число гипотез. Нужно вводить поправку, чтобы сравнивать p-уровень значимости с α, которое корректируется и становится <0.05.

Методы:
📌 Поправка Бонферрони: α / m, m – число проверяемых гипотез. Скорректированный уровень α един для всех гипотез, но при возрастании числа гипотез падает мощность статистического теста. Не рекомендуется применять при числе гипотез >7.

📌 Метод Холма-Бонферрони: α / (m + і - 1), m – число проверяемых гипотез; і – порядковый номер проверки гипотез. Скорректированный уровень α вычисляется поэтапно и гипотезы отвергаются тоже поэтапно.

📌 Метод Тьюки. Применяется только для дисперсионного анализа. Допущения метода: нормальное распределение и равенство дисперсий.

и др.

Поправки на множественные сравнения используются после получения первичных статистических результатов, если результат является статистически значимым (post hoc анализ).

#базовыйуровень
🧐 Про допущения статистических тестов. Любой статистический тест имеет допущения (assumptions) или условия для его применения. Если условия не соблюдены, тест не получится выполнить или его результаты будут неправильные. Допущения связаны с математической природой самого метода анализа данных. Каждый тест имеет свои допущения, которые нужно обязательно знать и соблюдать. Например, про допущения t-теста я писал выше. Некоторые допущения трудно выполнить, какими-то можно отчасти пренебрегать в зависимости от ситуации, принимая повышенные риски ошибок I и II рода.
Большинство обычных статистических программ не контролируют допущения тех тестов, что вы используете. Вы не получите предупреждение или совет о том, что результат может быть неверный. Не доверяйте им на 100%. Для проверки допущений некоторых методов анализа часто требуется выполнение других статистических тестов. Обо всем этом и много другом в наших следующих постах.

#среднийуровень
Как рассчитать отношение шансов (ОШ), если одна из сравниваемых долей равна 0? В случае сравнения двух долей, одна из которых равна 0%, рассчитать ОШ невозможно в связи с делением на 0. В этом случае необходимо к каждому значению в ячейке таблицы сопряженности добавить 0.5, что называется поправкой Холдейн-Анскомба (Энскомба).

#базовыйуровень
Самая простая из статистических задач - анализ распределения данных. Метод будет зависеть от типа данных. Ниже основные методы, которые вы можете применять:
Количественная (дискретная или непрерывная) переменная
Графические методы: бокс-плот диаграмма, гистограмма частот и др. диаграммы
Описательная статистика: средняя ± стандартное отклонение (нормальное распределение), медиана + квартили (ненормальное распределение)

Ранговая (порядковая) или категориальная переменная
Графические методы: cтолбиковая диаграмма, круговая диаграмма и др.
Описательная статистика: частота в %

Время до события (time-to-event)
Графические методы: кривая Каплана-Мейера
Описательная статистика: медиана (например, медиана выживаемости), кумулятивная инцидентность, вероятность исхода ко времени (например, 5-летняя выживаемость)

#продвинутыйуровень
Не занимайтесь дихотоманией!
Дихотомания – использование дихотомии (искусственная категоризация, создание порогов) у количественной переменной. Примеры: вычисление порога (cut-of-point) у ковариаты перед моделированием, создание пороговой ROC-модели

Проблемы дихотомии:
📌 Точки отсечения (пороги), найденные в одном наборе данных, не повторяются в других наборах.
📌 Любой вычисленный порог будет иметь интервал неопределенности, который тем выше, чем меньше размер выборки в эксперименте. Это серьезная проблема интерпретации. Порог генеральной совокупности – неизвестная величина. Точки отсечки произвольны и ими можно манипулировать.
📌 Порог противоречит принятию оптимальных решений, нужна функция непрерывных значений (например, вероятность).
Фиктивные интервалы расходуют степени свободы, что снижает мощность теста и точность отношения шансов / рисков. Как будто размер выборки падает ~ на 30%. Дихотомизация предиктора требует от исследователя добавления нового предиктора, чтобы компенсировать потерянную информацию.
📌 Разделение пациентов на 2 группы с предполагаемыми одинаковыми рисками внутри этих интервалов не соответствует действительности и сильно упрощает реальную картину. Происходит завышение ошибки I рода и переоценка влияния фактора.

Когда речь заходит о порогах в прогностических моделях ☝️

#среднийуровень
Про дисперсионный анализ.

ANOVA. Сравнение дисперсий 1 количественной переменной в N (>=2) группах. Пример: уровень гемоглобина в разных возрастных группах. При N=2, ANOVA = тест Стьюдента.

ANCOVA. Сравнение дисперсий 1 количественной переменной в N (>=2) группах при наличии классифицирующих ковариат. Пример: уровень гемоглобина в разных возрастных группах в зависимости от пола (пол - ковариата).

MANOVA. Сравнение дисперсий n (>1) количественных переменных в N (>=2) группах. Пример: уровень гемоглобина и тромбоцитов в разных возрастных группах.

MANCOVA. Сравнение дисперсий n (>1) количественных переменных в N (>=2) группах при наличии классифицирующих ковариат. Пример: уровень гемоглобина и тромбоцитов в разных возрастных группах в зависимости от пола (пол - ковариата).

Не забываем после анализа использовать поправку на множественные сравнения!

#среднийуровень
Про ROC-анализ.

ROC-кривая (результат ROC-анализа) - это дискриминационная функция, которая позволяет различать 2 класса между собой по значению одной количественной переменной. Таким образом ROC-кривая решает задачу классификации.

Метрики ROC-кривой: AUC (площадь под кривой), cut-off point (порог), TPR (частота истинно положительных результатов) или чувствительность, FPR (частота ложно положительных результатов) или 1-специфичность.

AUC - мера способности модели различать классы. Это вероятностная характеристика! Например, мы строим классификатор для постановки диагноза сахарный диабет по уровню сахара в крови (так не нужно делать, просто пример). Тогда AUC = 0.8 означает, что с вероятностью 80% пациент будет правильно отнесен к диабетикам, если у него действительно диабет и к здоровым, если он здоров. Чем выше AUC, тем лучше модель различает пациентов с заболеванием и без заболевания. AUC = 0.5 означает, что модель не имеет возможности разделения классов, 1 - идеальный классификатор.

Порог - точка на ROC-кривой формализующая принятие решений по классификации. Например, точка Юдена - значение переменной, соответствующее точке на ROC кривой наиболее удаленной от линии бесполезного теста, в которой TPR и специфичность одновременно максимальны. Порог - это искусственная величина, она может быть любой и выбираться эмпирически. Величина AUC не зависит от значения порога.

Польза ROC-анализа сильно преувеличена, а его применение зачастую спекулятивно.
💁‍♂️ Когда его можно применять:
Сравнение дискриминационных способностей (эффективности) прогностических моделей между собой для выбора лучшей из них.

🙅‍♂️ Когда его не нужно применять (это ошибка):
1. Создание однофакторных моделей
2. Поиск порогов для дихотомии переменных перед включением их в модель
3. Поиск порогов вероятностей для превращения регрессионных моделей в классификаторы

О проблеме статистических программ 'out of box'.
Большинство широко известных программ для статистического анализа, которые не используют программирование, позволяют выполнить популярные статические тесты, но:

1. Статистические программы просто делают расчеты, как калькуляторы, однако, как правило, не проверяют качество и правильность этих расчетов исходя из допущений к статистическим тестам. Это уже теория и методология, которой должен владеть сам исследователь.

2. Набор инструментов многих статистических программ сильно ограничен даже для правильного выполнения таких распространённых тестов как логистическая регрессия или регрессионный анализ Кокса с учетом проверки всех допущений этих методов. Даже расчет Хи2 в некоторых программах выполняется без поправки Йетса в случае малых размеров выборок без каких-либо предупреждений.

3. Коробочные программы для статистического анализа, как правило, не предназначены для проведения серьезных научных исследований, математического и прогнозного моделирования.

4. Коробочные статистические программы не позволяют заниматься разработками в области машинного обучения.

Ниже представлены инструменты для анализа данных в порядке снижения их профессиональной значимости:
- R, Phyton, SAS, Stata, MatLab
- SPSS, Statisitca, MedCalc
- Другие ...

#базовыйуровень
Про допущение к парному t-тесту Стьюдента.
☝ Если вы сравниваете средние двух зависимых выборок (например, значение лабораторного показателя до и после лечения у одних и тех же пациентов) и используете для этого парный t-критерий Стьюдента, то главным условием применения этого теста будет нормальное распределение РАЗНОСТЕЙ между индивидуальными значениями парных выборок (до и после). При этом сами выборки могут не иметь нормального распределения.

#продвинутыйуровень
Почему при сравнении выборок более 30 наблюдений тестом Стьюдента можно пренебречь допущением о нормальном распределении?
Любая наша выборка - это случайная выборка из генеральной совокупности (популяции). Тест Стьюдента позволяет сравнить средние двух независимых между собой выборок. Исторически сложившимся условием (допущением) для выполнения t-теста Стьюдента, как и теста Уэлча является нормальное распределение выборки. Тем самым мы предполагаем, что выборка получена из генеральной совокупности с нормальным распределением. Но! Сам Ульям Госсет (Стьюдент) в своей статье писал, что на малых выборках форму распределения понять сложно, поэтому предполагает что лучше считать его нормальным. Сегодня именно это предположение и следует проверять в тесте на нормальность распределения, но только при малых выборках. А какие выборки считать малыми, а какие нет? Госсет использует формулу для доверительного интервала выборочного среднего (из центральной предельной теоремы), и ничего не говорит, что выборка обязательно должна быть из нормального распределения генеральной совокупности. Есть версия, что условие нормального распределения ошибочно появилось из-за проблем с переводом оригинального источника. Согласно центральной предельной теореме (ЦПТ) распределение средних достаточно большого числа выборок будет нормальным, а именно распределение средних, а не самих выборок, и должно быть нормальным для t-теста. Другими словами, если мы начнем случайным образом брать новые выборки из генеральной совокупности, то распределение средних множества выборок будет приближаться к нормальному, тем сильнее, чем больше по размерам сами выборки (так работает теория вероятности, лежащая в основе ЦПТ). Сам Стьюдент в своей статье брал 3000 измерений пальцев преступников. Далее делил их на 750 выборок по 4 элемента (!), внутри каждой выборки считал среднее и смотрел, как эти 750 значений распределены вокруг реального среднего (по всем 3000 измерениям). Самого автора теста Стьюдента не смущали такие маленькие размеры выборок. Так в каких по размеру выборках распределение выборочного среднего становится похожим на нормальное? Однозначного ответа нет, но при размере выборки ~30 и более распределение средних практически всегда будет близко к нормальному, что и удовлетворяет истинному условию применения t-теста.

#среднийуровень
Про минусы теста Манна-Уитни

U-критерий Манна-Уитни - ранговый непараметрический (семипараметрический) тест сравнения двух независимых выборок, который выполняется при отсутствии допущений к выполнению параметрических тестов. В случае зависимых выборок используется W критерий Уилкоксона.

Проблемы теста:
☹ Тест Манна-Уитни не сравнивает медианы или средние, он сравнивает условные ранги! Это сильно затрудняет практическую интерпретацию результатов теста. Максимум мы можем говорить о статистически значимых отличиях между двумя выборками без уточнения, в чем конкретно эти отличия состоят.
☹ Тест Манна-Уитни менее мощный, чем t-тест при распределениях близких к нормальному. Другими словами чуть выше риск ошибки II рода.
☹ При большом числе повторяющихся значений в выборке возрастает ошибка I рода.
☹ Ранговый тест Манна-Уитни нивелирует влияние выбросов. Это хорошо, если выбросы случайны. Но если выброс - закономерная особенность данных, повышается риск получить неверный результат и сделать неправильный вывод.

#базовыйуровень #ИИ

Про искусственный интеллект (ИИ)
📌 Искусственный интеллект — название области исследований и науки, также как, например, медицина. Я работаю в области ИИ = Я работаю в медицине.
📌 Машинное обучение — один из разделов ИИ. Я специалист в области машинного обучения = Я хирург.
📌 Нейронные сети — один из видов машинного обучения. Я создаю нейросетевые модели = Я кардиохирург.
📌 Глубокое обучение (Deep learning) — архитектура нейросетей, один из подходов к их построению и обучению. Я занимаюсь моделями глубокого обучения = Я специализируюсь на аортокоронарном шунтировании.