О проблеме статистических программ 'out of box'.
Большинство широко известных программ для статистического анализа, которые не используют программирование, позволяют выполнить популярные статические тесты, но:
1. Статистические программы просто делают расчеты, как калькуляторы, однако, как правило, не проверяют качество и правильность этих расчетов исходя из допущений к статистическим тестам. Это уже теория и методология, которой должен владеть сам исследователь.
2. Набор инструментов многих статистических программ сильно ограничен даже для правильного выполнения таких распространённых тестов как логистическая регрессия или регрессионный анализ Кокса с учетом проверки всех допущений этих методов. Даже расчет Хи2 в некоторых программах выполняется без поправки Йетса в случае малых размеров выборок без каких-либо предупреждений.
Большинство широко известных программ для статистического анализа, которые не используют программирование, позволяют выполнить популярные статические тесты, но:
1. Статистические программы просто делают расчеты, как калькуляторы, однако, как правило, не проверяют качество и правильность этих расчетов исходя из допущений к статистическим тестам. Это уже теория и методология, которой должен владеть сам исследователь.
2. Набор инструментов многих статистических программ сильно ограничен даже для правильного выполнения таких распространённых тестов как логистическая регрессия или регрессионный анализ Кокса с учетом проверки всех допущений этих методов. Даже расчет Хи2 в некоторых программах выполняется без поправки Йетса в случае малых размеров выборок без каких-либо предупреждений.
👍1
3. Коробочные программы для статистического анализа, как правило, не предназначены для проведения серьезных научных исследований, математического и прогнозного моделирования.
4. Коробочные статистические программы не позволяют заниматься разработками в области машинного обучения.
Ниже представлены инструменты для анализа данных в порядке снижения их профессиональной значимости:
- R, Phyton, SAS, Stata, MatLab
- SPSS, Statisitca, MedCalc
- Другие ...
4. Коробочные статистические программы не позволяют заниматься разработками в области машинного обучения.
Ниже представлены инструменты для анализа данных в порядке снижения их профессиональной значимости:
- R, Phyton, SAS, Stata, MatLab
- SPSS, Statisitca, MedCalc
- Другие ...
👍1
#базовыйуровень
Про допущение к парному t-тесту Стьюдента.
☝ Если вы сравниваете средние двух зависимых выборок (например, значение лабораторного показателя до и после лечения у одних и тех же пациентов) и используете для этого парный t-критерий Стьюдента, то главным условием применения этого теста будет нормальное распределение РАЗНОСТЕЙ между индивидуальными значениями парных выборок (до и после). При этом сами выборки могут не иметь нормального распределения.
Про допущение к парному t-тесту Стьюдента.
☝ Если вы сравниваете средние двух зависимых выборок (например, значение лабораторного показателя до и после лечения у одних и тех же пациентов) и используете для этого парный t-критерий Стьюдента, то главным условием применения этого теста будет нормальное распределение РАЗНОСТЕЙ между индивидуальными значениями парных выборок (до и после). При этом сами выборки могут не иметь нормального распределения.
👍2🔥1
#продвинутыйуровень
Почему при сравнении выборок более 30 наблюдений тестом Стьюдента можно пренебречь допущением о нормальном распределении?
Любая наша выборка - это случайная выборка из генеральной совокупности (популяции). Тест Стьюдента позволяет сравнить средние двух независимых между собой выборок. Исторически сложившимся условием (допущением) для выполнения t-теста Стьюдента, как и теста Уэлча является нормальное распределение выборки. Тем самым мы предполагаем, что выборка получена из генеральной совокупности с нормальным распределением. Но! Сам Ульям Госсет (Стьюдент) в своей статье писал, что на малых выборках форму распределения понять сложно, поэтому предполагает что лучше считать его нормальным. Сегодня именно это предположение и следует проверять в тесте на нормальность распределения, но только при малых выборках. А какие выборки считать малыми, а какие нет? Госсет использует формулу для доверительного интервала выборочного среднего (из центральной предельной теоремы), и ничего не говорит, что выборка обязательно должна быть из нормального распределения генеральной совокупности. Есть версия, что условие нормального распределения ошибочно появилось из-за проблем с переводом оригинального источника. Согласно центральной предельной теореме (ЦПТ) распределение средних достаточно большого числа выборок будет нормальным, а именно распределение средних, а не самих выборок, и должно быть нормальным для t-теста. Другими словами, если мы начнем случайным образом брать новые выборки из генеральной совокупности, то распределение средних множества выборок будет приближаться к нормальному, тем сильнее, чем больше по размерам сами выборки (так работает теория вероятности, лежащая в основе ЦПТ). Сам Стьюдент в своей статье брал 3000 измерений пальцев преступников. Далее делил их на 750 выборок по 4 элемента (!), внутри каждой выборки считал среднее и смотрел, как эти 750 значений распределены вокруг реального среднего (по всем 3000 измерениям). Самого автора теста Стьюдента не смущали такие маленькие размеры выборок. Так в каких по размеру выборках распределение выборочного среднего становится похожим на нормальное? Однозначного ответа нет, но при размере выборки ~30 и более распределение средних практически всегда будет близко к нормальному, что и удовлетворяет истинному условию применения t-теста.
Почему при сравнении выборок более 30 наблюдений тестом Стьюдента можно пренебречь допущением о нормальном распределении?
Любая наша выборка - это случайная выборка из генеральной совокупности (популяции). Тест Стьюдента позволяет сравнить средние двух независимых между собой выборок. Исторически сложившимся условием (допущением) для выполнения t-теста Стьюдента, как и теста Уэлча является нормальное распределение выборки. Тем самым мы предполагаем, что выборка получена из генеральной совокупности с нормальным распределением. Но! Сам Ульям Госсет (Стьюдент) в своей статье писал, что на малых выборках форму распределения понять сложно, поэтому предполагает что лучше считать его нормальным. Сегодня именно это предположение и следует проверять в тесте на нормальность распределения, но только при малых выборках. А какие выборки считать малыми, а какие нет? Госсет использует формулу для доверительного интервала выборочного среднего (из центральной предельной теоремы), и ничего не говорит, что выборка обязательно должна быть из нормального распределения генеральной совокупности. Есть версия, что условие нормального распределения ошибочно появилось из-за проблем с переводом оригинального источника. Согласно центральной предельной теореме (ЦПТ) распределение средних достаточно большого числа выборок будет нормальным, а именно распределение средних, а не самих выборок, и должно быть нормальным для t-теста. Другими словами, если мы начнем случайным образом брать новые выборки из генеральной совокупности, то распределение средних множества выборок будет приближаться к нормальному, тем сильнее, чем больше по размерам сами выборки (так работает теория вероятности, лежащая в основе ЦПТ). Сам Стьюдент в своей статье брал 3000 измерений пальцев преступников. Далее делил их на 750 выборок по 4 элемента (!), внутри каждой выборки считал среднее и смотрел, как эти 750 значений распределены вокруг реального среднего (по всем 3000 измерениям). Самого автора теста Стьюдента не смущали такие маленькие размеры выборок. Так в каких по размеру выборках распределение выборочного среднего становится похожим на нормальное? Однозначного ответа нет, но при размере выборки ~30 и более распределение средних практически всегда будет близко к нормальному, что и удовлетворяет истинному условию применения t-теста.
👍2
#среднийуровень
Про минусы теста Манна-Уитни
U-критерий Манна-Уитни - ранговый непараметрический (семипараметрический) тест сравнения двух независимых выборок, который выполняется при отсутствии допущений к выполнению параметрических тестов. В случае зависимых выборок используется W критерий Уилкоксона.
Проблемы теста:
☹ Тест Манна-Уитни не сравнивает медианы или средние, он сравнивает условные ранги! Это сильно затрудняет практическую интерпретацию результатов теста. Максимум мы можем говорить о статистически значимых отличиях между двумя выборками без уточнения, в чем конкретно эти отличия состоят.
☹ Тест Манна-Уитни менее мощный, чем t-тест при распределениях близких к нормальному. Другими словами чуть выше риск ошибки II рода.
☹ При большом числе повторяющихся значений в выборке возрастает ошибка I рода.
☹ Ранговый тест Манна-Уитни нивелирует влияние выбросов. Это хорошо, если выбросы случайны. Но если выброс - закономерная особенность данных, повышается риск получить неверный результат и сделать неправильный вывод.
Про минусы теста Манна-Уитни
U-критерий Манна-Уитни - ранговый непараметрический (семипараметрический) тест сравнения двух независимых выборок, который выполняется при отсутствии допущений к выполнению параметрических тестов. В случае зависимых выборок используется W критерий Уилкоксона.
Проблемы теста:
☹ Тест Манна-Уитни не сравнивает медианы или средние, он сравнивает условные ранги! Это сильно затрудняет практическую интерпретацию результатов теста. Максимум мы можем говорить о статистически значимых отличиях между двумя выборками без уточнения, в чем конкретно эти отличия состоят.
☹ Тест Манна-Уитни менее мощный, чем t-тест при распределениях близких к нормальному. Другими словами чуть выше риск ошибки II рода.
☹ При большом числе повторяющихся значений в выборке возрастает ошибка I рода.
☹ Ранговый тест Манна-Уитни нивелирует влияние выбросов. Это хорошо, если выбросы случайны. Но если выброс - закономерная особенность данных, повышается риск получить неверный результат и сделать неправильный вывод.
👍1
#базовыйуровень #ИИ
Про искусственный интеллект (ИИ)
📌 Искусственный интеллект — название области исследований и науки, также как, например, медицина. Я работаю в области ИИ = Я работаю в медицине.
📌 Машинное обучение — один из разделов ИИ. Я специалист в области машинного обучения = Я хирург.
📌 Нейронные сети — один из видов машинного обучения. Я создаю нейросетевые модели = Я кардиохирург.
📌 Глубокое обучение (Deep learning) — архитектура нейросетей, один из подходов к их построению и обучению. Я занимаюсь моделями глубокого обучения = Я специализируюсь на аортокоронарном шунтировании.
Про искусственный интеллект (ИИ)
📌 Искусственный интеллект — название области исследований и науки, также как, например, медицина. Я работаю в области ИИ = Я работаю в медицине.
📌 Машинное обучение — один из разделов ИИ. Я специалист в области машинного обучения = Я хирург.
📌 Нейронные сети — один из видов машинного обучения. Я создаю нейросетевые модели = Я кардиохирург.
📌 Глубокое обучение (Deep learning) — архитектура нейросетей, один из подходов к их построению и обучению. Я занимаюсь моделями глубокого обучения = Я специализируюсь на аортокоронарном шунтировании.
👍2
#среднийуровень
Про размер выборки при логистической регрессии. Эмпирический подход.
🙅♂️ Если кратко, то такой способ неэффективный и его не стоит использовать!
Правило большого пальца (англ. The rule of thumb) – эмпирический подход, позволяющий получить приблизительный результат минимального размера выборки. Часто используемое эмпирическое правило состоит в том, чтобы обеспечить не менее 10 событий изучаемого исхода на одну переменную, которая включается в окончательную модель. Если переменная имеет 3 и более категории (параметра), то число событий должно рассчитываться на количество этих категорий минус 1. Поэтому следует использовать показатель EPP – Events per predictor, а не число событий на одну переменную (EPV – Events per variable). Некоторые авторы описывают ситуации, когда требуется менее 10 EPP, другие – увеличивают минимальный порог до 15 или 50 EPP. Проблема заключается в том, что любое эмпирическое правило является слишком упрощенным решением, а требуемое количество пациентов в исследовании будет зависеть от многих сложных аспектов, в частности частоты самого исхода, распределении и значимости предикторов, количества событий для каждой категории переменных. В рамках эмпирического подхода также используют формулы N=10*k/P и N=100+50*k, где N – минимальный размер выборки, k – количество независимых переменных в финальной модели, P – частота изучаемого события.
💁♂️ На самом деле в рамках создания прогностических моделей объемы выборок должны быть в разы больше, о чем мы поговорим в следующий раз. Зачастую исследователь сталкивается с дефицитом имеющихся данных. В этом случае одним из вариантов может являться синтез репрезентативных искусственных данных. Подробнее можно ознакомиться здесь: http://dataclone.ru
Про размер выборки при логистической регрессии. Эмпирический подход.
🙅♂️ Если кратко, то такой способ неэффективный и его не стоит использовать!
Правило большого пальца (англ. The rule of thumb) – эмпирический подход, позволяющий получить приблизительный результат минимального размера выборки. Часто используемое эмпирическое правило состоит в том, чтобы обеспечить не менее 10 событий изучаемого исхода на одну переменную, которая включается в окончательную модель. Если переменная имеет 3 и более категории (параметра), то число событий должно рассчитываться на количество этих категорий минус 1. Поэтому следует использовать показатель EPP – Events per predictor, а не число событий на одну переменную (EPV – Events per variable). Некоторые авторы описывают ситуации, когда требуется менее 10 EPP, другие – увеличивают минимальный порог до 15 или 50 EPP. Проблема заключается в том, что любое эмпирическое правило является слишком упрощенным решением, а требуемое количество пациентов в исследовании будет зависеть от многих сложных аспектов, в частности частоты самого исхода, распределении и значимости предикторов, количества событий для каждой категории переменных. В рамках эмпирического подхода также используют формулы N=10*k/P и N=100+50*k, где N – минимальный размер выборки, k – количество независимых переменных в финальной модели, P – частота изучаемого события.
💁♂️ На самом деле в рамках создания прогностических моделей объемы выборок должны быть в разы больше, о чем мы поговорим в следующий раз. Зачастую исследователь сталкивается с дефицитом имеющихся данных. В этом случае одним из вариантов может являться синтез репрезентативных искусственных данных. Подробнее можно ознакомиться здесь: http://dataclone.ru
🔥2
статИИстик pinned «#среднийуровень Про размер выборки при логистической регрессии. Эмпирический подход. 🙅♂️ Если кратко, то такой способ неэффективный и его не стоит использовать! Правило большого пальца (англ. The rule of thumb) – эмпирический подход, позволяющий…»
#прогноз
Про виды медицинских прогностических моделей
По назначению:
1. Диагностические (нет горизонта прогнозирования)
2. Предиктивные (прогноз события в рамках временного горизонта прогнозирования, от часов до лет)
По виду результата:
1. Классификаторы (классифицируют пациентов на классы по конечному результату)
- разные методы, использующие пороговые значения
2. Регрессоры (сообщают персональный прогноз в виде вероятности или абсолютного значения)
- регрессия Кокса (прогноз времени до события)
- линейная регрессия (прогноз количественного исхода)
- логистическая регрессия (прогноз категориального исхода)
- методы машинного обучения (любые виды исходов)
Про виды медицинских прогностических моделей
По назначению:
1. Диагностические (нет горизонта прогнозирования)
2. Предиктивные (прогноз события в рамках временного горизонта прогнозирования, от часов до лет)
По виду результата:
1. Классификаторы (классифицируют пациентов на классы по конечному результату)
- разные методы, использующие пороговые значения
2. Регрессоры (сообщают персональный прогноз в виде вероятности или абсолютного значения)
- регрессия Кокса (прогноз времени до события)
- линейная регрессия (прогноз количественного исхода)
- логистическая регрессия (прогноз категориального исхода)
- методы машинного обучения (любые виды исходов)
👍1
#среднийуровень
Про критерий Кохрана-Мантеля-Хензеля
В многоцентровых клинических исследованиях (КИ) в качестве теста сравнения ответов на лечение между двумя группами (например, лекарство - плацебо) используют критерий Хи2 Кохрана-Мантеля-Хензеля. Почему не обычный Хи2 Пирсона? В ходе многоцентровых КИ в результате получают набор из К таблиц сопряженности размером 2 х 2, где К - это количество участвовавших в исследовании медицинских центров. По разным причинам можно ожидать, что результаты эксперимента будут несколько варьировать от центра к центру. Соответственно, "медицинский центр" становится важной ковариатой, действие которой мы должны учесть при установлении эффективности испытываемого нового препарата. Таким образом:
✅ классический Хи2 Пирсона применяется для таблиц сопряженности 2 х 2
✅ критерий Хи2 Кохрана-Мантеля-Хензеля применяется для таблиц сопряженности 2 х 2 х K
Про критерий Кохрана-Мантеля-Хензеля
В многоцентровых клинических исследованиях (КИ) в качестве теста сравнения ответов на лечение между двумя группами (например, лекарство - плацебо) используют критерий Хи2 Кохрана-Мантеля-Хензеля. Почему не обычный Хи2 Пирсона? В ходе многоцентровых КИ в результате получают набор из К таблиц сопряженности размером 2 х 2, где К - это количество участвовавших в исследовании медицинских центров. По разным причинам можно ожидать, что результаты эксперимента будут несколько варьировать от центра к центру. Соответственно, "медицинский центр" становится важной ковариатой, действие которой мы должны учесть при установлении эффективности испытываемого нового препарата. Таким образом:
✅ классический Хи2 Пирсона применяется для таблиц сопряженности 2 х 2
✅ критерий Хи2 Кохрана-Мантеля-Хензеля применяется для таблиц сопряженности 2 х 2 х K
#базовыйуровень
Про медицинскую прогнозную аналитику
Медицинская прогнозная аналитика – область научных исследований и класс методов анализа данных, направленных на прогнозирование будущих событий, связанных с течением заболевания, с целью принятия оптимальных решений.
Включает в себя 4 основных раздела (задачи):
1. Изучение общего прогноза. Например, выживаемость больных с тем или иным заболеванием в разных странах.
2. Изучение прогностических факторов. Анализ факторов, влияющих на прогноз того или иного исхода в популяции (однофакторный и многофакторный анализ).
3. Изучение предикторов ответа на терапию. Анализ факторов, влияющих на эффективность (ответ) на терапию.
4. Прогностические модели. Прогностическая модель - комбинация многих факторов для прогноза ПЕРСОНАЛЬНОГО риска того или иного исхода.
Для решения каждой из задач могут использоваться схожие или разные методы анализа данных. Требования к размерам выборок также могут отличаться.
Про медицинскую прогнозную аналитику
Медицинская прогнозная аналитика – область научных исследований и класс методов анализа данных, направленных на прогнозирование будущих событий, связанных с течением заболевания, с целью принятия оптимальных решений.
Включает в себя 4 основных раздела (задачи):
1. Изучение общего прогноза. Например, выживаемость больных с тем или иным заболеванием в разных странах.
2. Изучение прогностических факторов. Анализ факторов, влияющих на прогноз того или иного исхода в популяции (однофакторный и многофакторный анализ).
3. Изучение предикторов ответа на терапию. Анализ факторов, влияющих на эффективность (ответ) на терапию.
4. Прогностические модели. Прогностическая модель - комбинация многих факторов для прогноза ПЕРСОНАЛЬНОГО риска того или иного исхода.
Для решения каждой из задач могут использоваться схожие или разные методы анализа данных. Требования к размерам выборок также могут отличаться.
#среднийуровень
Допущения к бинарной логистической регрессии
Бинарная логистическая регрессия используется для поиска предикторов (факторов прогноза) через отношение шансов и/или создания прогностической модели.
Допущения метода:
✅ Зависимая переменная – бинарная!
✅ Наблюдения должны быть независимыми друг от друга (случайная выборка)
✅ Достаточный размер выборки
✅ Отсутствие экстремальных выбросов
✅ Отсутствие полного и квазиполного разделения данных
✅ Отсутствие мультиколинеарности ковариат
✅ Линейность независимых переменных и логарифма шансов (тест Бокса-Тидвелла)
⚠ Чем больше пренебрежений к допущениям метода, тем выше вероятность неверных результатов!
Уравнение в общем виде: logit (P) = b0 + b1*X1 + … bn*Xn
b – коэффициент регрессии, b0 - интерсепт
X – независимая переменная
logit(P) = log (P/1-P), натуральный логарифм шансов
P (вероятность) = OR/1+OR, OR – отношение шансов exp^(b*X)
Допущения к бинарной логистической регрессии
Бинарная логистическая регрессия используется для поиска предикторов (факторов прогноза) через отношение шансов и/или создания прогностической модели.
Допущения метода:
✅ Зависимая переменная – бинарная!
✅ Наблюдения должны быть независимыми друг от друга (случайная выборка)
✅ Достаточный размер выборки
✅ Отсутствие экстремальных выбросов
✅ Отсутствие полного и квазиполного разделения данных
✅ Отсутствие мультиколинеарности ковариат
✅ Линейность независимых переменных и логарифма шансов (тест Бокса-Тидвелла)
⚠ Чем больше пренебрежений к допущениям метода, тем выше вероятность неверных результатов!
Уравнение в общем виде: logit (P) = b0 + b1*X1 + … bn*Xn
b – коэффициент регрессии, b0 - интерсепт
X – независимая переменная
logit(P) = log (P/1-P), натуральный логарифм шансов
P (вероятность) = OR/1+OR, OR – отношение шансов exp^(b*X)
#среднийуровень
Про интерсепт в моделях регрессии
Интерсепт (или нулевой коэффициент) в моделях регрессии - значение прогнозируемой переменной Y при условии, что все ковариаты X=0. Если построить так называемую intercept only модель Y ~ 1 (без ковариат), то при линейной регрессии интерсепт будет равен среднему значению самой Y, а при логистической регрессии - натуральному логарифму шансов прогнозируемого исхода. Примеры:
✅ Линейная регрессия: Y (возраст) ~1, тогда Y = среднему значению возраста. Есть выборка пациентов n=239, средний возраст 52.7 лет. Строим модель Возраст ~ 1, тогда интерсепт = 52.7 лет.
✅ Логистическая регрессия: Y (диабет) ~ 1, тогда Y = log(OШ диабета), exp(Intercept) = отношению шансов исхода (диабет). Есть выборка пациентов n=239, из них диабет у 83. Строим модель Диабет ~ 1, тогда интерсепт = -0.631 или exp(-0.631) = 0.53 - отношение шансов (ОШ) болеть диабетом. Проверить легко (диабет у 83, нет диабета у 156), ОШ=83/156=0.53.
Вы можете легко это повторить в любой статистической программе.
Про интерсепт в моделях регрессии
Интерсепт (или нулевой коэффициент) в моделях регрессии - значение прогнозируемой переменной Y при условии, что все ковариаты X=0. Если построить так называемую intercept only модель Y ~ 1 (без ковариат), то при линейной регрессии интерсепт будет равен среднему значению самой Y, а при логистической регрессии - натуральному логарифму шансов прогнозируемого исхода. Примеры:
✅ Линейная регрессия: Y (возраст) ~1, тогда Y = среднему значению возраста. Есть выборка пациентов n=239, средний возраст 52.7 лет. Строим модель Возраст ~ 1, тогда интерсепт = 52.7 лет.
✅ Логистическая регрессия: Y (диабет) ~ 1, тогда Y = log(OШ диабета), exp(Intercept) = отношению шансов исхода (диабет). Есть выборка пациентов n=239, из них диабет у 83. Строим модель Диабет ~ 1, тогда интерсепт = -0.631 или exp(-0.631) = 0.53 - отношение шансов (ОШ) болеть диабетом. Проверить легко (диабет у 83, нет диабета у 156), ОШ=83/156=0.53.
Вы можете легко это повторить в любой статистической программе.
#среднийуровень
Кратко о тестах сравнения кривых Каплана-Мейера
📉📈 Анализ Каплана-Мейера используется для оценки функции выживания. Визуальное представление этой функции называется кривой Каплана-Мейера, и она показывает, какова вероятность события (например, смерти) в определенный интервал времени. Кривые выживаемости рисуются сверху вниз, из точки 1, когда 100% пациентов живы. Графики заболеваемости (инцидентности) рисуются снизу вверх, из точки 0, когда 0% пациентов имеют то или иное заболевание (осложнение). Часто в исследовании сравниваются 2 (и более) групп между собой.
Для этого применяются различные непараметрические тесты:
✅ Критерий логранк (logrank): сравнение непересекающихся между собой кривых выживаемости (заболеваемости)
✅ Критерий Гехана (Gehan) или критерий Уилкоксона (Wilcoxon): сравнение пересекающихся между собой кривых выживаемости (заболеваемости)
✅ Критерий Грея (Gray): кумулятивная функция инцидентности (анализ конкурирующих рисков)
✅ Hazard Ratio (отношение опасностей или рисков): сравнение кривых выживаемости (заболеваемости) при условии соблюдения допущений к регрессионному анализу Кокса
Кратко о тестах сравнения кривых Каплана-Мейера
📉📈 Анализ Каплана-Мейера используется для оценки функции выживания. Визуальное представление этой функции называется кривой Каплана-Мейера, и она показывает, какова вероятность события (например, смерти) в определенный интервал времени. Кривые выживаемости рисуются сверху вниз, из точки 1, когда 100% пациентов живы. Графики заболеваемости (инцидентности) рисуются снизу вверх, из точки 0, когда 0% пациентов имеют то или иное заболевание (осложнение). Часто в исследовании сравниваются 2 (и более) групп между собой.
Для этого применяются различные непараметрические тесты:
✅ Критерий логранк (logrank): сравнение непересекающихся между собой кривых выживаемости (заболеваемости)
✅ Критерий Гехана (Gehan) или критерий Уилкоксона (Wilcoxon): сравнение пересекающихся между собой кривых выживаемости (заболеваемости)
✅ Критерий Грея (Gray): кумулятивная функция инцидентности (анализ конкурирующих рисков)
✅ Hazard Ratio (отношение опасностей или рисков): сравнение кривых выживаемости (заболеваемости) при условии соблюдения допущений к регрессионному анализу Кокса
Некоторые мифы в статистике, о которых вы возможно слышали, но не знали, что это мифы
❌ p-уровень значимости = вероятности ошибки полученного результата
❌ Критерий Стьюдента следует применять только при нормальном распределении выборки
❌ Можно всегда использовать непараметрические методы статистики (например, Манна-Уитни), они ничем не хуже Стьюдента
❌ В модель логистической регрессии нужно включать только статистически значимые предикторы
❌ Перед многофакторным анализом нужно проводить однофакторный и выбирать предикторы на основании p<0.05
❌ Данные с пропущенными значениями следует удалять
❌ Размер выборки для модели, высчитанный с помощью эмпирических правил количества наблюдений на предиктор, является достаточным
❌ Количественные переменные нужно превращать в категориальные, например, с помощью ROC-анализа, перед моделированием
❌ Главным показателем эффективности модели является ее точность
❌ После построения модели, нужно найти порог для принятия решения
❌ Площадь под ROC-кривой = точности модели
❌ p-уровень значимости = вероятности ошибки полученного результата
❌ Критерий Стьюдента следует применять только при нормальном распределении выборки
❌ Можно всегда использовать непараметрические методы статистики (например, Манна-Уитни), они ничем не хуже Стьюдента
❌ В модель логистической регрессии нужно включать только статистически значимые предикторы
❌ Перед многофакторным анализом нужно проводить однофакторный и выбирать предикторы на основании p<0.05
❌ Данные с пропущенными значениями следует удалять
❌ Размер выборки для модели, высчитанный с помощью эмпирических правил количества наблюдений на предиктор, является достаточным
❌ Количественные переменные нужно превращать в категориальные, например, с помощью ROC-анализа, перед моделированием
❌ Главным показателем эффективности модели является ее точность
❌ После построения модели, нужно найти порог для принятия решения
❌ Площадь под ROC-кривой = точности модели
Методы выбора предикторов в модель
Нужно ли всегда производить селекцию предикторов перед построением модели? Скорее нет, чем да! Но если вы решили выбрать предикторы для своей модели, вот методы, которые вы можете использовать:
✅ Удаление высоко коррелирующих ковариат (КК Спирмена >0.75) - тест на мультиколинеарность
✅ Пошаговая регрессия (forward / backward stepwise) на основании p, AIC (информационный критерий Акаике) или BIC (байесовский информационный критерий).
✅ Машинное обучение ("случайный лес")
✅ Рекурсивное удаление признаков (RFE)
✅ Штрафные регрессии (гребневая, LASSO)
Методы, которые не стоит применять:
❌Описательная статистика (сравнение средних, Хи2)
❌Однофакторный анализ с p<0.05 или другим p
Нужно ли всегда производить селекцию предикторов перед построением модели? Скорее нет, чем да! Но если вы решили выбрать предикторы для своей модели, вот методы, которые вы можете использовать:
✅ Удаление высоко коррелирующих ковариат (КК Спирмена >0.75) - тест на мультиколинеарность
✅ Пошаговая регрессия (forward / backward stepwise) на основании p, AIC (информационный критерий Акаике) или BIC (байесовский информационный критерий).
✅ Машинное обучение ("случайный лес")
✅ Рекурсивное удаление признаков (RFE)
✅ Штрафные регрессии (гребневая, LASSO)
Методы, которые не стоит применять:
❌Описательная статистика (сравнение средних, Хи2)
❌Однофакторный анализ с p<0.05 или другим p
статИИстик
Методы выбора предикторов в модель Нужно ли всегда производить селекцию предикторов перед построением модели? Скорее нет, чем да! Но если вы решили выбрать предикторы для своей модели, вот методы, которые вы можете использовать: ✅ Удаление высоко коррелирующих…
Подробнее про выбор предикторов для модели логистической регрессии можно почитать в свежем номере журнала «Врач и информационные технологии»
✅ Хорошая статья о том, как делать модель логистической регрессии с подробным разбором этапов ее создания на русском языке. Описанные шаги создания и сама модель не идеальны, но дают общее представление в рамках существующих проблем и их решений: https://www.clinvest.ru/jour/article/view/613
#среднийуровень
Про вероятность тромбоза у онкологических больных
Представим, что в конкретной больнице у онкологических больных в среднем происходит 2 тромбоза в месяц (за ретроспективный период наблюдения). Тогда какова вероятность 4 тромбогенных осложнений в месяц? На помощь приходит распределение Пуассона.
Распределение Пуассона - распределение вероятности числа независимых друг от друга событий в течение определенного интервала времени. Распределение Пуассона описывает вероятность того, что событие произойдет k раз за заданный интервал времени. Если случайная величина X подчиняется распределению Пуассона, то вероятность того, что X = k, можно найти по формуле: P(X=k) = λ^k * e^-λ) / k!, где λ - среднее количество событий за определенный интервал времени, k - заданное число событий, e - константа (2.71828...).
Тогда можно подсчитать вероятность 4 тромбозов в месяц. P(X=4) = 2^4 * e^(-2) / 4! = 16 * 0.1353 / 24 = 0.09 (9%).
Доверительный интервал для 2 тромбозов будет равен 0.24-7.22 или от 0 до 7 тромбозов в месяц (с вероятностью 95%).
Таким же образом можно рассчитать кумулятивную вероятность (путем сложения вероятностей). Например, вероятность менее 4 тромбозов в месяц = 0,85, а более 4 = 0,05.
Про вероятность тромбоза у онкологических больных
Представим, что в конкретной больнице у онкологических больных в среднем происходит 2 тромбоза в месяц (за ретроспективный период наблюдения). Тогда какова вероятность 4 тромбогенных осложнений в месяц? На помощь приходит распределение Пуассона.
Распределение Пуассона - распределение вероятности числа независимых друг от друга событий в течение определенного интервала времени. Распределение Пуассона описывает вероятность того, что событие произойдет k раз за заданный интервал времени. Если случайная величина X подчиняется распределению Пуассона, то вероятность того, что X = k, можно найти по формуле: P(X=k) = λ^k * e^-λ) / k!, где λ - среднее количество событий за определенный интервал времени, k - заданное число событий, e - константа (2.71828...).
Тогда можно подсчитать вероятность 4 тромбозов в месяц. P(X=4) = 2^4 * e^(-2) / 4! = 16 * 0.1353 / 24 = 0.09 (9%).
Доверительный интервал для 2 тромбозов будет равен 0.24-7.22 или от 0 до 7 тромбозов в месяц (с вероятностью 95%).
Таким же образом можно рассчитать кумулятивную вероятность (путем сложения вероятностей). Например, вероятность менее 4 тромбозов в месяц = 0,85, а более 4 = 0,05.
👍1
#среднийуровень
Про вероятность тромбоза у онкологических больных-2
Представим, что известная частота тромбозов у онкологических больных в популяции составляет 5%. Тогда какова вероятность, что пролечив 100 пациентов, вы встретите только 1 пациента с таким осложнением и какова вероятность, что более чем у 1 пациента случится тромбоз? Ответы: ~3% и 96%. В основе этих расчетов лежит биномиальное распределение - самое популярное распределение в статистике.
Биномиальное распределение описывает вероятность исхода k раз в n биномиальных экспериментах. Биномиальный эксперимент - эксперимент, обладающий следующими четырьмя свойствами:
1. Эксперимент состоит из n повторных попыток
2. Каждое испытание имеет только два возможных исхода
3. Вероятность успеха, обозначаемая p, одинакова для каждого испытания
4. Каждое испытание является независимым
Наиболее очевидным примером биномиального эксперимента является подбрасывание монеты.
Если случайная величина X подчиняется биномиальному распределению, то вероятность того, что X = k, можно найти по следующей формуле: P(X=k) = nCk * p^k * (1-p)^(n-k), где
n - количество испытаний
k - количество исходов
p - вероятность исхода в испытании
nCk - общее количество k исходов в n испытаниях (используется формула числа сочетаний из комбинаторики).
Вернемся к тромбозам: n = числу пациентов (100), k = 1 пациенту с тромбозом p = 0.05 (частота тромбоза в популяции), nCk = 100.
P(X=k) = 100*0.05^1*0.95^99=0.03 (3%).
Кумулятивная вероятность (более 1 тромбоза) складывается из суммы вероятностей. Для расчета необходимо воспользоваться специальными калькуляторами или программированием.
Про вероятность тромбоза у онкологических больных-2
Представим, что известная частота тромбозов у онкологических больных в популяции составляет 5%. Тогда какова вероятность, что пролечив 100 пациентов, вы встретите только 1 пациента с таким осложнением и какова вероятность, что более чем у 1 пациента случится тромбоз? Ответы: ~3% и 96%. В основе этих расчетов лежит биномиальное распределение - самое популярное распределение в статистике.
Биномиальное распределение описывает вероятность исхода k раз в n биномиальных экспериментах. Биномиальный эксперимент - эксперимент, обладающий следующими четырьмя свойствами:
1. Эксперимент состоит из n повторных попыток
2. Каждое испытание имеет только два возможных исхода
3. Вероятность успеха, обозначаемая p, одинакова для каждого испытания
4. Каждое испытание является независимым
Наиболее очевидным примером биномиального эксперимента является подбрасывание монеты.
Если случайная величина X подчиняется биномиальному распределению, то вероятность того, что X = k, можно найти по следующей формуле: P(X=k) = nCk * p^k * (1-p)^(n-k), где
n - количество испытаний
k - количество исходов
p - вероятность исхода в испытании
nCk - общее количество k исходов в n испытаниях (используется формула числа сочетаний из комбинаторики).
Вернемся к тромбозам: n = числу пациентов (100), k = 1 пациенту с тромбозом p = 0.05 (частота тромбоза в популяции), nCk = 100.
P(X=k) = 100*0.05^1*0.95^99=0.03 (3%).
Кумулятивная вероятность (более 1 тромбоза) складывается из суммы вероятностей. Для расчета необходимо воспользоваться специальными калькуляторами или программированием.
👍1