#среднийуровень
Про ROC-анализ.
ROC-кривая (результат ROC-анализа) - это дискриминационная функция, которая позволяет различать 2 класса между собой по значению одной количественной переменной. Таким образом ROC-кривая решает задачу классификации.
Метрики ROC-кривой: AUC (площадь под кривой), cut-off point (порог), TPR (частота истинно положительных результатов) или чувствительность, FPR (частота ложно положительных результатов) или 1-специфичность.
AUC - мера способности модели различать классы. Это вероятностная характеристика! Например, мы строим классификатор для постановки диагноза сахарный диабет по уровню сахара в крови (так не нужно делать, просто пример). Тогда AUC = 0.8 означает, что с вероятностью 80% пациент будет правильно отнесен к диабетикам, если у него действительно диабет и к здоровым, если он здоров. Чем выше AUC, тем лучше модель различает пациентов с заболеванием и без заболевания. AUC = 0.5 означает, что модель не имеет возможности разделения классов, 1 - идеальный классификатор.
Порог - точка на ROC-кривой формализующая принятие решений по классификации. Например, точка Юдена - значение переменной, соответствующее точке на ROC кривой наиболее удаленной от линии бесполезного теста, в которой TPR и специфичность одновременно максимальны. Порог - это искусственная величина, она может быть любой и выбираться эмпирически. Величина AUC не зависит от значения порога.
Польза ROC-анализа сильно преувеличена, а его применение зачастую спекулятивно.
💁♂️ Когда его можно применять:
Сравнение дискриминационных способностей (эффективности) прогностических моделей между собой для выбора лучшей из них.
🙅♂️ Когда его не нужно применять (это ошибка):
1. Создание однофакторных моделей
2. Поиск порогов для дихотомии переменных перед включением их в модель
3. Поиск порогов вероятностей для превращения регрессионных моделей в классификаторы
Про ROC-анализ.
ROC-кривая (результат ROC-анализа) - это дискриминационная функция, которая позволяет различать 2 класса между собой по значению одной количественной переменной. Таким образом ROC-кривая решает задачу классификации.
Метрики ROC-кривой: AUC (площадь под кривой), cut-off point (порог), TPR (частота истинно положительных результатов) или чувствительность, FPR (частота ложно положительных результатов) или 1-специфичность.
AUC - мера способности модели различать классы. Это вероятностная характеристика! Например, мы строим классификатор для постановки диагноза сахарный диабет по уровню сахара в крови (так не нужно делать, просто пример). Тогда AUC = 0.8 означает, что с вероятностью 80% пациент будет правильно отнесен к диабетикам, если у него действительно диабет и к здоровым, если он здоров. Чем выше AUC, тем лучше модель различает пациентов с заболеванием и без заболевания. AUC = 0.5 означает, что модель не имеет возможности разделения классов, 1 - идеальный классификатор.
Порог - точка на ROC-кривой формализующая принятие решений по классификации. Например, точка Юдена - значение переменной, соответствующее точке на ROC кривой наиболее удаленной от линии бесполезного теста, в которой TPR и специфичность одновременно максимальны. Порог - это искусственная величина, она может быть любой и выбираться эмпирически. Величина AUC не зависит от значения порога.
Польза ROC-анализа сильно преувеличена, а его применение зачастую спекулятивно.
💁♂️ Когда его можно применять:
Сравнение дискриминационных способностей (эффективности) прогностических моделей между собой для выбора лучшей из них.
🙅♂️ Когда его не нужно применять (это ошибка):
1. Создание однофакторных моделей
2. Поиск порогов для дихотомии переменных перед включением их в модель
3. Поиск порогов вероятностей для превращения регрессионных моделей в классификаторы
👍1
О проблеме статистических программ 'out of box'.
Большинство широко известных программ для статистического анализа, которые не используют программирование, позволяют выполнить популярные статические тесты, но:
1. Статистические программы просто делают расчеты, как калькуляторы, однако, как правило, не проверяют качество и правильность этих расчетов исходя из допущений к статистическим тестам. Это уже теория и методология, которой должен владеть сам исследователь.
2. Набор инструментов многих статистических программ сильно ограничен даже для правильного выполнения таких распространённых тестов как логистическая регрессия или регрессионный анализ Кокса с учетом проверки всех допущений этих методов. Даже расчет Хи2 в некоторых программах выполняется без поправки Йетса в случае малых размеров выборок без каких-либо предупреждений.
Большинство широко известных программ для статистического анализа, которые не используют программирование, позволяют выполнить популярные статические тесты, но:
1. Статистические программы просто делают расчеты, как калькуляторы, однако, как правило, не проверяют качество и правильность этих расчетов исходя из допущений к статистическим тестам. Это уже теория и методология, которой должен владеть сам исследователь.
2. Набор инструментов многих статистических программ сильно ограничен даже для правильного выполнения таких распространённых тестов как логистическая регрессия или регрессионный анализ Кокса с учетом проверки всех допущений этих методов. Даже расчет Хи2 в некоторых программах выполняется без поправки Йетса в случае малых размеров выборок без каких-либо предупреждений.
👍1
3. Коробочные программы для статистического анализа, как правило, не предназначены для проведения серьезных научных исследований, математического и прогнозного моделирования.
4. Коробочные статистические программы не позволяют заниматься разработками в области машинного обучения.
Ниже представлены инструменты для анализа данных в порядке снижения их профессиональной значимости:
- R, Phyton, SAS, Stata, MatLab
- SPSS, Statisitca, MedCalc
- Другие ...
4. Коробочные статистические программы не позволяют заниматься разработками в области машинного обучения.
Ниже представлены инструменты для анализа данных в порядке снижения их профессиональной значимости:
- R, Phyton, SAS, Stata, MatLab
- SPSS, Statisitca, MedCalc
- Другие ...
👍1
#базовыйуровень
Про допущение к парному t-тесту Стьюдента.
☝ Если вы сравниваете средние двух зависимых выборок (например, значение лабораторного показателя до и после лечения у одних и тех же пациентов) и используете для этого парный t-критерий Стьюдента, то главным условием применения этого теста будет нормальное распределение РАЗНОСТЕЙ между индивидуальными значениями парных выборок (до и после). При этом сами выборки могут не иметь нормального распределения.
Про допущение к парному t-тесту Стьюдента.
☝ Если вы сравниваете средние двух зависимых выборок (например, значение лабораторного показателя до и после лечения у одних и тех же пациентов) и используете для этого парный t-критерий Стьюдента, то главным условием применения этого теста будет нормальное распределение РАЗНОСТЕЙ между индивидуальными значениями парных выборок (до и после). При этом сами выборки могут не иметь нормального распределения.
👍2🔥1
#продвинутыйуровень
Почему при сравнении выборок более 30 наблюдений тестом Стьюдента можно пренебречь допущением о нормальном распределении?
Любая наша выборка - это случайная выборка из генеральной совокупности (популяции). Тест Стьюдента позволяет сравнить средние двух независимых между собой выборок. Исторически сложившимся условием (допущением) для выполнения t-теста Стьюдента, как и теста Уэлча является нормальное распределение выборки. Тем самым мы предполагаем, что выборка получена из генеральной совокупности с нормальным распределением. Но! Сам Ульям Госсет (Стьюдент) в своей статье писал, что на малых выборках форму распределения понять сложно, поэтому предполагает что лучше считать его нормальным. Сегодня именно это предположение и следует проверять в тесте на нормальность распределения, но только при малых выборках. А какие выборки считать малыми, а какие нет? Госсет использует формулу для доверительного интервала выборочного среднего (из центральной предельной теоремы), и ничего не говорит, что выборка обязательно должна быть из нормального распределения генеральной совокупности. Есть версия, что условие нормального распределения ошибочно появилось из-за проблем с переводом оригинального источника. Согласно центральной предельной теореме (ЦПТ) распределение средних достаточно большого числа выборок будет нормальным, а именно распределение средних, а не самих выборок, и должно быть нормальным для t-теста. Другими словами, если мы начнем случайным образом брать новые выборки из генеральной совокупности, то распределение средних множества выборок будет приближаться к нормальному, тем сильнее, чем больше по размерам сами выборки (так работает теория вероятности, лежащая в основе ЦПТ). Сам Стьюдент в своей статье брал 3000 измерений пальцев преступников. Далее делил их на 750 выборок по 4 элемента (!), внутри каждой выборки считал среднее и смотрел, как эти 750 значений распределены вокруг реального среднего (по всем 3000 измерениям). Самого автора теста Стьюдента не смущали такие маленькие размеры выборок. Так в каких по размеру выборках распределение выборочного среднего становится похожим на нормальное? Однозначного ответа нет, но при размере выборки ~30 и более распределение средних практически всегда будет близко к нормальному, что и удовлетворяет истинному условию применения t-теста.
Почему при сравнении выборок более 30 наблюдений тестом Стьюдента можно пренебречь допущением о нормальном распределении?
Любая наша выборка - это случайная выборка из генеральной совокупности (популяции). Тест Стьюдента позволяет сравнить средние двух независимых между собой выборок. Исторически сложившимся условием (допущением) для выполнения t-теста Стьюдента, как и теста Уэлча является нормальное распределение выборки. Тем самым мы предполагаем, что выборка получена из генеральной совокупности с нормальным распределением. Но! Сам Ульям Госсет (Стьюдент) в своей статье писал, что на малых выборках форму распределения понять сложно, поэтому предполагает что лучше считать его нормальным. Сегодня именно это предположение и следует проверять в тесте на нормальность распределения, но только при малых выборках. А какие выборки считать малыми, а какие нет? Госсет использует формулу для доверительного интервала выборочного среднего (из центральной предельной теоремы), и ничего не говорит, что выборка обязательно должна быть из нормального распределения генеральной совокупности. Есть версия, что условие нормального распределения ошибочно появилось из-за проблем с переводом оригинального источника. Согласно центральной предельной теореме (ЦПТ) распределение средних достаточно большого числа выборок будет нормальным, а именно распределение средних, а не самих выборок, и должно быть нормальным для t-теста. Другими словами, если мы начнем случайным образом брать новые выборки из генеральной совокупности, то распределение средних множества выборок будет приближаться к нормальному, тем сильнее, чем больше по размерам сами выборки (так работает теория вероятности, лежащая в основе ЦПТ). Сам Стьюдент в своей статье брал 3000 измерений пальцев преступников. Далее делил их на 750 выборок по 4 элемента (!), внутри каждой выборки считал среднее и смотрел, как эти 750 значений распределены вокруг реального среднего (по всем 3000 измерениям). Самого автора теста Стьюдента не смущали такие маленькие размеры выборок. Так в каких по размеру выборках распределение выборочного среднего становится похожим на нормальное? Однозначного ответа нет, но при размере выборки ~30 и более распределение средних практически всегда будет близко к нормальному, что и удовлетворяет истинному условию применения t-теста.
👍2
#среднийуровень
Про минусы теста Манна-Уитни
U-критерий Манна-Уитни - ранговый непараметрический (семипараметрический) тест сравнения двух независимых выборок, который выполняется при отсутствии допущений к выполнению параметрических тестов. В случае зависимых выборок используется W критерий Уилкоксона.
Проблемы теста:
☹ Тест Манна-Уитни не сравнивает медианы или средние, он сравнивает условные ранги! Это сильно затрудняет практическую интерпретацию результатов теста. Максимум мы можем говорить о статистически значимых отличиях между двумя выборками без уточнения, в чем конкретно эти отличия состоят.
☹ Тест Манна-Уитни менее мощный, чем t-тест при распределениях близких к нормальному. Другими словами чуть выше риск ошибки II рода.
☹ При большом числе повторяющихся значений в выборке возрастает ошибка I рода.
☹ Ранговый тест Манна-Уитни нивелирует влияние выбросов. Это хорошо, если выбросы случайны. Но если выброс - закономерная особенность данных, повышается риск получить неверный результат и сделать неправильный вывод.
Про минусы теста Манна-Уитни
U-критерий Манна-Уитни - ранговый непараметрический (семипараметрический) тест сравнения двух независимых выборок, который выполняется при отсутствии допущений к выполнению параметрических тестов. В случае зависимых выборок используется W критерий Уилкоксона.
Проблемы теста:
☹ Тест Манна-Уитни не сравнивает медианы или средние, он сравнивает условные ранги! Это сильно затрудняет практическую интерпретацию результатов теста. Максимум мы можем говорить о статистически значимых отличиях между двумя выборками без уточнения, в чем конкретно эти отличия состоят.
☹ Тест Манна-Уитни менее мощный, чем t-тест при распределениях близких к нормальному. Другими словами чуть выше риск ошибки II рода.
☹ При большом числе повторяющихся значений в выборке возрастает ошибка I рода.
☹ Ранговый тест Манна-Уитни нивелирует влияние выбросов. Это хорошо, если выбросы случайны. Но если выброс - закономерная особенность данных, повышается риск получить неверный результат и сделать неправильный вывод.
👍1
#базовыйуровень #ИИ
Про искусственный интеллект (ИИ)
📌 Искусственный интеллект — название области исследований и науки, также как, например, медицина. Я работаю в области ИИ = Я работаю в медицине.
📌 Машинное обучение — один из разделов ИИ. Я специалист в области машинного обучения = Я хирург.
📌 Нейронные сети — один из видов машинного обучения. Я создаю нейросетевые модели = Я кардиохирург.
📌 Глубокое обучение (Deep learning) — архитектура нейросетей, один из подходов к их построению и обучению. Я занимаюсь моделями глубокого обучения = Я специализируюсь на аортокоронарном шунтировании.
Про искусственный интеллект (ИИ)
📌 Искусственный интеллект — название области исследований и науки, также как, например, медицина. Я работаю в области ИИ = Я работаю в медицине.
📌 Машинное обучение — один из разделов ИИ. Я специалист в области машинного обучения = Я хирург.
📌 Нейронные сети — один из видов машинного обучения. Я создаю нейросетевые модели = Я кардиохирург.
📌 Глубокое обучение (Deep learning) — архитектура нейросетей, один из подходов к их построению и обучению. Я занимаюсь моделями глубокого обучения = Я специализируюсь на аортокоронарном шунтировании.
👍2
#среднийуровень
Про размер выборки при логистической регрессии. Эмпирический подход.
🙅♂️ Если кратко, то такой способ неэффективный и его не стоит использовать!
Правило большого пальца (англ. The rule of thumb) – эмпирический подход, позволяющий получить приблизительный результат минимального размера выборки. Часто используемое эмпирическое правило состоит в том, чтобы обеспечить не менее 10 событий изучаемого исхода на одну переменную, которая включается в окончательную модель. Если переменная имеет 3 и более категории (параметра), то число событий должно рассчитываться на количество этих категорий минус 1. Поэтому следует использовать показатель EPP – Events per predictor, а не число событий на одну переменную (EPV – Events per variable). Некоторые авторы описывают ситуации, когда требуется менее 10 EPP, другие – увеличивают минимальный порог до 15 или 50 EPP. Проблема заключается в том, что любое эмпирическое правило является слишком упрощенным решением, а требуемое количество пациентов в исследовании будет зависеть от многих сложных аспектов, в частности частоты самого исхода, распределении и значимости предикторов, количества событий для каждой категории переменных. В рамках эмпирического подхода также используют формулы N=10*k/P и N=100+50*k, где N – минимальный размер выборки, k – количество независимых переменных в финальной модели, P – частота изучаемого события.
💁♂️ На самом деле в рамках создания прогностических моделей объемы выборок должны быть в разы больше, о чем мы поговорим в следующий раз. Зачастую исследователь сталкивается с дефицитом имеющихся данных. В этом случае одним из вариантов может являться синтез репрезентативных искусственных данных. Подробнее можно ознакомиться здесь: http://dataclone.ru
Про размер выборки при логистической регрессии. Эмпирический подход.
🙅♂️ Если кратко, то такой способ неэффективный и его не стоит использовать!
Правило большого пальца (англ. The rule of thumb) – эмпирический подход, позволяющий получить приблизительный результат минимального размера выборки. Часто используемое эмпирическое правило состоит в том, чтобы обеспечить не менее 10 событий изучаемого исхода на одну переменную, которая включается в окончательную модель. Если переменная имеет 3 и более категории (параметра), то число событий должно рассчитываться на количество этих категорий минус 1. Поэтому следует использовать показатель EPP – Events per predictor, а не число событий на одну переменную (EPV – Events per variable). Некоторые авторы описывают ситуации, когда требуется менее 10 EPP, другие – увеличивают минимальный порог до 15 или 50 EPP. Проблема заключается в том, что любое эмпирическое правило является слишком упрощенным решением, а требуемое количество пациентов в исследовании будет зависеть от многих сложных аспектов, в частности частоты самого исхода, распределении и значимости предикторов, количества событий для каждой категории переменных. В рамках эмпирического подхода также используют формулы N=10*k/P и N=100+50*k, где N – минимальный размер выборки, k – количество независимых переменных в финальной модели, P – частота изучаемого события.
💁♂️ На самом деле в рамках создания прогностических моделей объемы выборок должны быть в разы больше, о чем мы поговорим в следующий раз. Зачастую исследователь сталкивается с дефицитом имеющихся данных. В этом случае одним из вариантов может являться синтез репрезентативных искусственных данных. Подробнее можно ознакомиться здесь: http://dataclone.ru
🔥2
статИИстик pinned «#среднийуровень Про размер выборки при логистической регрессии. Эмпирический подход. 🙅♂️ Если кратко, то такой способ неэффективный и его не стоит использовать! Правило большого пальца (англ. The rule of thumb) – эмпирический подход, позволяющий…»
#прогноз
Про виды медицинских прогностических моделей
По назначению:
1. Диагностические (нет горизонта прогнозирования)
2. Предиктивные (прогноз события в рамках временного горизонта прогнозирования, от часов до лет)
По виду результата:
1. Классификаторы (классифицируют пациентов на классы по конечному результату)
- разные методы, использующие пороговые значения
2. Регрессоры (сообщают персональный прогноз в виде вероятности или абсолютного значения)
- регрессия Кокса (прогноз времени до события)
- линейная регрессия (прогноз количественного исхода)
- логистическая регрессия (прогноз категориального исхода)
- методы машинного обучения (любые виды исходов)
Про виды медицинских прогностических моделей
По назначению:
1. Диагностические (нет горизонта прогнозирования)
2. Предиктивные (прогноз события в рамках временного горизонта прогнозирования, от часов до лет)
По виду результата:
1. Классификаторы (классифицируют пациентов на классы по конечному результату)
- разные методы, использующие пороговые значения
2. Регрессоры (сообщают персональный прогноз в виде вероятности или абсолютного значения)
- регрессия Кокса (прогноз времени до события)
- линейная регрессия (прогноз количественного исхода)
- логистическая регрессия (прогноз категориального исхода)
- методы машинного обучения (любые виды исходов)
👍1
#среднийуровень
Про критерий Кохрана-Мантеля-Хензеля
В многоцентровых клинических исследованиях (КИ) в качестве теста сравнения ответов на лечение между двумя группами (например, лекарство - плацебо) используют критерий Хи2 Кохрана-Мантеля-Хензеля. Почему не обычный Хи2 Пирсона? В ходе многоцентровых КИ в результате получают набор из К таблиц сопряженности размером 2 х 2, где К - это количество участвовавших в исследовании медицинских центров. По разным причинам можно ожидать, что результаты эксперимента будут несколько варьировать от центра к центру. Соответственно, "медицинский центр" становится важной ковариатой, действие которой мы должны учесть при установлении эффективности испытываемого нового препарата. Таким образом:
✅ классический Хи2 Пирсона применяется для таблиц сопряженности 2 х 2
✅ критерий Хи2 Кохрана-Мантеля-Хензеля применяется для таблиц сопряженности 2 х 2 х K
Про критерий Кохрана-Мантеля-Хензеля
В многоцентровых клинических исследованиях (КИ) в качестве теста сравнения ответов на лечение между двумя группами (например, лекарство - плацебо) используют критерий Хи2 Кохрана-Мантеля-Хензеля. Почему не обычный Хи2 Пирсона? В ходе многоцентровых КИ в результате получают набор из К таблиц сопряженности размером 2 х 2, где К - это количество участвовавших в исследовании медицинских центров. По разным причинам можно ожидать, что результаты эксперимента будут несколько варьировать от центра к центру. Соответственно, "медицинский центр" становится важной ковариатой, действие которой мы должны учесть при установлении эффективности испытываемого нового препарата. Таким образом:
✅ классический Хи2 Пирсона применяется для таблиц сопряженности 2 х 2
✅ критерий Хи2 Кохрана-Мантеля-Хензеля применяется для таблиц сопряженности 2 х 2 х K
#базовыйуровень
Про медицинскую прогнозную аналитику
Медицинская прогнозная аналитика – область научных исследований и класс методов анализа данных, направленных на прогнозирование будущих событий, связанных с течением заболевания, с целью принятия оптимальных решений.
Включает в себя 4 основных раздела (задачи):
1. Изучение общего прогноза. Например, выживаемость больных с тем или иным заболеванием в разных странах.
2. Изучение прогностических факторов. Анализ факторов, влияющих на прогноз того или иного исхода в популяции (однофакторный и многофакторный анализ).
3. Изучение предикторов ответа на терапию. Анализ факторов, влияющих на эффективность (ответ) на терапию.
4. Прогностические модели. Прогностическая модель - комбинация многих факторов для прогноза ПЕРСОНАЛЬНОГО риска того или иного исхода.
Для решения каждой из задач могут использоваться схожие или разные методы анализа данных. Требования к размерам выборок также могут отличаться.
Про медицинскую прогнозную аналитику
Медицинская прогнозная аналитика – область научных исследований и класс методов анализа данных, направленных на прогнозирование будущих событий, связанных с течением заболевания, с целью принятия оптимальных решений.
Включает в себя 4 основных раздела (задачи):
1. Изучение общего прогноза. Например, выживаемость больных с тем или иным заболеванием в разных странах.
2. Изучение прогностических факторов. Анализ факторов, влияющих на прогноз того или иного исхода в популяции (однофакторный и многофакторный анализ).
3. Изучение предикторов ответа на терапию. Анализ факторов, влияющих на эффективность (ответ) на терапию.
4. Прогностические модели. Прогностическая модель - комбинация многих факторов для прогноза ПЕРСОНАЛЬНОГО риска того или иного исхода.
Для решения каждой из задач могут использоваться схожие или разные методы анализа данных. Требования к размерам выборок также могут отличаться.
#среднийуровень
Допущения к бинарной логистической регрессии
Бинарная логистическая регрессия используется для поиска предикторов (факторов прогноза) через отношение шансов и/или создания прогностической модели.
Допущения метода:
✅ Зависимая переменная – бинарная!
✅ Наблюдения должны быть независимыми друг от друга (случайная выборка)
✅ Достаточный размер выборки
✅ Отсутствие экстремальных выбросов
✅ Отсутствие полного и квазиполного разделения данных
✅ Отсутствие мультиколинеарности ковариат
✅ Линейность независимых переменных и логарифма шансов (тест Бокса-Тидвелла)
⚠ Чем больше пренебрежений к допущениям метода, тем выше вероятность неверных результатов!
Уравнение в общем виде: logit (P) = b0 + b1*X1 + … bn*Xn
b – коэффициент регрессии, b0 - интерсепт
X – независимая переменная
logit(P) = log (P/1-P), натуральный логарифм шансов
P (вероятность) = OR/1+OR, OR – отношение шансов exp^(b*X)
Допущения к бинарной логистической регрессии
Бинарная логистическая регрессия используется для поиска предикторов (факторов прогноза) через отношение шансов и/или создания прогностической модели.
Допущения метода:
✅ Зависимая переменная – бинарная!
✅ Наблюдения должны быть независимыми друг от друга (случайная выборка)
✅ Достаточный размер выборки
✅ Отсутствие экстремальных выбросов
✅ Отсутствие полного и квазиполного разделения данных
✅ Отсутствие мультиколинеарности ковариат
✅ Линейность независимых переменных и логарифма шансов (тест Бокса-Тидвелла)
⚠ Чем больше пренебрежений к допущениям метода, тем выше вероятность неверных результатов!
Уравнение в общем виде: logit (P) = b0 + b1*X1 + … bn*Xn
b – коэффициент регрессии, b0 - интерсепт
X – независимая переменная
logit(P) = log (P/1-P), натуральный логарифм шансов
P (вероятность) = OR/1+OR, OR – отношение шансов exp^(b*X)
#среднийуровень
Про интерсепт в моделях регрессии
Интерсепт (или нулевой коэффициент) в моделях регрессии - значение прогнозируемой переменной Y при условии, что все ковариаты X=0. Если построить так называемую intercept only модель Y ~ 1 (без ковариат), то при линейной регрессии интерсепт будет равен среднему значению самой Y, а при логистической регрессии - натуральному логарифму шансов прогнозируемого исхода. Примеры:
✅ Линейная регрессия: Y (возраст) ~1, тогда Y = среднему значению возраста. Есть выборка пациентов n=239, средний возраст 52.7 лет. Строим модель Возраст ~ 1, тогда интерсепт = 52.7 лет.
✅ Логистическая регрессия: Y (диабет) ~ 1, тогда Y = log(OШ диабета), exp(Intercept) = отношению шансов исхода (диабет). Есть выборка пациентов n=239, из них диабет у 83. Строим модель Диабет ~ 1, тогда интерсепт = -0.631 или exp(-0.631) = 0.53 - отношение шансов (ОШ) болеть диабетом. Проверить легко (диабет у 83, нет диабета у 156), ОШ=83/156=0.53.
Вы можете легко это повторить в любой статистической программе.
Про интерсепт в моделях регрессии
Интерсепт (или нулевой коэффициент) в моделях регрессии - значение прогнозируемой переменной Y при условии, что все ковариаты X=0. Если построить так называемую intercept only модель Y ~ 1 (без ковариат), то при линейной регрессии интерсепт будет равен среднему значению самой Y, а при логистической регрессии - натуральному логарифму шансов прогнозируемого исхода. Примеры:
✅ Линейная регрессия: Y (возраст) ~1, тогда Y = среднему значению возраста. Есть выборка пациентов n=239, средний возраст 52.7 лет. Строим модель Возраст ~ 1, тогда интерсепт = 52.7 лет.
✅ Логистическая регрессия: Y (диабет) ~ 1, тогда Y = log(OШ диабета), exp(Intercept) = отношению шансов исхода (диабет). Есть выборка пациентов n=239, из них диабет у 83. Строим модель Диабет ~ 1, тогда интерсепт = -0.631 или exp(-0.631) = 0.53 - отношение шансов (ОШ) болеть диабетом. Проверить легко (диабет у 83, нет диабета у 156), ОШ=83/156=0.53.
Вы можете легко это повторить в любой статистической программе.
#среднийуровень
Кратко о тестах сравнения кривых Каплана-Мейера
📉📈 Анализ Каплана-Мейера используется для оценки функции выживания. Визуальное представление этой функции называется кривой Каплана-Мейера, и она показывает, какова вероятность события (например, смерти) в определенный интервал времени. Кривые выживаемости рисуются сверху вниз, из точки 1, когда 100% пациентов живы. Графики заболеваемости (инцидентности) рисуются снизу вверх, из точки 0, когда 0% пациентов имеют то или иное заболевание (осложнение). Часто в исследовании сравниваются 2 (и более) групп между собой.
Для этого применяются различные непараметрические тесты:
✅ Критерий логранк (logrank): сравнение непересекающихся между собой кривых выживаемости (заболеваемости)
✅ Критерий Гехана (Gehan) или критерий Уилкоксона (Wilcoxon): сравнение пересекающихся между собой кривых выживаемости (заболеваемости)
✅ Критерий Грея (Gray): кумулятивная функция инцидентности (анализ конкурирующих рисков)
✅ Hazard Ratio (отношение опасностей или рисков): сравнение кривых выживаемости (заболеваемости) при условии соблюдения допущений к регрессионному анализу Кокса
Кратко о тестах сравнения кривых Каплана-Мейера
📉📈 Анализ Каплана-Мейера используется для оценки функции выживания. Визуальное представление этой функции называется кривой Каплана-Мейера, и она показывает, какова вероятность события (например, смерти) в определенный интервал времени. Кривые выживаемости рисуются сверху вниз, из точки 1, когда 100% пациентов живы. Графики заболеваемости (инцидентности) рисуются снизу вверх, из точки 0, когда 0% пациентов имеют то или иное заболевание (осложнение). Часто в исследовании сравниваются 2 (и более) групп между собой.
Для этого применяются различные непараметрические тесты:
✅ Критерий логранк (logrank): сравнение непересекающихся между собой кривых выживаемости (заболеваемости)
✅ Критерий Гехана (Gehan) или критерий Уилкоксона (Wilcoxon): сравнение пересекающихся между собой кривых выживаемости (заболеваемости)
✅ Критерий Грея (Gray): кумулятивная функция инцидентности (анализ конкурирующих рисков)
✅ Hazard Ratio (отношение опасностей или рисков): сравнение кривых выживаемости (заболеваемости) при условии соблюдения допущений к регрессионному анализу Кокса
Некоторые мифы в статистике, о которых вы возможно слышали, но не знали, что это мифы
❌ p-уровень значимости = вероятности ошибки полученного результата
❌ Критерий Стьюдента следует применять только при нормальном распределении выборки
❌ Можно всегда использовать непараметрические методы статистики (например, Манна-Уитни), они ничем не хуже Стьюдента
❌ В модель логистической регрессии нужно включать только статистически значимые предикторы
❌ Перед многофакторным анализом нужно проводить однофакторный и выбирать предикторы на основании p<0.05
❌ Данные с пропущенными значениями следует удалять
❌ Размер выборки для модели, высчитанный с помощью эмпирических правил количества наблюдений на предиктор, является достаточным
❌ Количественные переменные нужно превращать в категориальные, например, с помощью ROC-анализа, перед моделированием
❌ Главным показателем эффективности модели является ее точность
❌ После построения модели, нужно найти порог для принятия решения
❌ Площадь под ROC-кривой = точности модели
❌ p-уровень значимости = вероятности ошибки полученного результата
❌ Критерий Стьюдента следует применять только при нормальном распределении выборки
❌ Можно всегда использовать непараметрические методы статистики (например, Манна-Уитни), они ничем не хуже Стьюдента
❌ В модель логистической регрессии нужно включать только статистически значимые предикторы
❌ Перед многофакторным анализом нужно проводить однофакторный и выбирать предикторы на основании p<0.05
❌ Данные с пропущенными значениями следует удалять
❌ Размер выборки для модели, высчитанный с помощью эмпирических правил количества наблюдений на предиктор, является достаточным
❌ Количественные переменные нужно превращать в категориальные, например, с помощью ROC-анализа, перед моделированием
❌ Главным показателем эффективности модели является ее точность
❌ После построения модели, нужно найти порог для принятия решения
❌ Площадь под ROC-кривой = точности модели
Методы выбора предикторов в модель
Нужно ли всегда производить селекцию предикторов перед построением модели? Скорее нет, чем да! Но если вы решили выбрать предикторы для своей модели, вот методы, которые вы можете использовать:
✅ Удаление высоко коррелирующих ковариат (КК Спирмена >0.75) - тест на мультиколинеарность
✅ Пошаговая регрессия (forward / backward stepwise) на основании p, AIC (информационный критерий Акаике) или BIC (байесовский информационный критерий).
✅ Машинное обучение ("случайный лес")
✅ Рекурсивное удаление признаков (RFE)
✅ Штрафные регрессии (гребневая, LASSO)
Методы, которые не стоит применять:
❌Описательная статистика (сравнение средних, Хи2)
❌Однофакторный анализ с p<0.05 или другим p
Нужно ли всегда производить селекцию предикторов перед построением модели? Скорее нет, чем да! Но если вы решили выбрать предикторы для своей модели, вот методы, которые вы можете использовать:
✅ Удаление высоко коррелирующих ковариат (КК Спирмена >0.75) - тест на мультиколинеарность
✅ Пошаговая регрессия (forward / backward stepwise) на основании p, AIC (информационный критерий Акаике) или BIC (байесовский информационный критерий).
✅ Машинное обучение ("случайный лес")
✅ Рекурсивное удаление признаков (RFE)
✅ Штрафные регрессии (гребневая, LASSO)
Методы, которые не стоит применять:
❌Описательная статистика (сравнение средних, Хи2)
❌Однофакторный анализ с p<0.05 или другим p
статИИстик
Методы выбора предикторов в модель Нужно ли всегда производить селекцию предикторов перед построением модели? Скорее нет, чем да! Но если вы решили выбрать предикторы для своей модели, вот методы, которые вы можете использовать: ✅ Удаление высоко коррелирующих…
Подробнее про выбор предикторов для модели логистической регрессии можно почитать в свежем номере журнала «Врач и информационные технологии»
✅ Хорошая статья о том, как делать модель логистической регрессии с подробным разбором этапов ее создания на русском языке. Описанные шаги создания и сама модель не идеальны, но дают общее представление в рамках существующих проблем и их решений: https://www.clinvest.ru/jour/article/view/613
#среднийуровень
Про вероятность тромбоза у онкологических больных
Представим, что в конкретной больнице у онкологических больных в среднем происходит 2 тромбоза в месяц (за ретроспективный период наблюдения). Тогда какова вероятность 4 тромбогенных осложнений в месяц? На помощь приходит распределение Пуассона.
Распределение Пуассона - распределение вероятности числа независимых друг от друга событий в течение определенного интервала времени. Распределение Пуассона описывает вероятность того, что событие произойдет k раз за заданный интервал времени. Если случайная величина X подчиняется распределению Пуассона, то вероятность того, что X = k, можно найти по формуле: P(X=k) = λ^k * e^-λ) / k!, где λ - среднее количество событий за определенный интервал времени, k - заданное число событий, e - константа (2.71828...).
Тогда можно подсчитать вероятность 4 тромбозов в месяц. P(X=4) = 2^4 * e^(-2) / 4! = 16 * 0.1353 / 24 = 0.09 (9%).
Доверительный интервал для 2 тромбозов будет равен 0.24-7.22 или от 0 до 7 тромбозов в месяц (с вероятностью 95%).
Таким же образом можно рассчитать кумулятивную вероятность (путем сложения вероятностей). Например, вероятность менее 4 тромбозов в месяц = 0,85, а более 4 = 0,05.
Про вероятность тромбоза у онкологических больных
Представим, что в конкретной больнице у онкологических больных в среднем происходит 2 тромбоза в месяц (за ретроспективный период наблюдения). Тогда какова вероятность 4 тромбогенных осложнений в месяц? На помощь приходит распределение Пуассона.
Распределение Пуассона - распределение вероятности числа независимых друг от друга событий в течение определенного интервала времени. Распределение Пуассона описывает вероятность того, что событие произойдет k раз за заданный интервал времени. Если случайная величина X подчиняется распределению Пуассона, то вероятность того, что X = k, можно найти по формуле: P(X=k) = λ^k * e^-λ) / k!, где λ - среднее количество событий за определенный интервал времени, k - заданное число событий, e - константа (2.71828...).
Тогда можно подсчитать вероятность 4 тромбозов в месяц. P(X=4) = 2^4 * e^(-2) / 4! = 16 * 0.1353 / 24 = 0.09 (9%).
Доверительный интервал для 2 тромбозов будет равен 0.24-7.22 или от 0 до 7 тромбозов в месяц (с вероятностью 95%).
Таким же образом можно рассчитать кумулятивную вероятность (путем сложения вероятностей). Например, вероятность менее 4 тромбозов в месяц = 0,85, а более 4 = 0,05.
👍1