Ооо, вышла запись на YT
Похоже у авторов там тоже творится хаос и все очень вразнобой
Возможно удобнее на сайте RUSSCO смотреть пока что 😁

Увидел я такой график. Опустим, что человек гордится тем, что LLM ему помогает их делать (и не только). Я хочу разобрать методологическую сторону (как я это вижу/пониманию).

1) Мне не очень понятно, зачем в заголовке указывать статистические показатели (ещё и явно другим шрифтом для латиницы). 🤷‍♂️

2) Вопросы, которые представлены на графике, словно подразумевают ответы "да"/"нет", а по цветовой гамме и легенде можно сделать вывод, что это сравнение между мужским и женским полом.

Наиболее вероятно, что по полам был подсчет относительной частоты утвердительных ответов на каждый вопрос с последующим расчетом разницы (мужской - женский). В медицинских исследованиях обычно это обозначается термином разница рисков (risk difference, RD) или абсолютный риск (absolute risk, AR). И это было бы окэй, но...

Здесь зачем-то используется мера эффекта d Коэна (Cohen's d)... Если кто не знает, то обычно она используется для стандартизации разницы средних (если очень упрощенно, подробнее тут). И вроде бы можно сказать, что частота и среднее - это мат ожидание, для бинарных данных они равны (сам же здесь показывал), но...
Зачем нужен этот перерасчёт? Ведь разница рисков итак уже в какой-то мере стандартизирована (она всегда находится на одной шкале, единицы измерения равны). Если сильно хочется, то можно посчитать относительный риск (risk ratio, RR), который лучше (если надо в единых величинах) отражает изменение эффекта (RR может быть равным 2 при RD = 30% или = 5%, зависит от исходной частоты).
А ещё интересный вопрос - как ведёт себя неопределенность?

Давайте проверим, сделаем симуляцию.

library(tidyverse)

# Создаем симуляцию, где мужчины реже ответили "да", чем женщины
set.seed(42)
d_long <- tibble(male = rbinom(1000, 1, 0.4),
                 female = rbinom(1000, 1, 0.6)) |> 
 pivot_longer(male:female) |> 
 mutate(name = factor(name, levels = c("male", "female")),
        value = as.numeric(value))

# Посмотрим частоту ответов
d_long |> 
 summarise(rate = sum(value),
           prct = rate/1000,
           .by = name)
#>  A tibble: 2 × 3
#>   name    rate  prct
#>   <fct>  <dbl> <dbl>
#> 1 male     377 0.377
#> 2 female   599 0.599

# В целом как и планировалось

# Выводим таблицу сопряженности
d_long |> 
 mutate(value = factor(value, levels = c(1,0))) |> 
 select(value, name) |> 
 table()
#>      name
#> value male female
#>     1  377    599
#>     0  623    401

# Рассчитаем разницу рисков с ДИ
RD = 0.377 - 0.599
SE = sqrt((377 * 623)/(377 + 623)^3 + (599 * 401)/(599 + 401)^3)
paste0(RD, " (", round(RD - 1.96*SE, 3), "; ", round(RD + 1.96*SE, 3), ")")
#> [1] "-0.222 (-0.265; -0.179)"

# Проверим через пакет
 table(d_long) |> 
  effectsize::arr()
#> ARR  |       95% CI
#> -------------------
#> 0.22 | [0.18, 0.26]

# Все верно, только знака минус нет (потому что это Absolute risk reduction)

# Рассчитаем sd
d_long |> 
  summarise(rate = sum(value),
            prct = rate/1000,
            sd = sd(value),
            .by = name)
#>  A tibble: 2 × 4
#>   name    rate  prct    sd
#>   <fct>  <dbl> <dbl> <dbl>
#> 1 male     377 0.377 0.485
#> 2 female   599 0.599 0.490

# Получим d Коэна
 sd_pool = sqrt(((1000 - 1) * 0.485^2 + (1000 - 1) * 0.490^2)/(2000-2))
 round(RD/sd_pool, 3)
#> [1] -0.455

# Проверим через пакет
effectsize::cohens_d(value ~ name, data = d_long, pooled_sd = F)
#> Cohen's d |         95% CI
#> --------------------------
#> -0.46     | [-0.54, -0.37]

Упс... Какая-то квази/прокси/псевдо-оценка эффекта. Получается, что результаты стандартизации излишни. Они ничего не добавляют, а только усложняют интерпретацию (т.к. это теперь не разница частоты, а ее размер в SD). Сделал бы так человек, который базово что-то прочитал про статистику?

3) Переходим дальше. Интерпретация d Коэна указана стандартная. А вот интерпретация p-value... Это какой-то треш. Был как-то мем, где тоже пытались классифицировать разные уровни p-value. И у данного показателя есть проблема, что его стат значимость не переводится в клиническую (т.е. не соответствует). Поэтому, на мой взгляд, лучше так не делать.
Интересно, чем "очень надежно" отличается от "очень значимо" 🤔

4) Точки в легенде для списка - чрезмерно (особенно где звезды), ИМХО.

5) Визуальную составляющую тоже предлагаю считать спорной. Мне кажется, что график должен отражать идею меры эффекта. Если это накопление доли/частота, то bar plot неплохой вариант. А вот для показателей разниц (особенно с неопределенностью)... Мб рассмотреть варианты point + range (простенько, но понятно), dumbbell (между группами) или другие...
Возможно тут ещё влияет то, что они никак не сортированы (мб смотрелось лучше бы).

Думаю, что тут много еще можно обсудить. Итог? Хороший пример, что без базовых знаний применение LLM бессмысленно.

Наткнулся на интересное видео про анализ выживаемости
Базово, но основы рассказаны понятным языком, показаны примеры
Рекомендую

Не знал, что с данного мероприятия будут выкладывать записи выступлений. Но утром их увидел

Задача "не задушнить за 10 минут" провалилась. Во-первых, я задушнил. Во-вторых, потратил 18 минут 😱
Но надеюсь, что взгляд с другой стороны было интересно послушать (и узнать что-то новое, хотя все есть в протоколе).
Но сначала выступил Трякин Алексей Александрович с рассуждениями о клинической части (рекомендую послушать). Алексею Александровичу я благодарен за приглашение выступить!

P.S. показалось, что здесь я говорю лучше, чем на РОК, но это показалось только на х2 скорости. На х1... Причмокивания, слова-паразиты, запинывания и т.п. Похоже надо думать как и тренироваться ставить грамотную речь

@Ebm_base

А ещё я обнаружил, что Оля Мироненко завела свой канал в ТГ (и молчит об этом!)
И кроме него ещё организовала блог на GitHub
В нем она будет рассказывать про работу в секторе Health technology assessment (оценка технологий здравоохранения)

Очень интересный пост вышел про treatment switching (полезно узнать что-то новое для себя), подробно расписан. И демонстрация графиков КМ с количественной ковариатой (об этом я уже знал и даже применял)

Желаю не забрасывать, дальше развивать, писать то, что тебе интересно! А всем рекомендую подписаться ☺️

По 3 этапу отбора в ЖК. Собеседования прошли, всех поздравляю! Но сейчас идёт их осмотр и оценка. Поэтому наберитесь терпения)) мы со всеми свяжемся и сообщим результаты!

Что ожидается 😁
Регистрация здесь
Попросили попроще и понятнее 😁

Если я вдруг сделаю супер пупер крутой курс по биостатистике, докмеду, критическому чтению прям как у медапа, то вы...

Мой режим
Поэтому тишина

Опять буду пугать онкологов и всех, кто придет 😁

Вы представляете какой я негодяй? Это же все из-за меня!
Я в рубрике лица хейта у... Сделать репост?)

Я решил, что репост – это слишком жирно
А жирного много есть – вредно
Поэтому, вот ссылка на этот самый честный пост этой волшебной женщин-к-и
https://t.me/dissertaciya_malinovich/2725