Апостериорное распределение отношения стандартных отклонений, то чего в t-тесте мы точно не получим

Если кому-то интересно погрузиться поглубже и понять почему в вызовах rnorm() и rgamma() используются именно эти странно выглядящие параметры, то можно почитать этот материал Герберта Ли

Насколько сэмплинг Гиббса, как и MCMC в целом, могут быть неэффективными? Приведу недавний пример из другого обсуждения. Отмечу только, что здесь, конечно, проблема не только в том, что мы не знаем сопряженных априорных распределений для параметров модели, но и

1) Логистическая регрессия сама по себе несопоставимо более сложная штука по сравнению с линейной регрессией (и t-тестом), особенно в байесовском лапласовском сеттинге.
2) Набор данных – очень сложный, с (почти) полным разделением.

df <- brglm2::endometrial

glm(
    NV ~ EH + HG,
    data = df,
    family = "binomial"
) |>
    broom::tidy()

#> # A tibble: 3 × 5
#>   term        estimate std.error statistic p.value
#>   <chr>          <dbl>     <dbl>     <dbl>   <dbl>
#> 1 (Intercept)   -16.5    2355.    -0.00699  0.994 
#> 2 EH             -2.36      1.28  -1.84     0.0656
#> 3 HG             18.8    2355.     0.00799  0.994

3) Современные люди использовали бы Гамильтоновское Монте-Карло (HMC)
4) Настоящие байесианцы, коим я не являюсь, знают много хакерских приемов и могут сделать на порядки лучше с помощью тонкой настройки параметров сэмплинга и репараметризации модели.

Пример:

df <- brglm2::endometrial
set.seed(525243)

fit <- MCMCglmm::MCMCglmm(
    NV ~ EH + HG,
    family = "categorical",
    data = df,
    prior = list(
        B = list(
            mu = rep(0, 3),
            V = MCMCglmm::gelman.prior(
                ~ EH + HG, 
                data = df, 
                scale = sqrt(pi^2/3+1)
            )
        ),
        R = list(V = 1, fix = 1)
    ),
    nitt = 100000,
    burnin = 1000,
    thin = 10,
    verbose = FALSE
)

summary(fit)
#> 
#>  Iterations = 1001:99991
#>  Thinning interval  = 10
#>  Sample size  = 9900 
#> 
#>  DIC: 42.77461 
#> 
#>  R-structure:  ~units
#> 
#>       post.mean l-95% CI u-95% CI eff.samp
#> units         1        1        1        0
#> 
#>  Location effects: NV ~ EH + HG 
#> 
#>             post.mean l-95% CI u-95% CI eff.samp   pMCMC   
#> (Intercept)   -1.3239  -4.6634   1.8131   1430.6 0.43071   
#> EH            -1.8184  -3.4936  -0.1290    987.7 0.03131 * 
#> HG             2.9383   0.8804   5.1687    733.0 0.00182 **
#> ---
#> Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

На что здесь следует обратить внимание: в примере с t-тестом мы сделали 2 раза сэмплинг по 10⁵ и из-за отсутствия автокорреляции между элементами можем считать, что эффективный размер выборки (ESS) примерно равен физическому размеру (то есть 100% сэмплов несут независимую информацию об апостериорном распределении).
В последнем примере мы взяли выборку размера 10⁵, при этом отбирали с лагом в 10 (то есть каждый 10-ый сэмпл из цепи попал в выборку), в итоге суммарный размер составил 10⁶. Но что мы видим в саммари: ESS для угловых параметров измеряется в сотнях.То есть эффективность сэмплинга составила примерно 10³ / 10⁶ (0.1% сэмплов несут независимую информацию об апостериорном распределении).
Я когда это увидел был в полном шоке.

Ну и тематическая шутка, как водится

В комментариях есть еще мысли про 5 этап

Это оказалось очень тонким центральным моментом методологии, не все, что похоже на сэмплинг Гиббса им является, я раньше, например, считал (и на занятиях говорил), что MICE - это разновидность сэмплинга Гиббса, оказалось, что это не так, хотя и похоже
https://tpmorris.substack.com/p/mice-is-not-a-gibbs-sampler

Эндрю Гелман порекомендовал к прочтению статью Statistical Inference: The Big Picture, наверное, хорошая

Смотрите, какой интересный куррикулум.
На курсере появилась специализация Foundations of Probability and Statistics Specialization (в целом у Colorado Boulder достаточно много интересного там есть по статистике и анализу данных с уклоном в advanced*).
Осень перестает быть скучной.

* по меркам MOOC, конечно

И в целом познавательно, и достаточно неплохое популярное изложение концепции
https://www.youtube.com/watch?v=VlkByRCztzc

Я 12-ый )

Вообще вот что я искал, мне в свое время очень понравилось, как сам Беньямини в этой лекции описывал истоки идеи.
часть 1 и часть 2

Полезный материал, пока пробежался только, но Гелман там интересные моменты рассматривает, которые у меня частенько вопросы вызывают, планирую внимательно прочитать

Peter Tennant с коллегами оказывается междисциплинарные* онлайн-семинары по вопросам причинно-следственного вывода проводят (даже удивительно насколько междисциплинарно у них там).

На YouTube начали выкладывать записи.

* даже удивительно насколько междисциплинарно у них там

Вот на что наткнулся.
Знаю, что часто люди не понимают, с чего начать изучение R. Особенно проблема с рекомендацией русскоязычных источников. Литература по R на русском языке есть, но либо качество переводов сильно хромает, либо материал уже устарел, поскольку так, как писали на R 5 лет назад, мало кто сейчас пишет.

ДМК-пресс* оказывается новую книгу для начинающих выпустили. Ознакомился с содержанием, все очень актуально, я бы даже сказал, все модно и современно.
Позабавило, конечно, что "Автор: Ткаченко Н.", а "Перевод: Логунов А.".

* издательство, у которого, как правило, все неплохо, а иногда даже очень хорошо с переводами получается

Интересная объяснялка про раннее видение Нейманом и Фишером причинно-следственного вывода в экспериментах.
Для меня остается загадкой, почему Фишер отвергал* идею (фиксированных) потенциальных исходов, предложенную Нейманом, я просто не понимаю, как можно без них обосновать его идею randomization based inference. Видимо, придется как-нибудь собраться духом и с их оригинальными работами по теме познакомиться.

* личную неприязнь исключаем

https://www.youtube.com/watch?v=rrSduHsH47I