Я бы добавил еще, что есть не только чисто технический бэкграунд, но и особый майндсет, который (по своему опыту) очень тяжело развить

В общем так. Еще до ИИ.

Most real life statistical problems have one or more nonstandard features. There are no routine statistical questions, only questionable statistical routines.
Sir David R. Cox

The quote may be found on page 240 in Christopher Chatfield's 1991 article "Avoiding Statistical Pitfalls" in "Statistical Science".

Ладно, разбавим все это шуткой про машин лёрнинг

Подумал еще вот что. Даже, если ИИ сделал все правильно (или не так уж неправильно), то хорошо бы еще прочувствовать, как в результате аналитических решений у тебя отрос тяжелый хвост распределения Коши допущений, на которых будут строится вся твоя интерпретация и все твои выводы.

Ну и полезное к этому )
Потому что кажется это то, чем многие пользовались бы, но не в курсе, что оно существует
https://migariane.github.io/DeltaMethodEpiTutorial.nb.html

Все не могу найти повод, но не выходит из головы, что нужно этим поделиться.

Замечательный Noah Greifer не так давно объединил концептуальную часть документации пакетов MatchIt и WeightIt, а также, видимо, свои ответы на вопросы по мэтчингу и использованию весов на CrossValidated в книгу (книжечку) Matching and Weighting for Causal Inference: A Primer and Tutorial.

Это просто обязательно к прочтению (очень полезно будет и тем, кто не использует R).
Заметил, про мэтчинг (и особенно, в первую очередь, про PSM) часто думают совсем не так, как нужно и говорят совсем не то, что нужно, это и меня касается. На самом деле, мэтчинг – это крайне сложная тема и к тому же активно развивающаяся. Про веса вообще молчу. Что уж говорить, я бы не наделал столько ерунды, за которую теперь очень стыдно, если бы была возможность познакомиться с этим материалом раньше.

Блог автора тоже нужно читать, он там не ограничивается указанными темами.

О том как незнание центральной предельной теоремы позволяло отмывать бабло в средневековой Англии

Незнание того, как именно размер выборки влияет на статистические различия, создавало хаос на протяжении тысячелетия. В людском эпосе накопилось довольно много историй про это. Часть из них рассказана в статье “The Most Dangerous Equation”.

Что из себя может представлять опасное уравнение? Опасность может представлять два вида формул: те, которые вы знаете и те, которые вы не знаете. Первая категория уравнений может открывать для людей двери, за которыми находится смертельная опасность. Например, уравнение Эйнштейна открыло человечеству дорогу к атомной бомбе.

Однако нам интереснее другие уравнения. Уравнения, которые раскрывают свою опасность не тогда, когда мы знаем о них, а скорее тогда, когда мы их не знаем. Находясь под рукой, эти уравнения позволяют нам ясно понимать как работает природа. Незнание оставляет нас в опасном неведении.

В 1150 году было решено, что король Англии не может чеканить деньги и присваивать им любую ценность по своему выбору. Вместо этого ценность монеты должна была быть внутренней, основанной на том, сколько в её составе драгоценных материалов. Были установлены стандарты, сколько в какой монете должно быть золота. Чтобы проверить соответствует ли новая партия монет стандартам, проводили испытание Пикса.

Пикс (pyx) — это деревянный ящик, в котором находились стандартные монеты с правильным содержанием золота. Проверками занималась независимая организация, Монетный двор. Она состояла из баронов короля.

Монетный двор прекрасно понимал, что нельзя отчеканить абсолютно точную монету. Поэтому брали выборку новых монет, например сотню, и сравнивали её со стандартом. Надо было, чтобы эта сотня соответствовала заявленному уровню плюс минус некоторая погрешность. В качестве погрешности выбрали 1/400 веса.

Вес монет тогда измеряли в гранах, grain. Это единица измерения массы, основанная на весе ячменного зерна. Одна монета должна была весить 128 гран. Получается, что суммарный вес сотни монет должен был оказаться в диапазоне 12800 ± 32 гран.

Если мы пробили левую границу, надо казнить чеканщика за воровство. Если мы пробили правую границу, надо брать всю партию и переделывать, так как потрачено слишком много золота. Проблема в том, что интервал для суммы оказывался слишком широким, так как Монетный двор предполагал, что погрешность изменяется пропорционально числу монет. О том, что погрешность пропорциональна квадратному корню из числа монет, станет известно только через 600 лет благадоря Муавру.

Из-за слишком широкого интервала и страха казни, перекос был в сторону слишком тяжёлых монет. Скорее всего, были люди, которые чувствовали этот косяк в методологии Монетного двора и использовали его. Надо было просто брать из свежей партии монет самые тяжёлые, переплавлять их и навариваться на переплавке в типовые.

P.S. У автора оригинальной статьи почему-то 1/400 * 128 = 0.28. Видимо, он у баронов в доле.

Вот еще чем хотел поделиться

Вчера я закончил свой первый проект с использованием Typst (причем в Positron'е). До этого я просто экспериментировал с ним, а здесь вот небольшой проектик получился.

Не то чтобы в последнее время мне так часто нужен инструмент для верстки pdf-документов, но я никогда не испытывал особо теплых чувств к привычному многим LaTeX. А тут, новый инструмент, написанный на модном Rust. Да к тому же не просто язык разметки, а полноценный язык программирования (с переменными, функциями, управляющими конструкциями и т.д.). Я, честно сказать, в восторге, несмотря на достаточно сложные синтаксис и семантику. Полностью удовлетворен первым опытом.

Вообще, хочется сказать, что эти "хипстеры", пишущие на Rust, похоже, очень классные и полезные для общества люди (мечтаю к ним присоединиться, но уж очень сложный путь). Я периодически пробую использовать их альтернативы классическим инструментам, например, эмулятор терминала Rio, Zellij как замену Tmux, текстовый редактор Helix как замену Vim, GitUI для git и этот их великолепный менеджер проектов и пакетов Cargo, от всего только положительные эмоции.
Считаю, что им памятники из нержавеющей стали нужно ставить.

Для контекста можно посмотреть фильм "Человек, который познал бесконечность" и этот исторический анекдот от Райгородского

Кстати, Харди, который один из основных персонажей фильма и о котором Райгородский говорит, это вот тот самый Харди из формулы Харди-Вайнберга, которую, думаю, медики знают, помнят и любят

Блин, это гениально
https://www.youtube.com/watch?v=uqwC41RDPyg

Блин, вспомнил с этим Харди-Вайнбергом про свою медицинскую юность. Ностальгия прям. Полез посмотреть, что там сейчас с проектами, где я принимал участие.

Вот наткнулся, аж слезы на глазах )

2015 год, госпиталь Мулаго, Кампала, Уганда
Во втором ряду крайний слева – это я если что )

Здесь я этого почему-то не постил еще, исправляю.
Из курса МакЭлрита

И еще из закромов. Рубрика "Andrew Gelman says".

"...like Sander Greenland who disagrees with everybody"

В рекомендациях всплыло.

Если вы все еще думаете, что лекции по статистике – это скучно, то обязательно посмотрите эти выступления Kristin Lennox, она просто потрясающий рассказчик

Everything wrong with statistics (and how to fix it)
All About that Bayes: Probability, Statistics, and the Quest to Quantify Uncertainty

Качество не очень, но зато очень "залипательно"
https://www.youtube.com/watch?v=z23-awbMnGs