душно про дату
998 subscribers
42 photos
2 files
58 links
Матстат и около него. В интернете кто-то не прав.
Download Telegram
Понемногу возвращаюсь из астрала. Начнём с репоста: ещё одно объяснение, в чем разница между каузацией и ассоциацией, на этот раз в контексте бузинеса.
👍5
# Прогнозная модель vs Причинная модель
Работаю с прогнозированием каждый день и регулярно вижу одну и ту же проблему: бизнес просит инструмент для принятия решений, а команда в ответ обучает прогнозную модель. Кажется логичным, но проблема в том, что это разные задачи. Делюсь своим подходом как я ставлю в inDrive экспертизу по casual forecasting

Прогнозная модель отвечает на вопрос «Сколько заказов будет в городе, если тренд сохранится?». Бизнес спрашивает другое: «Что произойдет с поездками, если мы снизим комиссию для водителей на 10%?». Первое — forecasting. Второе — causal inference

## Почему нельзя «просто подставить новую комиссию в модель»
Почему не работает «просто подставить новую комиссию в модель»? Прогнозная модель минимизирует ошибку между историей и предсказанием. Она эксплицитно учится воспроизводить паттерны, а не изолировать влияние объясняющей переменной на целевую. Когда вы меняете комиссию на входе, удерживая остальные признаки, то вы предполагаете, что модель корректно разделила эффекты комиссии, сезонности, промо и конкурентов. Это не так

Классическое ML отлично отвечает на вопрос: «что будет?». Но бизнес почти всегда спрашивает другое: «что сделать, чтобы стало лучше?». И вот тут предиктивные модели упираются в потолок потому что прогноз это про мир «как он есть» а решение — это вмешательство: мы меняем цену, бюджет и пр.

## Проблема эндогенности
Есть и более фундаментальная проблема: эндогенность. Прогнозная модель не отличает «мы снизили комиссию» от «комиссия снизилась потому что на рынок пришел конкурент и демпингует». А для what-if сценариев это критично потому что бизнесу важен причинный эффект, а не корреляция

## Типовой пример
В городе одновременно растут заказы и падает комиссия. Прогнозная модель видит корреляцию и «запоминает»: низкая комиссия = много заказов. Но на самом деле заказы выросли из-за маркетинговой кампании, а комиссию снизили в ответ на вход конкурента. Если вы используете эту модель для решения «давайте снизим комиссию и получим рост заказов» — вы получите неверный ответ

## Что бизнес на самом деле хочет
Бизнес не хочет дашборд с прогнозами. Точнее сказать сначала он хочет дашборд с прогнозами и хорошие метрики на ретроспектиных данных, но по мере развития проекта он начинает хотеть хочет инструмент управления. «Куда направить маркетинговый бюджет?», «Какой канал реально приносит конверсии?»

Это не задачи прогнозирования. Это про causal inference, оценку причинного эффекта и выбор действий

## Как выглядит причинная модель на практике
На практике это выглядит так: модель строится специально под задачу. Например, комиссия -> количество заказов с контролем confounders. Каузальная модель медленнее в разработке, требует экспертизы в дизайне исследования и не дает красивых метрик на тесте. Но именно она отвечает на вопрос, который бизнес на самом деле задает

## Как их использовать вместе
Прогнозная модель хороша для планирования, причинная — для управления. У меня воркфлоу такой: forecasting для операционных задач (планирование), causal inference для стратегических решений (ценообразование, распределение бюджетов и пр.). Для простых задач планирования хватает прогноза. Для решений, где мы что-то меняем, всегда нужна причинная модель

Прогнозы полезны для планирования, но если цель управленческие решения, то бизнесу нужен не прогнозная, а причинная модель
29👍3
Продолжаю возвращение из астрала. Вышла первая статья по проекту, над которым работал полтора года.

В чем суть?
Современный способ менджерить диабет первого типа — это полузамкнутые системы: датчик гликемии снимает показания каждые 3–5 минут, в зависимости от показаний система может подать сигнал инсулиновой помпе и скорректировать дозу инсулина. Система полузакрытая потому, что в нее все еще нужно руками вводить количество съеденных углеводов и посылать т.н. болюс — дозу быстрого инсулина.

Проблема состоит в том, что подростки существа безалаберные, поэтому достаточно часто забывают/забивают на то, чтобы информировать машинку о приеме пищи. Само собой, это плохо сказывается на гликемических параметрах. С другой стороны, есть три разных популярных системы с несколько разными алгоритмами подачи инсулина. В этой статье мы исследовали, как разные системы справляются с фактом того, что человек поел, а системе об этом рассказать забыл.

Что выяснили?
* Если вы едите, но не вводите инфу об этом в машинку, то результаты у вас будут хуже, причем заметно хуже.
* Чем больше сахаров, тем хуже ваше результаты, особенно если вы не рассказываете системе о приеме пищи.
* Одна из систем справляется с неанонсированным приемом пищи заметно хуже других.

Что интересного для меня?
У нас есть четыре переменные, которые интересуют нас: тип системы (три варианта), количество углеводов (30г и 50г), тип инсулина (два типа), факт информирования системы о приеме углеводов (да или нет). Исследование дизайнили заранее, поэтому каждый пациент наблюдался восемь раз: он не менял свою систему, но употреблял разное количество углеводов, на разных типах инсулина, каждый раз информируя и не информируя систему о приеме пищи (то есть в отношении этих трех переменных у нас full factorial experiment, нужно учитывать зависимости на уровне пациента).

Количество углеводов контролировалось с помощью специального питания, дополнительно это все проводилось с утра натощак в выходной день при условии, что пациент здоров.

С другой стороны, у нас есть набор ковариат, которые влияют на исходы, но сами по себе нас не интересуют: возраст, диабетический стаж, пол.

В регрессионной модели, соответственно, было две части: одна учитывает влияние экспериментальных переменных (как главные эффекты, так и некоторые интеракции, которые мы заранее сочли разумным включить в модель), другая вносит поправку на ковариаты.

Из недостатков: дети не меняли машинки (каждый пользовался тем типом, с которым пришел), рандомизации по машинкам тоже не было.

#ярмарка_тщеславия
8👍4
Завтра будут посиделки. Заходите на огонёк послушать мой нудёж
К обсуждению про односторонние тесты, @smatrosov и @slavenkofm согласились созвониться в этот четверг 19 февраля в 19.00 МСК.
Будет чисто дружеский междусобойчик, проговорим что уже обсудили, ответим на вопросы если останутся
@the_thousand_lepers @bqmaks @Nik_Burlov и все остальные, присоединяйтесь!
🔥91👍1
Кстати. Вот есть такая штука, я там читаю модули про смешанные модели и ресемплинг (монте-карло, бутстреп, пермутации). Остальные модули тоже очень интересные, я хочу послушать их и сам. Приходите :)
👍43
Forwarded from Bioinformatics Institute
Открыт набор на модульный интенсив «Продвинутые разделы биостатистики», который пройдет с 24 февраля по 28 апреля!
bioinf.me/education/workshops/hardstat | Регистрация до 19 марта 23:59 МСК

В этом году интенсив состоит из 8 модулей, и у вас есть возможность выбрать 2, 4, 6 или все 8 модулей!

1. Смешанные линейные модели
2. Продвинутые модели анализа выживаемости
3. Разработка интерактивных приложений в R/Shiny
4. Машинное обучение в R
5. Обработка пропущенных значений
6. Методы на основе ресемплинга
7. Введение в байесовскую статистику
8. Причинно-следственный вывод

🌑 Лекции и практические занятия будут проходить по вечерам вторников и субботам.

🌑 Стоимость:
2 блока: 25 000 р.
4 блока: 35 000 р.
6 блоков: 45 000 р.
8 блоков: 50 000 р.

🐚Предоставляются скидки выпускникам программ переподготовки и интенсивов Института биоинформатики!🐚

Приглашаем всех, кто имеет базовые знания биостатистики и навыки программирования в R, погрузиться в более сложные методы анализа данных!

#bioinf_online #bioinf_education #bioinf_workshop
@bioinformatics_institute
Please open Telegram to view this post
VIEW IN TELEGRAM
7👍3
Подъехала запись с расшифровкой. В первые полчаса моя первая попытка прочитать лекцию про то, как анализировать статистические тесты и из чего они состоят. Потом было интересное обсуждение именно дизайна исследований и того, как думать головой, а не только чиселка считать. Душевно посидели, хочу еще.
🔥9👍1
https://drive.google.com/drive/folders/19G4b3TtxqJ4ge8G6hjelZbwW6eVtGIm-?usp=sharing
Запись, пересказ и транскрипция встречи в четверг! Сначала примерно полчаса по хардкору с формулами, дальше уже больше практическое применение в аналитике
🔥15
душно про дату
Пишите постмортемы Хозяйке на заметку, стараюсь делать сам и рекомендую другим: после окончания каждого проекта пишите «постмортем». Можете в дневничок, можете в блог, можете в обсидиан или куда там еще. Если вы столкнулись с какими-то нестандартными проблемами…
Помните я говорил про то, что неплохо бы писать ретро / постмортемы, пусть даже это будет запись в стол? Эндрю Гельман предлагает похожую штуку: ведение статистического дневника. Изначально это было заданием на его курсе в универе: предлагалось делать запись каждый день на протяжении недели. Никто не мешает это сделать постоянной практикой: пришла мысль — запиши. В принципе, примерно на этом основаны методы типа цеттелькастена.

Коллега Кузнецов, кстати, тоже рекомендует.

Если хотите, можем, например, в комментах попробовать вести совместные записи — недельку или две.
4👍3
В некоторых журналах при подаче манускрипта статьи просят вот такое. Как вам?
👍12🤯10👎2😁2
Вот тут очень интересный сюжет рассматривают.
Forwarded from Data Medicine (Artemiy Okhotin)
Давайте обсудим. В комментариях предположили психологические и другие похожие объяснения, и они, действительно, напрашиваются. Пессимисты/ипохондрики аккуратнее лечатся, тяжелые пациенты склонны отрицать свою болезнь, более образованные люди более трезво оценивают свой прогноз и, при этом, живут дольше (это известный факт).
Однако я бы присмотрелся к эпидемиологии. То есть, занялся бы критическим чтением (надеюсь, все уже прошли специальный курс).
В бузинесе тоже проблемы с воспроизводимостью исследований. Мне, правда, хочется посмотреть на ДИ в каждом случае. Ну и может быть так, что это все истинная гетерогенность: в оригинальном исследовании, например, какой-то нишевый магазин любителей кругленького. В конце концов, в медицине вон много говорят про индивидуализированный подход; было бы странно, если бы в мире бизнеса был один статичный эффект от круглых кнопок, не меняющийся между странами, брендами, индустриями и стабильный во времени.
👍6🤯1
Очень короткой строкой, просто хочу записать мысль.
Одна из задачек, с которой мы сталкиваемся, — это понять, в чем разница между subject-specific и population-averaged эффектами и характеристиками. Так вот, мне кажется, что хороший способ представить себе, что такое популяционные эффекты, состоит в следующем.
Слышали про исследования сточных вод? Типа измеряем вирусную нагрузку ковида на популяцию по сточным водам, или изучаем потребление ПАВ по концентрации метаболитов в сточных водах. Еще пример: бактериологические исследования смывов с ручек общественного транспорта.
Вот это все те самые популяционные характеристики. И в чем их ограниченность тоже хорошо понятно на этих примерах: то, что в сточных водах много интересных веществ, совсем не значит что лично ты, Иван Иванович, хорошо провел выходные. Также пациентов, например, инфекционки вряд ли сильно утешит, что количество позитивных смывов на гепатит А с поручней в метро пошло вниз.
👍6
В биостатере по касательной затронули тему вычмата и вопрос того, что неплохо бы знать, а что там происходит внутри lm() и как подгоняются модели. Вот тут пост, который рассматривает это с более широкого ракурса, можно с него начать ощупывание темы.
👍8🔥1
Друзья, рубрика #ярмарка_тщеславия
Вышел подкаст с моим участием. Ведущий Алексей Кардаш - философ-эпистемолог. Поговорили о том, чем занимаются биостатистики, что такое данные и зачем это все надо. Мне понравилось, вынес много пищи для ума. Кажется, что между статистикой / эпидемиологией / анализом данных и философией познания почему-то не налажены устойчивые контакты, хотя обе стороны могли бы многое вынести из такого диалога. Лежу в эту сторону, вы тоже присоединяйтесь :)
👍75🔥3
Forwarded from Insolarance Cult
Статистика никогда не врёт? Эмпирические данные говорят сами за себя и не нуждаются в интерпретации? Доверия заслуживают лишь исследования с большими выборками? Вместе с биостатистиком и математиком Матвеем Славенко обсуждаем, как работают статистические данные в эпоху, когда к ним прибегают даже в самых повседневных разговорах.

https://youtu.be/x0Kxz7cAdOI
👍109🔥8
Паяльники, синтезаторы и прикладной signal processing

Пятница и выходные, поэтому сегодня немного развлекательного контента, который открывает мои личные вкусы.

Послушал тут два подкаста от Чайного паладина про синтезаторы и то, что их можно собирать самому практически из пеньки и гаек и воодушевился. Во-первых, теперь хочу себе паяльник, который можно запитать через обычный USB и жало у которого через audio jack подключается. В детстве любил играть с паяльником деда и спаивать крупинки олова вместе, видимо, это было не зря.
Во-вторых, конечно, захотел себе коробочку, которая производит звуки матричного принтера, калькулятора и прочей офисной техники, ведь это красиво.
В-третьих, в подкасте упомянули, что есть люди, которые этим всем интересуются чисто с точки зрения математики обработки сигналов, и я что-то почувствовал внутри. Кажется, это может быть входной точкой: я давненько смотрю в сторону того, чтобы причаститься к signal processing; есть ощущение, что там много штук, близких матстату и теорверу или просто перепеавающих их на свой лад. А тут можно будет еще и ручками это все потыкать, вау.

Допссылки: шоуноуты к первому подкасту; список ютубчиков про синтезаторы и около него; объяснение, что за птичка на КДПВ. Сам канал Чайного паладина тоже полистайте, там так-то в основном про НРИ, но не только, синтезаторы просто случайно ворвались в чат.

Приятных выходных!
7👍5🔥3