Онлайн-научные семинары в пятницу 28.10.22 г. (классные, но к сожалению, идут одновременно)

📌Семинар памяти Гэри Чемберлена
5pm London (19:00 по Москве), Zoom.
Кирилл Пономарёв (Чикаго) "Selecting Inequalities for Sharp Identification in Models with Set-Valued Predictions."
Модератор - Stephane Bonhomme.
Регистрация: https://www.chamberlainseminar.org/home
Семинар проходит раз в 2 недели. На сайте выложены старые записи и слайды.

📌Applied Machine Learning, Economics, and Data Science (AMLEDS)
Alberto Cavallo (Harvard) - "Big Data and Covid Inflation"
11:00 EDT / 16:00 GMT / 17:00 CET (19:00 по Москве), Zoom
Регистрация:
https://sites.google.com/view/amleds/home
Мероприятие интересное, среди организаторов Jesús Fernández-Villaverde, например. Проходит раз в месяц, докладчики - Радж Четти, Хелен Рэй, Francis X. Diebold...
На сайте выложены старые записи.

Семинар по Causal Inference

🔸 15 ноября (вторник) в 19:30 МСК — на The Online Causal Inference Seminar 🗣 Karthik Rajkumar (LinkedIn) расскажет про результаты масштабного пятилетнего рандомизированного эксперимента на платформе LinkedIn, направленного на оценку влияния слабых связей на трудовую мобильность.

Подключиться к семинару можно по ссылке. Пароль: 386638.

👉 Подписаться на доказательный ⎵ пробел: https://t.me/evidencespace

Open-source библиотека по A/B тестированию от МТС

Big Data МТС вывели в open source библиотеку Ambrosia для проведения A/B тестов и экспериментов. Инструмент позволяет работать с разными этапами жизненного цикла A/B тестирования от дизайна эксперимента до расчета эффекта, также реализованы основные методы ускорения экспериментов.

💻 Репозиторий Github
✔️ Есть несколько туториалов по работе с библиотекой

@evidencespace

SUNDAY READING LIST: НЕЗНАЧИМЫЕ РЕЗУЛЬТАТЫ

1. Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
Показывают, что из-за "гибкости" в сборе и анализе данных исследователь вероятнее получит ложно-положительный, чем ложно-отрицательный результат. Поэтому предлагают простые правила для авторов и рецензентов: заранее определить момент окончания сбора данных, подробно описывать все условия эксперимента, приводить список всех переменных, приводить результаты с исключаемыми наблюдениями и без них и т.д.

2. Benjamin, D.J., Berger, J.O., Johannesson, M. et al. Redefine statistical significance. Nature Human Behaviour 2, 6–10 (2018). https://doi.org/10.1038/s41562-017-0189-z
Предлагают более строгий порог для р-значения, чтобы повысить надёжность результатов.

3. A. Abadie Statistical Non-Significance in Empirical Economics // NBER working paper, 2018
https://www.nber.org/papers/w24403
Абади утверждает, что результаты эмпирического исследования в экономике интересны, если они меняют наши изначальные представления. Например, ожидаемое воздействие большинства мер государственной политики ненулевое. В этом случае незначимые результаты могут изменить наши убеждения, а значит, они не бесполезны.

4. Часто имеет место publication bias — ситуация, когда вероятнее будет опубликован значимый результат. В нескольких областях науки созданы журналы, где публикуются статьи с незначимыми результатами: психология — Journal of Articles in Support of the Null Hypothesis https://www.jasnh.com/, биомедицина — Journal of Negative Results in Biomedicine https://jnrbm.biomedcentral.com/, экология и эволюционная биология — Journal of Negative Results http://www.jnr-eeb.org/index.php/jnr/index

#sundayreadinglist_efmsu

🆎 Смотрите, какая круть

Митап ODS Reliable ML по АБ-тестированию и Causal Inference - 17 декабря
Анонсы докладов

Всем привет!

Не всё же читать про АБ-тесты, давайте про них говорить!

17 декабря мы с Димой приглашаем вас на митап по АБ-тестам от канала @Reliable ML и Open Data Science.
В программе 9 докладов от мэтров в этой области. Начнем в 11 утра по Мск, закончим - примерно в 18 (или как пойдет).

Регистрация на митап туть!

Очень хотелось бы, чтобы этот митап получился в формате живого обсуждения сложных и интересных тем, с которыми мы с вами встречаемся на практике. А не просто рассказа докладов. Так что просим начинать готовить вопросы участникам и ваши практические кейсы, связанные с АБ, которыми готовы поделиться.

Программа:

11:00 - Ваагн Минасян, Lead DS @ X5 Tech - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе
11:45 - Дмитрий Васькин, Data Scientist @ Lenta - Synthetic Control для AB тестов на малых размерах выборок
12:30 - Аслан Байрамкулов, Head of Experimental Group @ МТС BigData - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами
13:15 - Артем Ерохин, Lead DS @ X5 Tech - Balancing Methods in Causal Inference
14:30 - Александр Сахнов - Парный, пуассоновский и дикий бутстреп
15:15 - Валерий Бабушкин, VP, Data Science @ Blockchain.com - Метрики: от офлайна до иерархии
16:00 - Максим Кочуров, PyMC Labs - Планирование Байесовских АБ тестов
16:45 - Дмитрий Торшин, Data Scientist @ Lenta - Causal Impact и как его готовить
17:30 - Григорий Чернов, PhD in Economics, University of Tuebingen, ВШЭ - Causal Discovery Methods for Experimental Design

Далее постараемся рассказать подробнее об отдельных докладах!

#анонс #tech #ab_testing

Что послушать на ASSA в 2023 году?

Приближаются новогодние праздники, а значит нас снова ждет конференция ASSA от Американской экономической ассоциации. Как и в прошлом году, выбрали секции про доказательную политику и оценку причинно-следственных связей.

6️⃣ января

Causal Inference Methods and Applications in Tech: экстраполяция оценок эффектов от Netflix, платформа проведения ценовых экспериментов от Amazon, оценка долгосрочных эффектов от Microsoft и компромисс между справедливостью и эффективностью на маркетплейсах от Susan Athey.

Adaptive Experimentation and Policy Learning: двурукие гауссовские бандиты при фиксированном бюджете, многорукие бандиты и общие причины (confounding), экспериментальный дизайн при наличии внешних эффектов.

Quasi-Experimental Identification and Estimation: оценка внешних эффектов, выбор валидных инструментальных переменных, анализ чувствительности при эндогенных пропущенных переменных.

Machine Learning and High Dimensional Methods for Causal and Policy Learning: оптимальные алгоритмы для многоруких бандитов, causal inference на зашумленных данных и статистический вывод в ситуации, когда точечные оценки эффекта получить невозможно.

7️⃣ января

Treatment Effects: двухшаговый метод наименьших квадратов и локальный средний эффект воздействия, эффекты воздействия при изучении двусторонних рынков, bunching design, разность в разностях с непрерывным воздействием.

Evidence Use in Policymaking: как в Китае проводят полиси-эксперименты и какие у них ограничения, как полисимейкеры адаптируют свои оценки программ на основе научной экспертизы (полисимейкеры запоминают хорошие результаты и игнорируют плохие), эффекты от обучения чиновников основам эконометрики.

8️⃣ января

Replications in Economics: определение реплицируемости, презентация the Institute for Replication (I4R) и итоги репликации результатов нескольких статей.

@evidencespace

Окей, доказательная политика.

Задача приоритизации (выбора одной из нескольких альтернатив) - самая часто встречающаяся задача в госуправлении. Речь может идти о выборе одного из нескольких инвестиционных проектов, программ с наибольшим риском для достижения цели,оптимальных технологий здоровья или нуждающихся в долговременном уходе.

При этом критерий выбора обычно не единственный. Как правило, необходимо рассматривать целый ряд критериев - например, критериев доступности, влияния
на окружающую среду, здоровья населения и т.д. Задача осложняется тем, что критерии часто имеют сложную структуру и могут конфликтовать между собой.

В таких условиях могут помочь мультикритериальные методы - один из классов алгоритмов теории принятия решений. Важно, что мультикритериальные методы могут быть инструментом, который позволяет сделать более
прозрачным процесс выбора критериев и оценки их важности - этот процесс предполагает вовлечение и диалог между заинтересованными сторонами.

Об этом и о двух полезных алгоритмах MCDA (с примерами и тетрадками Python) экспертная записка Счетной палаты.

Оценка долгосрочных эффектов

Как в индустрии, так и в академии приходится обращать внимание на долгосрочные эффекты от имплементируемых изменений. Например, в онлайн экспериментах кликбейтная вызывающая реклама может приводить в краткосрочном периоде к росту CTR (кликабельности), но в будущем вызовет отток клиентов и снижение прибыли. Многие государственные программы имеют отложенный эффект воздействия.

Основная проблема — результаты оценки для принятия решений нужны здесь и сейчас, а собирать данные долго и дорого. В онлайн-экспериментах увеличение их продолжительности приводит к дополнительным проблемам: потеря пользователей из-за неизбежного удаления куки-файлов, а также смешение тестовой и контрольной групп.

Что можно сделать? Стандартное решение — использование прокси-метрик (driver metrics, surrogate, intermediate short-term outcome), по которым можно предсказать долгосрочный эффект.

Собрали основные статьи про этот и другие подходы с примерами реализации.

@evidencespace

👩🏻‍🎓 АКАДЕМИЯ

📄Chetty et al. (2019). The Surrogate Index: Combining Short-Term Proxies to Estimate Long-Term Treatment Effects More Rapidly and Precisely
⌨️ Код (только Stata, правда😞)

📄Athey S., Chetty R., Imbens G. (2020). Combining Experimental and Observational Data to Estimate Treatment Effects on Long Term Outcomes

📄Chen J., Ritzwoller D.M. (2022). Semiparametric Estimation of Long-Term Treatment Effects
⌨️ Пакет для R

📄Imbens et al. (2022). Long-term Causal Inference Under Persistent Confounding via Data Combination

🧑🏼‍💻 ИНДУСТРИЯ

📄 Hassan et al. (2013). Beyond clicks: query reformulation as a predictor of search satisfaction

📄 Hohnhold H., O’Brien D., Tang D. (2015). Focusing on the Long-term: It’s Good for Users and Business

📄 Duan W., Ba S., Zhang C. (2019). Online Experimentation with Surrogate Metrics: Guidelines and a Case Study
📬 Пост на medium
⌨️ Код в R

📄 Yang et al. (2020). Targeting for long-term outcomes

📄 Sadeghi et al. (2022). Novelty and primacy: a long-term estimator for online experiments

📄Wang at al. (2022). Surrogate for Long-Term User Experience in Recommender Systems

@evidencespace

Reliable ML AB Testing & Causal Inference Meetup
Видео и презентации докладов

Опубликованы видео и презентации докладов нашего декабрьского митапа по АБ тестам и причинно-следственному анализу.

Все доклады, их описания и презентации можно найти на сайте ODS.ai, а также в плейлисте на YouTube.

Ссылки отдельно по докладам:

- Ваагн Минасян - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе (видео, презентация)

- Дмитрий Васькин - Synthetic Control для AB тестов на малых размерах выборок (видео, презентация)

- Аслан Байрамкулов - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами (видео, презентация)

- Артем Ерохин - Balancing Methods in Causal Inference (видео, презентация)

- Александр Сахнов - Парный, пуассоновский и дикий бутстреп (видео, презентация)

- Валерий Бабушкин - Метрики: от офлайна до иерархии (видео, презентация)

- Григорий Чернов - Causal Discovery Methods for Experimental Design (видео, презентация)

- Дмитрий Торшин - Causal Impact и как его готовить (видео, презентация)

- Максим Кочуров - Планирование Байесовских АБ тестов (видео, презентация)

Ваш @Reliable ML

#tech #ab_testing #causal_inference

Открытые материалы по байесовости.

Максим Кочуров (выпускник ЭФ 2018, Сколтех 2020, партнёр PyMC Labs) прочитал магистрантам 2 года программы «Анализ данных а экономике» #ЭФМГУ курс «Машинное обучение в бизнесе». Материалы курса теперь в открытом доступе по ссылке: https://ferrine.github.io/pages/practical-bayes

—————————-
Другие материалы преподавателя:
в декабре Максим выступал на Reliable ML AB testing & Causal Inference Meetup с докладом о планировании Байесовских АБ-тестов, видеозапись доступна на канале Open Data Science: https://www.youtube.com/watch?v=1fnXvWwtFss&t=1s