Байрамкулов Аслан - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В эту субботу 17 декабря в 12:30 на нашем митапе выступит Аслан Байрамкулов, руководитель группы экспериментальных направлений, МТС BigData. Многие могут знать Аслана также и по регулярным итогам года в АБ-тестировании на Дата-ёлках ODS.
В своем докладе Аслан расскажет:
1) про кейсы A/B тестов в МТС BigData, про то, какие бывают эксперименты и как они проводятся на конкретных примерах;
2) про мотивацию создания этой библиотеки, как, зачем и почему мы ее сделали и хотим дальше развивать;
3) что Ambrosia умеет уже сейчас и чем она лучше других инструментов;
4) Ближайшие планы по развитию инструмента.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В эту субботу 17 декабря в 12:30 на нашем митапе выступит Аслан Байрамкулов, руководитель группы экспериментальных направлений, МТС BigData. Многие могут знать Аслана также и по регулярным итогам года в АБ-тестировании на Дата-ёлках ODS.
В своем докладе Аслан расскажет:
1) про кейсы A/B тестов в МТС BigData, про то, какие бывают эксперименты и как они проводятся на конкретных примерах;
2) про мотивацию создания этой библиотеки, как, зачем и почему мы ее сделали и хотим дальше развивать;
3) что Ambrosia умеет уже сейчас и чем она лучше других инструментов;
4) Ближайшие планы по развитию инструмента.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
👍8🔥1
Дмитрий Торшин - Causal Impact и как его готовить
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 16:45 на нашем митапе выступит Дмитрий Торшин, Data Scientist @ Лента.
В докладе Дмитрий расскажет:
- Как устроен Causal Impact и в каких случаях его стоит применять.
- Как используется Causal Impact в Ленте и какие доработки потребовались, чтобы получать устойчивые результаты и эффективно оценивать нововведения.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 16:45 на нашем митапе выступит Дмитрий Торшин, Data Scientist @ Лента.
В докладе Дмитрий расскажет:
- Как устроен Causal Impact и в каких случаях его стоит применять.
- Как используется Causal Impact в Ленте и какие доработки потребовались, чтобы получать устойчивые результаты и эффективно оценивать нововведения.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
👍7🔥3❤1
Александр Сахнов - Парный, пуассоновский и дикий бутстреп
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 14:30 17 декабря Александр Сахнов расскажет о разных типах бутстрепа, их преимуществах, недостатках и границах применимости.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 14:30 17 декабря Александр Сахнов расскажет о разных типах бутстрепа, их преимуществах, недостатках и границах применимости.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
🔥11❤2
Дмитрий Васькин - Synthetic Control для AB тестов на малых размерах выборок
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 11:45 на нашем митапе выступит Дмитрий Васькин, Data Scientist @ Лента.
Дима расскажет о том, что такое синтетический контроль и как он помогает проводить АБ тесты в Ленте даже на небольшом числе магазинов.
Подробнее будут рассмотрены: (1) методы, позволяющие снизить минимально детектируемый эффект и улучшить точность моделей, используемых при синтетическом контроле, (2) способы оценок ошибок I и II рода после применения синтетического контроля.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 11:45 на нашем митапе выступит Дмитрий Васькин, Data Scientist @ Лента.
Дима расскажет о том, что такое синтетический контроль и как он помогает проводить АБ тесты в Ленте даже на небольшом числе магазинов.
Подробнее будут рассмотрены: (1) методы, позволяющие снизить минимально детектируемый эффект и улучшить точность моделей, используемых при синтетическом контроле, (2) способы оценок ошибок I и II рода после применения синтетического контроля.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
👍12🔥2❤1
Максим Кочуров - Планирование Байесовских АБ тестов
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В эту субботу в 16:00 на нашем митапе Максим Кочуров из PyMC Labs расскажет про Байесовский подход к AB тестированию.
Подход состоит из 3 этапов: составление гипотезы про эксперимент, понимание ограничений на время и данные, интерпретирование результатов после сбора данных. Преимуществом является то, что Байесовский AB(C) тест не требует p-values, коррекций или процедур бутстрапа, консервативный (не преувеличивает результат на малых данных) и легко интерпретируем для бизнеса.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В эту субботу в 16:00 на нашем митапе Максим Кочуров из PyMC Labs расскажет про Байесовский подход к AB тестированию.
Подход состоит из 3 этапов: составление гипотезы про эксперимент, понимание ограничений на время и данные, интерпретирование результатов после сбора данных. Преимуществом является то, что Байесовский AB(C) тест не требует p-values, коррекций или процедур бутстрапа, консервативный (не преувеличивает результат на малых данных) и легко интерпретируем для бизнеса.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
👍8🔥1
Премия Экономического факультета МГУ
Открытое голосование до 19 декабря 2022 г.
Родной и любимый экономический факультет, оказывается, выдвинул меня в этом году на премию с открытым голосованием. Должность написана не совсем правильно, но так мне тоже нравится 🙂 И про Reliable ML написано!
В общем, если вам интересно посмотреть, что там как и за кого-нибудь проголосовать, это можно сделать вот тут.
Все кандидаты очень достойные.
А еще есть номинация Золото Эконома с открытым голосованием за преподавателей факультета. Только среди них каждый - Золото Эконома.
На самом деле, не найти слов, как я благодарна факультету за время, проведенное там: за возможность общаться с потрясающими людьми (преподавателями, студентами, выпускниками), за полученные знания, жизненные принципы и взгляды. За умение не бояться задач любой сложности. Так что, кажется, это я должна выдвигать факультет на премии, а не наоборот.
#без_тега
Открытое голосование до 19 декабря 2022 г.
Родной и любимый экономический факультет, оказывается, выдвинул меня в этом году на премию с открытым голосованием. Должность написана не совсем правильно, но так мне тоже нравится 🙂 И про Reliable ML написано!
В общем, если вам интересно посмотреть, что там как и за кого-нибудь проголосовать, это можно сделать вот тут.
Все кандидаты очень достойные.
А еще есть номинация Золото Эконома с открытым голосованием за преподавателей факультета. Только среди них каждый - Золото Эконома.
На самом деле, не найти слов, как я благодарна факультету за время, проведенное там: за возможность общаться с потрясающими людьми (преподавателями, студентами, выпускниками), за полученные знания, жизненные принципы и взгляды. За умение не бояться задач любой сложности. Так что, кажется, это я должна выдвигать факультет на премии, а не наоборот.
#без_тега
👏14👍4🔥3❤1
AB Testing & Causal Inference Meetup
Скоро стартуем
Всем доброе утро!
С 11:00 начинаем наш AB Testing & Causal Inference Meetup от Reliable ML и ODS.
Чтобы попасть на митап (после регистрации) нужно зайти по ссылке и далее по инструкции зайти в spatial.chat.
Напомним программу на сегодня:
11:00 - Ваагн Минасян - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе
11:45 - Дмитрий Васькин - Synthetic Control для AB тестов на малых размерах выборок
12:30 - Аслан Байрамкулов - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами
13:15 - Артем Ерохин - Balancing Methods in Causal Inference
14:30 - Александр Сахнов - Парный, пуассоновский и дикий бутстреп
15:15 - Валерий Бабушкин - Метрики: от офлайна до иерархии
16:00 - Максим Кочуров - Планирование Байесовских АБ тестов
16:45 - Дмитрий Торшин - Causal Impact и как его готовить
17:30 - Григорий Чернов - Causal Discovery Methods for Experimental Design
#анонс #tech #ab_testing #causal_inference
Скоро стартуем
Всем доброе утро!
С 11:00 начинаем наш AB Testing & Causal Inference Meetup от Reliable ML и ODS.
Чтобы попасть на митап (после регистрации) нужно зайти по ссылке и далее по инструкции зайти в spatial.chat.
Напомним программу на сегодня:
11:00 - Ваагн Минасян - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе
11:45 - Дмитрий Васькин - Synthetic Control для AB тестов на малых размерах выборок
12:30 - Аслан Байрамкулов - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами
13:15 - Артем Ерохин - Balancing Methods in Causal Inference
14:30 - Александр Сахнов - Парный, пуассоновский и дикий бутстреп
15:15 - Валерий Бабушкин - Метрики: от офлайна до иерархии
16:00 - Максим Кочуров - Планирование Байесовских АБ тестов
16:45 - Дмитрий Торшин - Causal Impact и как его готовить
17:30 - Григорий Чернов - Causal Discovery Methods for Experimental Design
#анонс #tech #ab_testing #causal_inference
👍10❤2
AB Testing & Causal Inference Meetup
Небольшие изменения в расписании
У нас небольшие перемещения в расписании.
Дальше расписание следующее:
15:15 - Валерий Бабушкин - Метрики: от офлайна до иерархии
16:00 - Григорий Чернов - Causal Discovery Methods for Experimental Design
16:45 - Дмитрий Торшин - Causal Impact и как его готовить
17:30 - Максим Кочуров - Планирование Байесовских АБ тестов
#анонс #tech #ab_testing #causal_inference
Небольшие изменения в расписании
У нас небольшие перемещения в расписании.
Дальше расписание следующее:
15:15 - Валерий Бабушкин - Метрики: от офлайна до иерархии
16:00 - Григорий Чернов - Causal Discovery Methods for Experimental Design
16:45 - Дмитрий Торшин - Causal Impact и как его готовить
17:30 - Максим Кочуров - Планирование Байесовских АБ тестов
#анонс #tech #ab_testing #causal_inference
👍2❤1🔥1
Презентации докладов - AB Testing & Causal Inference Meetup
Пока свежо преданье, публикуем презентации докладов спикеров нашего субботнего митапа.
Все доклады можно найти в гуглпапке по ссылке. Ниже ссылки на отдельные доклады.
- Ваагн Минасян - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе
- Дмитрий Васькин - Synthetic Control для AB тестов на малых размерах выборок
- Аслан Байрамкулов - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами
- Артем Ерохин - Balancing Methods in Causal Inference
- Александр Сахнов - Парный, пуассоновский и дикий бутстреп
- Валерий Бабушкин - Метрики: от офлайна до иерархии
- Григорий Чернов - Causal Discovery Methods for Experimental Design
- Дмитрий Торшин - Causal Impact и как его готовить
- Максим Кочуров - Планирование Байесовских АБ тестов
Видеозаписи будут выложены на Youtube канале ODS в январе 2023 г.
Анонсы будут в нашем канале.
Ваш @Reliable ML
#tech #ab_testing #causal_inference
Пока свежо преданье, публикуем презентации докладов спикеров нашего субботнего митапа.
Все доклады можно найти в гуглпапке по ссылке. Ниже ссылки на отдельные доклады.
- Ваагн Минасян - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе
- Дмитрий Васькин - Synthetic Control для AB тестов на малых размерах выборок
- Аслан Байрамкулов - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами
- Артем Ерохин - Balancing Methods in Causal Inference
- Александр Сахнов - Парный, пуассоновский и дикий бутстреп
- Валерий Бабушкин - Метрики: от офлайна до иерархии
- Григорий Чернов - Causal Discovery Methods for Experimental Design
- Дмитрий Торшин - Causal Impact и как его готовить
- Максим Кочуров - Планирование Байесовских АБ тестов
Видеозаписи будут выложены на Youtube канале ODS в январе 2023 г.
Анонсы будут в нашем канале.
Ваш @Reliable ML
#tech #ab_testing #causal_inference
👍21❤10🔥10
ML System Design Course 2022 - лекции
Список и краткое содержание опубликованных лекций
В ML System Design курсе появились финальные блоки лекций:
(1) лекции 11-16 основной части курса
(2) две бонус-лекции от Reliable ML.
Ниже список и краткое содержание лекций 11-16:
11. Отслеживание экспериментов и версионирование моделей. Краткое введение в версионирование данных, реестры моделей и обзор типичных проблем воспроизводимости.
12. Сложные модели: временные ряды, модели над графами. Технологии работы с временными рядами: особенности работы с значениями времени, технологии и проблемы хранения данных, шаблоны построения пайплайнов, временной ряд как текст. Работа с графовыми данными - сбор, хранение, анализ, process mining.
13. Непредвзятость, безопасность, управление моделями. Карточки моделей как товарная этикетка для ML-моделей. Безопасность ML-систем, угрозы, атаки, анализ и управление рисками. Обеспечение безопасности как непрерывный процесс на протяжении всего жизненного цикла системы. Введение в этику машинного обучения, псевдозакономерности и неприятные ошибки на подвыборках.
14. ML-инфраструктура и платформы. Что такое инфраструктура и сколько ее нужно. Чем процессоры отличаются друг от друга, сколько vCPU в одном ядре и почему одно ядро с гипертредингом считают за два. Сколько стартапы тратят на облака. Чем планировщик отличается от оркестратора, где хранить признаки и нужны ли нам большие сервера для больших данных.
15. Интеграция ML-систем в бизнес-процессы. Бизнес-процессы и системы, в которых они выполняются. Сложности интеграции, управление изменениями, смежные и обеспечивающие системы, контролируемая деградация и контрольные списки.
Список и краткое содержание лекций 1-10 можно посмотреть тут.
На странице курса также доступны презентации и списки рекомендованных к прочтению материалов для каждой лекции.
Две обещанные бонусные лекции в качестве новогоднего подарка от @Reliable ML тоже уже опубликованы. О них - следующим постом.
🎄
#tech #ml_system_design
Список и краткое содержание опубликованных лекций
В ML System Design курсе появились финальные блоки лекций:
(1) лекции 11-16 основной части курса
(2) две бонус-лекции от Reliable ML.
Ниже список и краткое содержание лекций 11-16:
11. Отслеживание экспериментов и версионирование моделей. Краткое введение в версионирование данных, реестры моделей и обзор типичных проблем воспроизводимости.
12. Сложные модели: временные ряды, модели над графами. Технологии работы с временными рядами: особенности работы с значениями времени, технологии и проблемы хранения данных, шаблоны построения пайплайнов, временной ряд как текст. Работа с графовыми данными - сбор, хранение, анализ, process mining.
13. Непредвзятость, безопасность, управление моделями. Карточки моделей как товарная этикетка для ML-моделей. Безопасность ML-систем, угрозы, атаки, анализ и управление рисками. Обеспечение безопасности как непрерывный процесс на протяжении всего жизненного цикла системы. Введение в этику машинного обучения, псевдозакономерности и неприятные ошибки на подвыборках.
14. ML-инфраструктура и платформы. Что такое инфраструктура и сколько ее нужно. Чем процессоры отличаются друг от друга, сколько vCPU в одном ядре и почему одно ядро с гипертредингом считают за два. Сколько стартапы тратят на облака. Чем планировщик отличается от оркестратора, где хранить признаки и нужны ли нам большие сервера для больших данных.
15. Интеграция ML-систем в бизнес-процессы. Бизнес-процессы и системы, в которых они выполняются. Сложности интеграции, управление изменениями, смежные и обеспечивающие системы, контролируемая деградация и контрольные списки.
Список и краткое содержание лекций 1-10 можно посмотреть тут.
На странице курса также доступны презентации и списки рекомендованных к прочтению материалов для каждой лекции.
Две обещанные бонусные лекции в качестве новогоднего подарка от @Reliable ML тоже уже опубликованы. О них - следующим постом.
🎄
#tech #ml_system_design
🔥22👍16❤2
ML System Design Course 2022 - бонусные лекции от Reliable ML
Финальный блок лекций курса
В рамках курса ODS по ML System Design опубликовано две бонусные лекции от Reliable ML.
16. Reliable ML - Интеграция в бизнес-процессы.
Что стоит предусмотреть на этапе дизайна ML системы для того, чтобы последующая интеграция разработанного решения в бизнес-процессы произошла наиболее гладко - и главное, в итоге принесла положительную финансовую прибыль компании. Дополнение к лекции 15.
17. Reliable ML - ML System Design Doc.
Курс почти прошли - теперь знаем как дизайнить ML системы. А как физически уместить в голове все этапы и нюансы дизайна конкретной системы и при этом еще и синхронизировать их и с технической командой, и с бизнес-заказчиком?
В голове не уместить - но можно записать в отдельном документе ML System Design Doc. В лекции рассказываем о том, как, когда и зачем работать с таким документом.
А главное - публикуем в открытый доступ GitHub Repo с шаблоном ML System Design Doc для российской практики.
Отзывы, звездочки, дополнения/улучшения к репозиторию очень приветствуются!
По нашему с Димой мнению, введение дизайн дока в процессы работы Data Science команд может воистину революционно поднять качество работы и применимость итогового решения для бизнеса.
Вот тут в лекции есть также инсайты о том, как заставить нас с Димой сделать вам дизайн док.
На странице курса также доступны презентации и списки рекомендованных к прочтению материалов для каждой лекции.
Этим постом мы также поздравляем всех с публикацией всех лекций курса! 🥳
Вышли на финишную прямую и защиту проекта!
С Наступающим Новым Годом! 🎄🥂
Ваш @Reliable ML
#business #tech #ml_system_design
Финальный блок лекций курса
В рамках курса ODS по ML System Design опубликовано две бонусные лекции от Reliable ML.
16. Reliable ML - Интеграция в бизнес-процессы.
Что стоит предусмотреть на этапе дизайна ML системы для того, чтобы последующая интеграция разработанного решения в бизнес-процессы произошла наиболее гладко - и главное, в итоге принесла положительную финансовую прибыль компании. Дополнение к лекции 15.
17. Reliable ML - ML System Design Doc.
Курс почти прошли - теперь знаем как дизайнить ML системы. А как физически уместить в голове все этапы и нюансы дизайна конкретной системы и при этом еще и синхронизировать их и с технической командой, и с бизнес-заказчиком?
В голове не уместить - но можно записать в отдельном документе ML System Design Doc. В лекции рассказываем о том, как, когда и зачем работать с таким документом.
А главное - публикуем в открытый доступ GitHub Repo с шаблоном ML System Design Doc для российской практики.
Отзывы, звездочки, дополнения/улучшения к репозиторию очень приветствуются!
По нашему с Димой мнению, введение дизайн дока в процессы работы Data Science команд может воистину революционно поднять качество работы и применимость итогового решения для бизнеса.
Вот тут в лекции есть также инсайты о том, как заставить нас с Димой сделать вам дизайн док.
На странице курса также доступны презентации и списки рекомендованных к прочтению материалов для каждой лекции.
Этим постом мы также поздравляем всех с публикацией всех лекций курса! 🥳
Вышли на финишную прямую и защиту проекта!
С Наступающим Новым Годом! 🎄🥂
Ваш @Reliable ML
#business #tech #ml_system_design
🔥24❤4🎉1
С Наступающим Новым Годом! 🎄🥂
Дорогие друзья, спасибо, что были с нами весь этот непростой год!
Многое, кажется, в нем получилось:
- Мы выросли с 450 до 2750 подписчиков! Спасибо, что вы с нами. Мы очень стараемся делать канал интересным и полезным. Ваши отзывы и пожелания также всегда очень интересно читать!
- Организовали секцию Reliable ML на Data Fest 2022.
- Сделали открытый курс по ML System Design.
- Опубликовали в открытый доступ шаблон ML System Design документа.
- Замутили митап по АБ-тестированию и Causal Inference.
- Написали на Хабр несколько статей по интерпретируемости и причинно-следственному анализу.
- Создали хаб Reliable ML на ODS.ai, где можно найти информацию обо всем этом (почти).
Пусть следующий год будет лучше!
Вместе мы сила!
Успехов вам в новом году!
Ваш @Reliable ML
Дорогие друзья, спасибо, что были с нами весь этот непростой год!
Многое, кажется, в нем получилось:
- Мы выросли с 450 до 2750 подписчиков! Спасибо, что вы с нами. Мы очень стараемся делать канал интересным и полезным. Ваши отзывы и пожелания также всегда очень интересно читать!
- Организовали секцию Reliable ML на Data Fest 2022.
- Сделали открытый курс по ML System Design.
- Опубликовали в открытый доступ шаблон ML System Design документа.
- Замутили митап по АБ-тестированию и Causal Inference.
- Написали на Хабр несколько статей по интерпретируемости и причинно-следственному анализу.
- Создали хаб Reliable ML на ODS.ai, где можно найти информацию обо всем этом (почти).
Пусть следующий год будет лучше!
Вместе мы сила!
Успехов вам в новом году!
Ваш @Reliable ML
🎉28👍10🔥6🎄4❤1
АБ-тесты. Экстраполяция результатов пилота
Цикл постов про АБ-тестирование. Пост 8
За предыдущие 7 постов мы закрыли почти все ключевые риски бизнес-процесса АБ-тестирования. Но остался один важный риск, с которым мы еще не разобрались. Это отсутствие единой методики/правил экстраполяции результатов пилота для расчета финансового эффекта на все объекты.
Даже если у нас отлажены процессы дизайна и пилотирования, создана база пилотов и выработана супер корректная статистическая методика расчетов на основе последних практик, финальное решение об инвестициях в проект может оказаться некорректным, если нет правил его масштабирования на всю сеть.
Например, вы получили +1% к выручке на 5 объектах. Можем ли сказать, что при ролл-ауте проекта, для всей сети будет +1% к выручке? Была ли выборка репрезентативна для всей сети? Можем ли назвать результаты пилота робастными? Например, 5 объектов пилота могли быть расположены в Сибири, а основные объекты компании расположены в Центральных регионах.
В идеальном мире вопросы репрезентативности результатов для финальной экстраполяции результатов пилота и методика этого этапа определяются бизнесом совместно с финансовой службой еще на этапе планирования пилота. Именно эти участники процесса АБ обладают наибольшей экспертизой, чтобы определить репрезентативные параметры пилота:
- даты проведения пилота. Период пилота должен иметь длительность, рекомендованную статистическими расчетами, но при этом учитывать последующее применение пилотируемого эксперимента. Например, оптимизацию промо-акции вида Х планируется применять только на сезонные летние товары, следовательно, пилотировать тоже лучше всего в этот период, а не зимой.
- характеристики объектов в пилот и контроль. Стоит учитывать планируемую экстраполяцию результата:
(1) территориально. Если при успехе пилота, его сразу планируется “раскатать” на все объекты, тогда можно математически подобрать репрезентативную группу для всего распределения объектов. Если же планируется поэтапное внедрение (например, сначала все объекты одного региона/города, потом группы регионов), значит для первого пилота подойдут объекты, отражающие специфику конкретного города или региона.
(2) по внутренним показателям объектов (фин. и опер. индикаторы, и др.). Проект может быть направлен на убыточные объекты компании. Значит, и пилотировать его надо на них, и контроли смотреть уж точно не прибыльные.
целевые метрики пилота. Аналогично, если успехом при внедрении проекта для нас будет положительное влияние на маржу при отсутствии отрицательного влияния на совокупные продажи, значит, обе эти метрики должны присутствовать в гипотезах пилота именно в такой постановке. А если планируем эффект на пару категорий продаж, то проверять стоит на них, а не на тотал продажах.
- содержание и механика пилота. Соответствуют ли они планам по внедрению проекта, в случае успеха? Например, если управленчески работа с ценообразованием в магазинах возможна только на уровне целых городов, то, вероятно, не стоит делать выводы об успешности проекта в этой области, проведенного на гранулярности пары отдельных объектов.
Некоторые из вопросов выше могут показаться очевидными. Но на этапах дизайна пилота и финальной экстраполяции результатов пилота иметь это ввиду нужно, и задавать об этом вопросы тоже - если есть сомнения в соответствии пилота и его планируемой применимости в бизнес-процессах компании. Поверьте большому опыту практического АБ за плечами. Очевидное и невероятное всегда где-то рядом 🙂
Если все моменты выше были учтены на этапе дизайна эксперимента, то вопросы робастности результата и возможности его экстраполяции на объекты ролл-аута перестают быть актуальными. Статистически корректная методика (которую мы уже рассмотрели в предыдущих постах) гарантирует нам робастность и корректность экстраполяции результата, если пилот продуман с точки зрения содержательной постановки (бизнес-применения).
#tech #ab_testing
Цикл постов про АБ-тестирование. Пост 8
За предыдущие 7 постов мы закрыли почти все ключевые риски бизнес-процесса АБ-тестирования. Но остался один важный риск, с которым мы еще не разобрались. Это отсутствие единой методики/правил экстраполяции результатов пилота для расчета финансового эффекта на все объекты.
Даже если у нас отлажены процессы дизайна и пилотирования, создана база пилотов и выработана супер корректная статистическая методика расчетов на основе последних практик, финальное решение об инвестициях в проект может оказаться некорректным, если нет правил его масштабирования на всю сеть.
Например, вы получили +1% к выручке на 5 объектах. Можем ли сказать, что при ролл-ауте проекта, для всей сети будет +1% к выручке? Была ли выборка репрезентативна для всей сети? Можем ли назвать результаты пилота робастными? Например, 5 объектов пилота могли быть расположены в Сибири, а основные объекты компании расположены в Центральных регионах.
В идеальном мире вопросы репрезентативности результатов для финальной экстраполяции результатов пилота и методика этого этапа определяются бизнесом совместно с финансовой службой еще на этапе планирования пилота. Именно эти участники процесса АБ обладают наибольшей экспертизой, чтобы определить репрезентативные параметры пилота:
- даты проведения пилота. Период пилота должен иметь длительность, рекомендованную статистическими расчетами, но при этом учитывать последующее применение пилотируемого эксперимента. Например, оптимизацию промо-акции вида Х планируется применять только на сезонные летние товары, следовательно, пилотировать тоже лучше всего в этот период, а не зимой.
- характеристики объектов в пилот и контроль. Стоит учитывать планируемую экстраполяцию результата:
(1) территориально. Если при успехе пилота, его сразу планируется “раскатать” на все объекты, тогда можно математически подобрать репрезентативную группу для всего распределения объектов. Если же планируется поэтапное внедрение (например, сначала все объекты одного региона/города, потом группы регионов), значит для первого пилота подойдут объекты, отражающие специфику конкретного города или региона.
(2) по внутренним показателям объектов (фин. и опер. индикаторы, и др.). Проект может быть направлен на убыточные объекты компании. Значит, и пилотировать его надо на них, и контроли смотреть уж точно не прибыльные.
целевые метрики пилота. Аналогично, если успехом при внедрении проекта для нас будет положительное влияние на маржу при отсутствии отрицательного влияния на совокупные продажи, значит, обе эти метрики должны присутствовать в гипотезах пилота именно в такой постановке. А если планируем эффект на пару категорий продаж, то проверять стоит на них, а не на тотал продажах.
- содержание и механика пилота. Соответствуют ли они планам по внедрению проекта, в случае успеха? Например, если управленчески работа с ценообразованием в магазинах возможна только на уровне целых городов, то, вероятно, не стоит делать выводы об успешности проекта в этой области, проведенного на гранулярности пары отдельных объектов.
Некоторые из вопросов выше могут показаться очевидными. Но на этапах дизайна пилота и финальной экстраполяции результатов пилота иметь это ввиду нужно, и задавать об этом вопросы тоже - если есть сомнения в соответствии пилота и его планируемой применимости в бизнес-процессах компании. Поверьте большому опыту практического АБ за плечами. Очевидное и невероятное всегда где-то рядом 🙂
Если все моменты выше были учтены на этапе дизайна эксперимента, то вопросы робастности результата и возможности его экстраполяции на объекты ролл-аута перестают быть актуальными. Статистически корректная методика (которую мы уже рассмотрели в предыдущих постах) гарантирует нам робастность и корректность экстраполяции результата, если пилот продуман с точки зрения содержательной постановки (бизнес-применения).
#tech #ab_testing
👍11❤1🔥1
Reliable ML AB Testing & Causal Inference Meetup
Видео и презентации докладов
Опубликованы видео и презентации докладов нашего декабрьского митапа по АБ тестам и причинно-следственному анализу.
Все доклады, их описания и презентации можно найти на сайте ODS.ai, а также в плейлисте на YouTube.
Ссылки отдельно по докладам:
- Ваагн Минасян - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе (видео, презентация)
- Дмитрий Васькин - Synthetic Control для AB тестов на малых размерах выборок (видео, презентация)
- Аслан Байрамкулов - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами (видео, презентация)
- Артем Ерохин - Balancing Methods in Causal Inference (видео, презентация)
- Александр Сахнов - Парный, пуассоновский и дикий бутстреп (видео, презентация)
- Валерий Бабушкин - Метрики: от офлайна до иерархии (видео, презентация)
- Григорий Чернов - Causal Discovery Methods for Experimental Design (видео, презентация)
- Дмитрий Торшин - Causal Impact и как его готовить (видео, презентация)
- Максим Кочуров - Планирование Байесовских АБ тестов (видео, презентация)
Ваш @Reliable ML
#tech #ab_testing #causal_inference
Видео и презентации докладов
Опубликованы видео и презентации докладов нашего декабрьского митапа по АБ тестам и причинно-следственному анализу.
Все доклады, их описания и презентации можно найти на сайте ODS.ai, а также в плейлисте на YouTube.
Ссылки отдельно по докладам:
- Ваагн Минасян - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе (видео, презентация)
- Дмитрий Васькин - Synthetic Control для AB тестов на малых размерах выборок (видео, презентация)
- Аслан Байрамкулов - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами (видео, презентация)
- Артем Ерохин - Balancing Methods in Causal Inference (видео, презентация)
- Александр Сахнов - Парный, пуассоновский и дикий бутстреп (видео, презентация)
- Валерий Бабушкин - Метрики: от офлайна до иерархии (видео, презентация)
- Григорий Чернов - Causal Discovery Methods for Experimental Design (видео, презентация)
- Дмитрий Торшин - Causal Impact и как его готовить (видео, презентация)
- Максим Кочуров - Планирование Байесовских АБ тестов (видео, презентация)
Ваш @Reliable ML
#tech #ab_testing #causal_inference
🎉26👍11❤10🔥1
Интерпретируемость ML-моделей: от инструментов до потребностей пользователя
Новая статья на Хабре
Опубликовали с Димой статью на Хабре - на основе постов в канале от осени 2022 г. Может быть интересно как новым участникам канала, так и тем, кому интересно прочитать все системно вместе, а не отдельными постами.
Интерпретируемость ML-моделей - очень широкая концепция. То, насколько интерпретация хороша, зависит не только от инструментов и отчетов, которые мы предоставляем пользователю, но и от потребностей пользователя и особенностей задач, которые он решает.
В статье разберемся, как эффективно работать с интерпретируемостью ML-моделей в зависимости от потребностей ключевых пользователей.
Лайк, шер, репост, конечно же! Всем добра! 🌹
Ваш @Reliable ML
https://habr.com/ru/post/709688/
Новая статья на Хабре
Опубликовали с Димой статью на Хабре - на основе постов в канале от осени 2022 г. Может быть интересно как новым участникам канала, так и тем, кому интересно прочитать все системно вместе, а не отдельными постами.
Интерпретируемость ML-моделей - очень широкая концепция. То, насколько интерпретация хороша, зависит не только от инструментов и отчетов, которые мы предоставляем пользователю, но и от потребностей пользователя и особенностей задач, которые он решает.
В статье разберемся, как эффективно работать с интерпретируемостью ML-моделей в зависимости от потребностей ключевых пользователей.
Лайк, шер, репост, конечно же! Всем добра! 🌹
Ваш @Reliable ML
https://habr.com/ru/post/709688/
Хабр
Интерпретируемость ML-моделей: от инструментов до потребностей пользователя
Интерпретируемость ML-моделей - очень широкая концепция. То, насколько интерпретация хороша, зависит не только от инструментов и отчетов, которые мы предоставляем пользователю, но и от потребностей...
👍28🔥2❤1
Mathshub - Бесплатный интенсив по SQL
Старт 30 января
Мы уже рассказывали вам об Айре Монгуш и ее проекте Mathshub.
Помимо коммерческих курсов команда Айры периодически делает классные бесплатные мероприятия.
Например, 30 января стартует бесплатный интенсив по основам SQL.
Преподаватель - Любовь Цурикова (Билайн, Association Maison Russe, МИФИ). В курсе за 3 недели будут рассмотрены основы SQL, создания баз данных, работе с базами данных и формированию запросов для поиска информации.
Регистрация тут.
#tech
Старт 30 января
Мы уже рассказывали вам об Айре Монгуш и ее проекте Mathshub.
Помимо коммерческих курсов команда Айры периодически делает классные бесплатные мероприятия.
Например, 30 января стартует бесплатный интенсив по основам SQL.
Преподаватель - Любовь Цурикова (Билайн, Association Maison Russe, МИФИ). В курсе за 3 недели будут рассмотрены основы SQL, создания баз данных, работе с базами данных и формированию запросов для поиска информации.
Регистрация тут.
#tech
👍5❤1🔥1
О чем вам было бы интересно услышать? Очень приветствуются ваши идеи в комментариях!
Anonymous Poll
43%
Позиции в DS: junior - middle - senior - team lead - head. Отличия, особенности, ответственность
45%
ML Engineers vs. Data Scientists. Когда стоит разделять такие роли и как выстроить взаимодействие
23%
Выбор организационной модели для построения Дата-офиса
31%
Роли в Дата-офисе: компетенции, обязанности, сферы ответственности
26%
Варианты взаимодействия технических команд с бизнесом. Операционные модели в Дата-офисе
41%
Что такое стратегия по данным, зачем и когда она нужна, и как ее правильно написать
31%
Data Governance & Data Quality
2%
Расскажите лучше про <ваша идея в комментариях>
2%
Не надо новых тем, достали уже
👍3🔥1
Reliable ML - Планы на 2023
О чем поговорим?
Всех с Наступившими праздниками!🥳
Врываемся с новыми силами и целями в новый год.
В этом году мы с Димой планируем продолжить писать про: АБ тестирование и причинно-следственный анализ, интерпретируемость моделей, дизайн систем машинного обучения, интеграцию моделей в бизнес процессы.
Вообще мы можем рассказать больше. Но стесняемся (на самом деле, нет).
Пройдите, пожалуйста, опрос выше - со списком новых тем, о которых можно поговорить в этом году. О чем еще вам было бы интересно услышать? Очень приветствуются свои варианты ответа в комментариях.
#business #tech #plans
О чем поговорим?
Всех с Наступившими праздниками!🥳
Врываемся с новыми силами и целями в новый год.
В этом году мы с Димой планируем продолжить писать про: АБ тестирование и причинно-следственный анализ, интерпретируемость моделей, дизайн систем машинного обучения, интеграцию моделей в бизнес процессы.
Вообще мы можем рассказать больше. Но стесняемся (на самом деле, нет).
Пройдите, пожалуйста, опрос выше - со списком новых тем, о которых можно поговорить в этом году. О чем еще вам было бы интересно услышать? Очень приветствуются свои варианты ответа в комментариях.
#business #tech #plans
🎉17👍6🔥1
АБ-тесты. Дополнительное об экстраполяции результатов пилота
Цикл постов про АБ-тестирование. Пост 9
Рассмотрим в дополнение к предыдущему посту пару важных краевых сценариев:
- Нужно оценить эффект сразу от внедрения проекта на все объекты - при отсутствии контрольной группы. Проведение пилота было невозможно.
Это вопрос уже не экстраполяции результата, а методики оценки для подобных случаев. Тут вспоминаем доказательную лестницу методов причинно-следственного анализа и понимаем, что наш путь лежит от классических АБ-тестов к ступеньке ниже - методам контрфактического анализа. Самым популярным из которых является causal impact. Про него мы с вами 17 декабря на митапе Reliable ML как раз послушали отличный доклад (видео будет в январе, а презентацию можно смотреть уже сейчас).
- Не хотим мучиться с методикой экстраполяции и продумывать параметры пилота. Внедряем как получилось, а потом бахаем causal impact и вуаля, у нас есть оценка и пилота, и ролл-аута.
Не надо так. Оценки по двум методам будут не согласованы между собой, что неудивительно, поскольку: (1) мы не заморачивались содержательной постановкой пилота, (2) оценка контрфактическими методами при прочих равных будет менее корректна, чем оценка с помощью АБ-тестирования.
- А что если моя модель хорошо отработала на пилоте, а потом - при работе на всех объектах - начнет деградировать? Результат же изменится и финансовый эффект тоже!
Модель обязательно начнет деградировать, а финансовый эффект - начнет снижаться. Только это уже тема за рамками цикла постов про процессы в АБ-тестировании. Это про оценку и мониторинг модельного риска, который можно и нужно отслеживать при внедрении модели, чтобы вовремя с ним бороться и сохранять максимально возможную выгоду от работы модели в продуктиве. Про это мы с Димой еще напишем.
В рамках пилотирования и экстраполяции результата нас интересует первичный финансовый эффект от внедрения модели в продуктив. Окупит ли модель затраты на ее создание, если мы запустим ее в боевые условия? Это и показывает пилот. Предполагаем, что в случае успеха при внедрении модели мы научимся мониторить модельный риск и будем держать его на минимуме.
Ну чтож, получается, теперь мы не только можем правильно посчитать эффект от пилота, но и можем сделать адекватное предположение о его суммарном финансовом эффекте в случае ролл-аута.
Поздравляем вас с завершением цикла постов про АБ-тестирование!
#tech #ab_testing
Цикл постов про АБ-тестирование. Пост 9
Рассмотрим в дополнение к предыдущему посту пару важных краевых сценариев:
- Нужно оценить эффект сразу от внедрения проекта на все объекты - при отсутствии контрольной группы. Проведение пилота было невозможно.
Это вопрос уже не экстраполяции результата, а методики оценки для подобных случаев. Тут вспоминаем доказательную лестницу методов причинно-следственного анализа и понимаем, что наш путь лежит от классических АБ-тестов к ступеньке ниже - методам контрфактического анализа. Самым популярным из которых является causal impact. Про него мы с вами 17 декабря на митапе Reliable ML как раз послушали отличный доклад (видео будет в январе, а презентацию можно смотреть уже сейчас).
- Не хотим мучиться с методикой экстраполяции и продумывать параметры пилота. Внедряем как получилось, а потом бахаем causal impact и вуаля, у нас есть оценка и пилота, и ролл-аута.
Не надо так. Оценки по двум методам будут не согласованы между собой, что неудивительно, поскольку: (1) мы не заморачивались содержательной постановкой пилота, (2) оценка контрфактическими методами при прочих равных будет менее корректна, чем оценка с помощью АБ-тестирования.
- А что если моя модель хорошо отработала на пилоте, а потом - при работе на всех объектах - начнет деградировать? Результат же изменится и финансовый эффект тоже!
Модель обязательно начнет деградировать, а финансовый эффект - начнет снижаться. Только это уже тема за рамками цикла постов про процессы в АБ-тестировании. Это про оценку и мониторинг модельного риска, который можно и нужно отслеживать при внедрении модели, чтобы вовремя с ним бороться и сохранять максимально возможную выгоду от работы модели в продуктиве. Про это мы с Димой еще напишем.
В рамках пилотирования и экстраполяции результата нас интересует первичный финансовый эффект от внедрения модели в продуктив. Окупит ли модель затраты на ее создание, если мы запустим ее в боевые условия? Это и показывает пилот. Предполагаем, что в случае успеха при внедрении модели мы научимся мониторить модельный риск и будем держать его на минимуме.
Ну чтож, получается, теперь мы не только можем правильно посчитать эффект от пилота, но и можем сделать адекватное предположение о его суммарном финансовом эффекте в случае ролл-аута.
Поздравляем вас с завершением цикла постов про АБ-тестирование!
#tech #ab_testing
👍11❤3🔥2
АБ-тесты. Интеграция в процесс пилотирования
Полный цикл постов про процессы в АБ-тестировании
Друзья, цикл постов про процессы в АБ-тестировании можно торжественно объявить закрытым. Ура!🥇
Все посты цикла ниже:
Пост 1. АБ-тесты - это не только ценный мех… Но еще и процессы. Об инвестиционном цикле и месте АБ в нем.
Пост 2. Как выглядит типовой бизнес-процесс без АБ.
Пост 3. Риски типового бизнес-процесса без АБ.
Пост 4. Что делать. Взаимодействие АБ-команды, финансовой службы и бизнеса.
Пост 5. Что делать. База пилотов.
Пост 6. Что делать. Математическая методика дизайна и оценки результатов пилотов.
Пост 7. Что делать. Подборка материалов по АБ.
Пост 8. Что делать. Экстраполяция результатов пилота.
Пост 9. Что делать. Дополнительное об экстраполяции результатов пилота.
В планах - собрать это все добро в одну большую красивую статью на Хабр.
#tech #ab_testing
Полный цикл постов про процессы в АБ-тестировании
Друзья, цикл постов про процессы в АБ-тестировании можно торжественно объявить закрытым. Ура!
Все посты цикла ниже:
Пост 1. АБ-тесты - это не только ценный мех… Но еще и процессы. Об инвестиционном цикле и месте АБ в нем.
Пост 2. Как выглядит типовой бизнес-процесс без АБ.
Пост 3. Риски типового бизнес-процесса без АБ.
Пост 4. Что делать. Взаимодействие АБ-команды, финансовой службы и бизнеса.
Пост 5. Что делать. База пилотов.
Пост 6. Что делать. Математическая методика дизайна и оценки результатов пилотов.
Пост 7. Что делать. Подборка материалов по АБ.
Пост 8. Что делать. Экстраполяция результатов пилота.
Пост 9. Что делать. Дополнительное об экстраполяции результатов пилота.
В планах - собрать это все добро в одну большую красивую статью на Хабр.
#tech #ab_testing
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥33👍5🏆4❤1
Пишем ML System Design Doc вместе с Reliable ML
Учимся работать с шаблоном дизайн документа на реальных задачах
В декабре - в рамках открытого курса по ML System Design - мы опубликовали шаблон Reliable ML для дизайн документа систем машинного обучения и лекцию о том, что это такое и как с ним работать.
А в качестве вишенки на торте - объявили о готовности написать дизайн док вместе с вами (подробности в видео тут). Особенно, если это реальная задача и вы готовы разместить ссылку на ваш итоговый дизайн док в нашем репозитории (разумеется, удалив NDA часть).
С января мы уже работаем над рядом классных доков, в феврале - готовы взять еще пару проектов. Пишите - пока есть пара мест.
P.S. Если не готовы публично размещать итоговый документ, но все-равно нуждаетесь в нашей помощи - пишите. Попробуем вам помочь, если уместимся в вывозимую нагрузку).
Ваш @Reliable ML
#tech #ml_system_design
Учимся работать с шаблоном дизайн документа на реальных задачах
В декабре - в рамках открытого курса по ML System Design - мы опубликовали шаблон Reliable ML для дизайн документа систем машинного обучения и лекцию о том, что это такое и как с ним работать.
А в качестве вишенки на торте - объявили о готовности написать дизайн док вместе с вами (подробности в видео тут). Особенно, если это реальная задача и вы готовы разместить ссылку на ваш итоговый дизайн док в нашем репозитории (разумеется, удалив NDA часть).
С января мы уже работаем над рядом классных доков, в феврале - готовы взять еще пару проектов. Пишите - пока есть пара мест.
P.S. Если не готовы публично размещать итоговый документ, но все-равно нуждаетесь в нашей помощи - пишите. Попробуем вам помочь, если уместимся в вывозимую нагрузку).
Ваш @Reliable ML
#tech #ml_system_design
👍24🔥2❤1