Что такое Reliable ML?
Настало время объяснить, что было задумано при создании данного канала. Концепция Reliable ML – это о том, что делать, чтобы результат работы data science/big data команд был, во-первых, применим в бизнес-процессах компании-заказчика, а, во-вторых, приносил этой компании пользу.
Что для этого нужно?
- Уметь составлять грамотный план исследования и развития продукта, учитывающий дальнейшее применение модели. Для таких постов вводим тег #planning
- Различать подходы, направленные на прогноз и на управление параметрами модели в дальнейшем для изменения ее результата (например, управление периодом и форматом проведения промо-активностей для максимизации выручки компании). Для второй цели – которая на практике встречается гораздо чаще просто прогноза – важно ориентироваться в подходах причинно-следственного анализа. О том, что такое причинно-следственный анализ, чем он отличается от простой корреляции, зачем и как его применять в DS-задачах, мы рассказываем вам под тегом #causal_inference
- Принимать взвешенные решения о дальнейшем развитии проекта и его потенциальном финансовом эффекте. Для этого необходимо не только проработать качественный дизайн пилотного эксперимента для вашей модели, но и затем сделать корректную статистическую оценку эффекта пилота, а также расчет ожидаемого финансового эффекта. О технической составляющей этого процесса мы будем рассказывать вам под тегом #ab_testing, о выстраивании процесса управления рисками инвестиционных инициатив – под тегами #investment_process
- Уметь интерпретировать работу и результат модели как для технической команды, так и для конечного пользователя (бизнеса). Для этого мы рассказываем вам об интерпретируемости. Теперь все посты по Interpretable ML будут помечены тегом #interpretable_ml
- Уметь выбрать не только корректные технические метрики качества для решаемой задачи, но и сформулировать правильные бизнес-метрики, связанные с процессом применения модели, связать их с техническими метриками и итоговым финансовым результатом применения модели. Тут тег довольно очевидный - #metrics
Итак, концепция Reliable ML охватывает не только технические особенности ML (#tech), но и построение процессов работы DS и взаимодействия с бизнесом (#business) для достижения максимального финансового эффекта.
Stay tuned!
Настало время объяснить, что было задумано при создании данного канала. Концепция Reliable ML – это о том, что делать, чтобы результат работы data science/big data команд был, во-первых, применим в бизнес-процессах компании-заказчика, а, во-вторых, приносил этой компании пользу.
Что для этого нужно?
- Уметь составлять грамотный план исследования и развития продукта, учитывающий дальнейшее применение модели. Для таких постов вводим тег #planning
- Различать подходы, направленные на прогноз и на управление параметрами модели в дальнейшем для изменения ее результата (например, управление периодом и форматом проведения промо-активностей для максимизации выручки компании). Для второй цели – которая на практике встречается гораздо чаще просто прогноза – важно ориентироваться в подходах причинно-следственного анализа. О том, что такое причинно-следственный анализ, чем он отличается от простой корреляции, зачем и как его применять в DS-задачах, мы рассказываем вам под тегом #causal_inference
- Принимать взвешенные решения о дальнейшем развитии проекта и его потенциальном финансовом эффекте. Для этого необходимо не только проработать качественный дизайн пилотного эксперимента для вашей модели, но и затем сделать корректную статистическую оценку эффекта пилота, а также расчет ожидаемого финансового эффекта. О технической составляющей этого процесса мы будем рассказывать вам под тегом #ab_testing, о выстраивании процесса управления рисками инвестиционных инициатив – под тегами #investment_process
- Уметь интерпретировать работу и результат модели как для технической команды, так и для конечного пользователя (бизнеса). Для этого мы рассказываем вам об интерпретируемости. Теперь все посты по Interpretable ML будут помечены тегом #interpretable_ml
- Уметь выбрать не только корректные технические метрики качества для решаемой задачи, но и сформулировать правильные бизнес-метрики, связанные с процессом применения модели, связать их с техническими метриками и итоговым финансовым результатом применения модели. Тут тег довольно очевидный - #metrics
Итак, концепция Reliable ML охватывает не только технические особенности ML (#tech), но и построение процессов работы DS и взаимодействия с бизнесом (#business) для достижения максимального финансового эффекта.
Stay tuned!
Какие темы Reliable ML освещать больше?
Anonymous Poll
50%
#interpretable_ml
58%
#causal_inference
23%
#planning
42%
#ab_testing
17%
#investment_process
39%
#metrics
Data Fest 3.0 - Reliable ML - Call for presentations
В этом году - 4 июня 2022 г. - состоится Data Fest 3.0 - крупнейшая конференция крупнейшего русскоязычного сообщества Open Data Science в области анализа данных.
Конференция будет онлайн, о деталях проведения скоро будет известно.
А сейчас хотелось бы объявить сбор заявок на доклады по теме Reliable ML.
О том, что такое Reliable ML можно почитать тут. Форма для заявок вот тут.
Будем рады, если сможете рассказать об интересных теоретических аспектах, или о кейсах применения в бизнесе по следующим темам:
- Планирование исследований и развития продукта – #planning
- Причинно-следственный анализ в машинном обучении – #causal_inference
- АБ-тестирование – #ab_testing
- Управление рисками инвестиционных инициатив – #investment_process
- Интерпретация моделей – #interpretable_ml
- Выбор технических и бизнес-метрик для оценки качества моделей - #metrics
В этом году - 4 июня 2022 г. - состоится Data Fest 3.0 - крупнейшая конференция крупнейшего русскоязычного сообщества Open Data Science в области анализа данных.
Конференция будет онлайн, о деталях проведения скоро будет известно.
А сейчас хотелось бы объявить сбор заявок на доклады по теме Reliable ML.
О том, что такое Reliable ML можно почитать тут. Форма для заявок вот тут.
Будем рады, если сможете рассказать об интересных теоретических аспектах, или о кейсах применения в бизнесе по следующим темам:
- Планирование исследований и развития продукта – #planning
- Причинно-следственный анализ в машинном обучении – #causal_inference
- АБ-тестирование – #ab_testing
- Управление рисками инвестиционных инициатив – #investment_process
- Интерпретация моделей – #interpretable_ml
- Выбор технических и бизнес-метрик для оценки качества моделей - #metrics
Где внедрение ML даст наибольшую отдачу?
На секции Reliable ML 5 июня было много технических дискуссий. Давайте немного переключимся и обсудим бизнес-аспекты этой концепции.
Инвестируя в построение продвинутой аналитики, компании сталкиваются с проблемой выбора направления развития. Необходимо учесть не только уровень и масштаб самой компании, но и специфику рынка и уровень погружения компании в технологии.
Концепция Reliable ML предлагает начать с составления карты возможных инициатив (списка всех возможных направлений для инвестиций). Для этого предлагается проанализировать международный и отраслевой опыт и провести интервью с подразделениями компании, заинтересованными во внедрении продвинутой аналитики. По каждой инициативе желательно понимать: цель, ожидаемый результат, необходимый состав данных, функционал итогового решения, регулярность обновления результата и требования к актуальности данных, ожидаемые эффект и издержки, приоритет задачи от бизнеса, а также ожидаемые сроки реализации MVP и, верхнеуровнево, дальнейшей продуктивизации.
На основе карты возможных инициатив мы можем ранжировать возможные инвестиции, используя набор универсальных критериев. Это может быть скоринг, в котором конкретные веса задаются с учетом специфики компании, либо общее понимание возможных направлений развития.
Ключевые принципы ранжирования
Actionable:
- Сложность реализации инициативы средствами ML/DS
- Применимость инициативы для текущих бизнес-процессов
Measurable:
- Возможность проведения пилотного эксперимента для тестирования данной инициативы и корректной оценки ее эффекта на ключевые бизнес-показатели компании
Impact:
- Возможность рассчитать ожидаемый эффект от внедрения инициативы на ключевые бизнес-показатели компании
- Является ли ожидаемый эффект материальным с точки зрения PnL компании
- Является ли ожидаемый эффект достижимым в ближайшие 12 месяцев (Quick-Wins First)
Business Priority:
- Оценка приоритетности выполнения инициативы со стороны вовлеченных во внедрение инициативы бизнес-подразделений
Positive Business Case:
- Превышает ли ожидаемый эффект от реализации инициативы затраты на проект
- Инициатива может быть встроена в бизнес-процессы в ближайшие 12 месяцев (Quick-Wins First)
#business #planning
На секции Reliable ML 5 июня было много технических дискуссий. Давайте немного переключимся и обсудим бизнес-аспекты этой концепции.
Инвестируя в построение продвинутой аналитики, компании сталкиваются с проблемой выбора направления развития. Необходимо учесть не только уровень и масштаб самой компании, но и специфику рынка и уровень погружения компании в технологии.
Концепция Reliable ML предлагает начать с составления карты возможных инициатив (списка всех возможных направлений для инвестиций). Для этого предлагается проанализировать международный и отраслевой опыт и провести интервью с подразделениями компании, заинтересованными во внедрении продвинутой аналитики. По каждой инициативе желательно понимать: цель, ожидаемый результат, необходимый состав данных, функционал итогового решения, регулярность обновления результата и требования к актуальности данных, ожидаемые эффект и издержки, приоритет задачи от бизнеса, а также ожидаемые сроки реализации MVP и, верхнеуровнево, дальнейшей продуктивизации.
На основе карты возможных инициатив мы можем ранжировать возможные инвестиции, используя набор универсальных критериев. Это может быть скоринг, в котором конкретные веса задаются с учетом специфики компании, либо общее понимание возможных направлений развития.
Ключевые принципы ранжирования
Actionable:
- Сложность реализации инициативы средствами ML/DS
- Применимость инициативы для текущих бизнес-процессов
Measurable:
- Возможность проведения пилотного эксперимента для тестирования данной инициативы и корректной оценки ее эффекта на ключевые бизнес-показатели компании
Impact:
- Возможность рассчитать ожидаемый эффект от внедрения инициативы на ключевые бизнес-показатели компании
- Является ли ожидаемый эффект материальным с точки зрения PnL компании
- Является ли ожидаемый эффект достижимым в ближайшие 12 месяцев (Quick-Wins First)
Business Priority:
- Оценка приоритетности выполнения инициативы со стороны вовлеченных во внедрение инициативы бизнес-подразделений
Positive Business Case:
- Превышает ли ожидаемый эффект от реализации инициативы затраты на проект
- Инициатива может быть встроена в бизнес-процессы в ближайшие 12 месяцев (Quick-Wins First)
#business #planning