Data Fest 3.0 - Reliable ML - Программа

Секция Reliable ML состоится 5 июня онлайн.
Планируем провести 3 круглых стола по актуальным темам.

Тема 1: Interpretable ML.

Про стандартные алгоритмы интерпретируемости много докладов сказано, много книг и статей написано. Обсудим вопросы, которые встречаются на практике и не имеют однозначного решения.

Вот несколько примеров из нашей практики:

- Агрегация результата интерпретации множества однотипных моделей
- Интерпретация результатов оптимизации
- Учет качества модели при интерпретации
- Объяснение логики работы модели конечным пользователям
- Использование интерпретируемости при расследовании инцидентов
- Интерпретация по внешним данным
- Конфликт этики и простоты оптимизации

Обсуждение пройдет намного лучше, если вы добавите свои вопросы по интерпретации моделей. Это можно сделать вот тут.

Эксперты:

Кирилл Быков, PhD student, TU Berlin – Understandable Machine Intelligence Lab
Данила Савенков, Senior ML Engineer, Yandex
Вадим Борисов Research Fellow / Ph.D. Student, University of Tübingen, Germany
Юрий Бабуров, CTO ApRbot

Эксперты-модераторы:

Дмитрий Колодезев, директор Promsoft
Ирина Голощапова, Head of Data Science, Lenta

Data Fest 3.0 - Reliable ML - Программа
Продолжаем анонсы

Секция Reliable ML состоится 5 июня онлайн.
Планируем провести 3 круглых стола по актуальным темам.

Тема 2: Causal Inference in ML

За последние пару лет осознание того, что причинно-следственный анализ - это важно и нужно в ML системах, довольно прочно пришло в бизнес. А где же бизнес все-таки использует causal inference?

Поговорим об известных кейсах, обсудим ваши вопросы по использованию causal inference в работе.

Если вы хотели бы добавить свои вопросы для обсуждения - welcome. Пишите здесь.

Эксперты:

Иван Комаров, Chief Data Scientist, ЦФТ
Григорий Чернов, экономист, аспирант лаборатории экспериментальной и поведенческой экономики Высшей школы экономики, приглашенный исследователь департамента принятия решения Тюбингенского университета
Иван Горбань, Senior Data Scientist, Careem

Эксперты-модераторы:

Дмитрий Колодезев, директор Promsoft
Ирина Голощапова, Head of Data Science, Lenta

***
Тема 1: Interpretable ML.
В круглом столе по Interpretable ML, кстати, серьезно обогатился состав экспертов.

По мотивам постов в канале опубликована новая статья на Хабр: Интерпретируемость в машинном обучении: итоги 2021 г.

А уже 5 июня, на секции Reliable ML Data Fest 3.0, Дима Колодезев, директор Promsoft, расскажет доклад о том, что нового появилось в интерпретируемости в последнее время.

Data Fest 3.0 - Reliable ML - Программа
Продолжаем анонсы

Секция Reliable ML состоится 5 июня онлайн.
Планируем провести 3 круглых стола по актуальным темам.

Тема 3: ML System Design

Компетенции в области ML System Design крайне востребованы на рынке. Однако понимание этого термина многими компаниями разное. Обсудим, что же это вообще такое ML System Design, как его структурировать и применять.

Если вы хотели бы добавить свои вопросы для обсуждения - welcome. Пишите здесь.

Эксперты:

Валерий Бабушкин, Head of Data Science, Blockchain.com, автор книги Principles of ML Design (2023)
Алексей Натекин, CEO, Data Souls, Founder, Open Data Science Community, Organizer, Data Fest
Александр Бородин, руководитель направления аналитики и моделирования в финансах и рисках, GlowByte

Эксперты-модераторы:

Дмитрий Колодезев, директор Promsoft
Ирина Голощапова, Head of Data Science, Lenta

***
Тема 1: Interpretable ML
Тема 2: Causal Inference in ML

Data Fest 3.0 - Reliable ML - 5 июня 2022 г. - Программа
Продолжаем анонсы

В 10:00 по Мск нашу секцию откроет Полина Окунева, ведущий аналитик Glowbyte, с докладом "Causal Inference. Advanced методы моделирования".

Полина расскажет об усовершенствованных методах моделирования причинно-следственного эффекта с опорой на библиотеки causalML и EconML : X-, R-, DR-learner, Domain Adaptation Learner, Doubly Robust Instrumental Variable learner, Tree-based algorithms (DDP, CTS). Рассмотрит основные плюсы и минусы методов и особенности их применения.

Data Fest 3.0 - Reliable ML - 5 июня 2022 г. - Программа
Продолжаем анонсы

В 12:15 по Мск состоится доклад от команды моделирования жизненного цикла клиента ВТБ - Василия Сизова, тимлида команды, и Анастасии Григорьевой, руководителя направления - "От look-alike до uplift в моделировании для Жизненного Цикла Клиента".

Василий и Анастасия расскажут о том, как машинное обучение помогает в Жизненном Цикле Клиента, в частности, для предложения клиентам новых продуктов. В докладе будут затронуты темы банка данных для моделей look-alike, response и uplift, а также сложностей при использовании sklift. В конце коллеги поделятся результатом применения моделей.

Data Fest 3.0 - Reliable ML - 5 июня 2022 г. - Программа
Продолжаем анонсы

В 13:00 по Мск будем слушать доклад "Introduction to structured learning and causal discovery" от Григория Чернова, экономиста, аспиранта лаборатории экспериментальной и поведенческой экономики НИУ ВШЭ, приглашенного исследователя департамента принятия решения Тюбингенского университета.

Что данные могут рассказать о причинности? Григорий познакомит с введением в structured learning и causal discovery. В докладе будет рассмотрена интуиция, стоящая за графическими вероятностными моделями, а также возможность компромисса между количеством предположений и устойчивостью выводов на примере constrain-based (PC, FCI), scoring based (GIES) и иных (LiNGAM) базовых подходов, реализованных в py библиотеках "Causal Discovery Toolbox" и "Causal-learn".

Data Fest 3.0 - Reliable ML - 5 июня 2022 г. - Программа
Продолжаем анонсы

В 10:45 по Мск выступит международная команда - Егор Кобылкин (Abbrivia GmbH, Германия), Иван Комаров и Глеб Соснин (ЦФТ, Россия). В докладе коллеги обсудят, а можно ли на общедоступных данных увидеть связь между вакцинацией и смертностью, или действуют ли вакцины (в нужном направлении)? Этой задачей занимались Иван и Глеб в рамках ODS LAB и 5 июня покажут результаты исследования "прямо из печки".

Используя метод Difference-In-Difference, коллеги проведут сравнение похожих стран до и после вакцинации с разными режимами вакцинирования, а затем построят предсказательную модель избыточной смертности и оценят роль вакцинации в этой модели.

Data Fest 3.0 - Открыта регистрация

Встречайте — Data Fest Online 3.0.
Долгожданная регистрация открыта!

Уже в эту субботу начнётся трехнедельный онлайн Фест, по уже сложившейся формуле youtube + spatial.chat.

В субботу, 4 июня, в эфире организаторы Data Fest 3.0 расскажут про секции Reliable ML, NLP, RecSys, PyData + MLOps, DL in Finance, ML Trainings и другие.

В эфире 4 июня организаторы ODS также расскажут обо всех самых важных вопросы про новый ODS:

- Как устроен новый ODS + backstage про ODS текущий
- Как будет проходить переезд, что это вообще за [Matrix], и как первыми туда попасть
- Как участвовать в новом ODS
… а также планы, новые фишки, и многое другое.

Далее, с 5 июня в течение 3х недель будут проводиться различные тематические секции Data Fest 3.0.

Всех ждем!

Data Fest 3.0 - Reliable ML - 5 июня 2022 г. - Программа
Продолжаем анонсы

В 11:30 по Мск выступит Наталья Тоганова, к.э.н, старший бизнес-аналитик Glowbyte, с докладом "Что такое p-value? Достаточно ли одного показателя? При чем тут мощность и доверительные интервалы?".

Рандомизированные контролируемые эксперименты или А/Б тесты хотя и называются "золотым стандартом", но все же методика их проведения и интерпретации остаётся дискуссионной. Наталья расскажет о том:

- почему практика, когда повышенное внимание уделяется p-value, и тому, был преодолел ли p-value определенный порог, подвергаются критике;
- как предлагают исправить ситуацию и чем дополнить p-value (немного о мощности и доверительных интервалах);
- как научная дискуссия связана с буднями обычного аналитика.

Регистрация на Data Fest 3.0 - тут.

Опять статья?!

Между анонсами докладов и мероприятий секции Reliable ML мы продолжаем рубрику "Что бывает, если оказаться в длительной поездке в поезде без детей" и публикуем третью статью на Хабр по мотивам постов в канале - Причинно-следственный анализ в машинном обучении: итоги 2021 г.

Статьи цикла "Ирина и поезд" будут наиболее интересны недавно подключившимся участникам нашего канала - чтобы в структурированном виде изучить материалы, публиковавшиеся в канале с конца 2021 г.:

- Причинно-следственный анализ в машинном обучении
- Причинно-следственный анализ в машинном обучении: итоги 2021 г.
- Интерпретируемость в машинном обучении: итоги 2021 г.

Data Fest 3.0 - Reliable ML - 5 июня 2022 г. - Программа
Продолжаем анонсы

В 15:00 по Мск состоится доклад "Что нового в интерпретируемости ML-моделей" от Дмитрия Колодезева, директора Promsoft.

В своем выступлении Дмитрий расскажет об интересных подходах к работе с интерпретирумостью, новинках регулирования, сделает короткий обзор базовых техник и современных инструментов интерпретации ML-моделей, и перескажет своими словами абстракт наиболее запомнившихся статей этой весны.

Регистрация на Data Fest 3.0 - тут.

Data Fest 3.0 - Reliable ML - 5 июня 2022 г. - Программа
Продолжаем анонсы

В 15:45 по Мск Вадим Борисов, Research Fellow / Ph.D. Student, University of Tübingen, Germany, расскажет доклад "Evaluation of Local Explanations. Current Approaches, Trends and Issues".

В последние годы с развитием направления eXplainable Artificial Intelligence (XAI) было представлено множество алгоритмов для локальной интерпретации ML-моделей. Одна из главных проблем заключается в том, что “эталонное” локальное объяснение не доступно, и как следствие - сравнение точности алгоритмов интерпретаций становится затруднительным. В связи с этим было предложено множество методов для определения правдоподобности локальных интерпретаций.

Доклад Вадима Борисова будет посвящен современным способам эмпирического сравнение алгоритмов интерпретации и их проблемам. Будут рассмотрены основные методы и представлены их достоинства и недостатки, а также озвучены направления для дальнейшего исследования.

Регистрация на Data Fest - тут.

Data Fest 3.0 - Reliable ML - 5 июня 2022 г. - Полная Программа

В это воскресенье с 10:00 до 20:00 по Мск ждем всех в spatial chat на секцию Reliable ML!

Полная программа с анонсами всех докладов и круглых столов опубликована на странице трека.

Напоминаем про возможность задать вопросы экспертам на круглых столах:

- Форма для вопросов по Causal Inference in ML
- Форма для вопросов по Interpretable ML
- Форма для вопросов по ML System Design

Регистрация на Data Fest - тут.

Data Fest 3.0 - Начинаем!

С минуты на минуту начинается онлайн-трансляция Data Fest.

Сегодня день анонсов разных секций и рассказов о том, что же будет дальше со слаком и ODS.

Программу и трансляцию можно найти по ссылке.

Поключайтесь!

Секция Reliable ML - Data Fest 3.0 - Ждем всех к 10:00

Допиваем кофе и в 10:00 по Мск стартуем нашу секцию!
К нам можно присоединиться через спатиал.чат (инструкция), или просто смотреть трансляцию на youtube.
В спатиале нужно найти комнату Reliable ML, а там уже все свои)

Reliable ML - Пост для вопросов 5 июня 2022 г.

В комментариях к этому посту сегодня можно задавать вопросы докладчикам и экспертам круглых столов.

Итого, текстом вопросы можно задать:

- в spatial.chat (лучше всего)
- в комментах к этому посту
- в трансляции на youtube

Еще мега-вариант - написать в spatial.chat организаторам (Ирина Голощапова, Дмитрий Колодезев), что вы хотели бы задать свой вопрос докладчику, выйдя на сцену, и тогда мы вас подключим после доклада.

Reliable ML - Data Fest 3.0 - Мы сделали это!

Вчера с 10 утра и почти до 8 вечера нон-стоп шла трансляция нашей секции Reliable ML.
Огромное спасибо всем спикерам, экспертам круглых столов и участникам! 🥳
Отличные доклады, детальные вопросы, крутая дискуссия.
Мы очень старались сделать мероприятие интересным и надеемся, что у нас получилось.

Для тех, кто вчера не успел присоединиться, доступна полная запись трансляции.
Презентации спикеров - по мере получения - пока будем выкладывать в комментариях к этому посту. Далее добавим их на страницу трека - вместе с отдельными видео докладов (с хорошим звуком 😄).

Где внедрение ML даст наибольшую отдачу?

На секции Reliable ML 5 июня было много технических дискуссий. Давайте немного переключимся и обсудим бизнес-аспекты этой концепции.

Инвестируя в построение продвинутой аналитики, компании сталкиваются с проблемой выбора направления развития. Необходимо учесть не только уровень и масштаб самой компании, но и специфику рынка и уровень погружения компании в технологии.

Концепция Reliable ML предлагает начать с составления карты возможных инициатив (списка всех возможных направлений для инвестиций). Для этого предлагается проанализировать международный и отраслевой опыт и провести интервью с подразделениями компании, заинтересованными во внедрении продвинутой аналитики. По каждой инициативе желательно понимать: цель, ожидаемый результат, необходимый состав данных, функционал итогового решения, регулярность обновления результата и требования к актуальности данных, ожидаемые эффект и издержки, приоритет задачи от бизнеса, а также ожидаемые сроки реализации MVP и, верхнеуровнево, дальнейшей продуктивизации.

На основе карты возможных инициатив мы можем ранжировать возможные инвестиции, используя набор универсальных критериев. Это может быть скоринг, в котором конкретные веса задаются с учетом специфики компании, либо общее понимание возможных направлений развития.

Ключевые принципы ранжирования

Actionable:
- Сложность реализации инициативы средствами ML/DS
- Применимость инициативы для текущих бизнес-процессов

Measurable:
- Возможность проведения пилотного эксперимента для тестирования данной инициативы и корректной оценки ее эффекта на ключевые бизнес-показатели компании

Impact:
- Возможность рассчитать ожидаемый эффект от внедрения инициативы на ключевые бизнес-показатели компании
- Является ли ожидаемый эффект материальным с точки зрения PnL компании
- Является ли ожидаемый эффект достижимым в ближайшие 12 месяцев (Quick-Wins First)

Business Priority:
- Оценка приоритетности выполнения инициативы со стороны вовлеченных во внедрение инициативы бизнес-подразделений

Positive Business Case:
- Превышает ли ожидаемый эффект от реализации инициативы затраты на проект
- Инициатива может быть встроена в бизнес-процессы в ближайшие 12 месяцев (Quick-Wins First)

#business #planning

#business #planning

Страница трека Reliable ML для Data Fest 3.0 полностью оформлена

На странице трека для каждого доклада добавлены:

- Видео доклада с хорошим звуком
- Презентация
- Видео обсуждения доклада

Список докладов:

1. П. Окунева. Causal Inference. Advanced методы моделирования.
2. Е. Кобылкин, И. Комаров, Г. Соснин. Эффективны ли вакцины?
3. Н. Тоганова. Что такое p-value? Достаточно ли одного показателя? Причем тут мощность и доверительные интервалы?
4. В. Сизов, А. Григорьева. От look-alike до uplift в моделях для жизненного цикла клиента.
5. Г. Чернов. Intro in structural learning and causal discovery.
6. И. Комаров, Г. Чернов, И. Горбань, Д. Колодезев, И. Голощапова. Круглый стол. Causal Inference in ML.
7. Д. Колодезев. Что нового в интерпретируемости ML-моделей.
8. В. Борисов. Сравнение алгоритмов интерпретации.
9. К. Быков, Д. Савенков, В. Борисов, Д. Колодезев, И. Голощапова. Круглый стол. Interpretable ML.
10. В. Бабушкин, А. Натекин, А. Бородин, Д. Колодезев, И. Голощапова. Круглый стол. ML System Design