Data Governance "на коленке"
Наталья Хапаева, МТС
Окончила ВМК МГУ. Более 14 лет опыта в ИТ-индустрии в финтех и телеком компаниях в качестве разработчика, архитектора, эксперта по data governance и владельца продукта. Сейчас строит MLOps платформу в МТС.

В докладе расскажу, что можно сделать, когда в компании уже приняли решение, что нужен Data Governance, но еще нет ни стратегии, ни тактики.

Видео: https://youtu.be/DJKnIr1y9So
Слайды: https://drive.google.com/file/d/1culJ4WkN2LZhOsV6_uQ_XEvddzvBo3jW/view?usp=sharing

Карта данных, глоссарий. Наводим порядок в данных, вырабатываем общий язык
Николай Трошнев, частный консультант Data Governance, Data science, BigData

Видео: https://youtu.be/oZZJdFbQQXU
Слайды: https://drive.google.com/file/d/1U_rqisenhSF0WYhXfA7VC7dp9kgpZpcy/view?usp=sharing

Тема: Lean CANVAS для тех, у кого вокруг не Lean
————
Доделал LeanCanvas под себя. Особенность - команда зависит от смежников и их много. Например, данные получаю в пресейлах, где кроме ML-команды есть сейл, PM внедрения, 1-2 инженера внедрения, эксперт по настройке правил, 2-3 стейкхолдера от заказчика.

Цель изменений: помимо прочего провести водораздел между нами и ими и поработать с ожиданиями всех участников.

1) Разделил поле DATA на ДАННЫЕ и ПЛОЩАДКА, чтобы отдельно обсуждать датку и способ её получения. У меня это фонограммы, их надо специально записывать и можно запороть на этом этапе.

2) SKILLS превратился в СКИЛЛЫ+ЗАДАЧИ и тоже разделён на две части: ВНУТРИ моей команды и СНАРУЖИ. Так же раздвоилось поле INTEGRATION

3) VALUE и OUTPUT уже и были в паре - первое заботит проектную команду, второе DS-команду

4) CUSTOMERS. Есть пользователь у заказчика. А есть эксперт по настройке кейсов на правилах - внутренний потребитель технологии. Два отдельных поля.

5) COST, REVENUE и STAKEHOLDERS без изменений. К последним стоит приписать их ЦЕЛЬ или KPI

6) Новый блок ОЖИДАНИЯ - тут манифестирую риски, связанные с тем, что тонкости ML смежники часть не понимают. Потом можно будет сделать зеркальное поле, где смежники работают с моими ожиданиями.

7) В подобном CANVAS мы имеем 5 пар блоков-близнецов, которые помогают провести границу ответственности между DS-командой и смежниками. Делается это явно и однозначно, стикер клеим или туда или сюда.

Канвасы можно скопипастить отсюда: https://miro.com/app/board/o9J_lv3Wa0U=/

Дмитрий Попов, управляю agile-командой в ЦРТ, пилим технологию для речевой аналитики.

Канвас, описанный в книге — стартовая точка. Дима рассказывает ☝️☝️☝️о том, как он доработал канвас для своей ситуации в своей компании.

Рубрика now its official

Основатель SAFe (это самый крупный индустриальный подход к масштабированию Agile) Dean Leffingwell в своей кейноут сессии на SafeSummit рассуждает о будущем. Он отмечает три ключевых тренда, которые поменяют ландшафт ИТ индустрии: облака, большие данные и AI.

Интересные следствия: данные становятся продуктом, а Data Product Manager — ключевым дифференциатором, то есть тем, что обеспечивает преимущество на рынке.

Два вывода:

Во-первых, понятия Data Product и Data Product Management закрепляются (хотя бы таким игроком как SAFe). Мы будем тоже активно их использовать. Data Product Manager — новая модная профессия.

Во-вторых, в будущем команды станут продуктовыми и перестанут фокусироваться на технологиях. Из определения команд уйдет название AI или ML.

Я знаю, что многие DS Leads очень трепетно относятся к ML и считают своим долгом оградить своих подчиненным от не-ML задач. Но все же твоя задача — приносить пользу компании, используя данные. Не так важно, какие методы ты используешь, не так ли? Или перебор?

https://vimeo.com/showcase/8873280/video/607705293

Всем привет!

В эту среду проведем совместный online митап (@leands и @mlinmarketing)

🔥 Поговорим про А/Б тестирование

🔸19:00 - 20:00

🎤 спикер: Евгений Ключников, Data Engineer at GetYourGuide

📋 тема: Как мы в GetYourGuide делаем масштабируемые а/б эксперименты

📋 описание: Мы активно используем а/б тестирование для оценки новых продуктов и идей; в некоторые дни у нас запущено до 70 экспериментов от разных команд одновременно. В докладе я расскажу, как мы организовали такую систему технически, где секрет её масштабируемости, что ломается чаще всего и почему не все всегда ею довольны. Затронем тему документации, обучения, неправильного дизайна, расскажу, как сломать эксперимент так, что этого никто и не заметит.

— — —

🗓 06 октября, начало в 19:00 мск, Среда

🌐 ОНЛАЙН

Регистрация на мероприятие тут

Добавляйте в календарь, ссылка придет на почту перед началом митапа

Прекрасная статья: первое правило ML — стартовать без ML
https://eugeneyan.com/writing/first-rule-of-ml/

>> 📋 Как мы в GetYourGuide делаем масштабируемые а/б эксперименты, Евгений Ключников, Data Engineer at GetYourGuide

Начинаем через час в 19-00, регистрация тут

Статья Data Product Management — о необходимости перейти от дата проектов к дата продуктам

https://towardsdatascience.com/data-product-management-ffa582f7e047

🎙 ВИДЕО: Как мы в GetYourGuide делаем масштабируемые а/б эксперименты, Евгений Ключников

Видео с митапа @leands и @mlinmarketing

🎤Спикер: Евгений Ключников, Data Engineer at GetYourGuide

Мы активно используем а/б тестирование для оценки новых продуктов и идей; в некоторые дни у нас запущено до 70 экспериментов от разных команд одновременно. В докладе я расскажу, как мы организовали такую систему технически, где секрет её масштабируемости, что ломается чаще всего и почему не все всегда ею довольны. Затронем тему документации, обучения, неправильного дизайна, расскажу, как сломать эксперимент так, что этого никто и не заметит.

https://youtu.be/1fHldTOiZOY

В этот четверг проведем очередной митап @leands.

🔥 Что, если АБ тест провести просто невозможно? Как провести проверку модели?

🔸19:00 - 20:00

📋 тема: Жизнь без A/B: как ещё сравнивать версии ML-систем?

🎤 спикер: Евгений Никитин, Head of AI, АО Калуга Астрал

Как понять, что новая версия ML-системы будет работать лучше, чем предыдущая? Обычно достаточно провести офлайн-валидацию (померить метрики) и онлайн-тест (например, в формате A/B). А что делать, если проведение онлайн-теста невозможно по техническим, юридическим или экономическим причинам? В этом докладе на примере медицинских ML-систем мы попробуем разобраться как минимизировать риск деплоя плохих моделек, когда с онлайн-тестами всё сложно.
— — —

🗓 14 октября, начало в 19:00 мск, четверг

🌐 ОНЛАЙН

Регистрация на мероприятие тут

Добавляйте в календарь, ссылка придет на почту перед началом митапа

>> Хей 👋👋👋, все привет, напоминаю, что сегодня в 19-00 у нас митап. Обсудим как обойтись без A/B тестов в том случае, когда их использование невозможно. О своем опыте расскажет Женя Никитин.

Регистрация тут: https://leands.timepad.ru/event/1811066/

Ссылка тут, заскакивайте 🤩 https://us02web.zoom.us/j/83185615805?pwd=VGR0N3FPc3JCa0Q0eFdFWGN6Q0ZtUT09

ВИДЕО: Жизнь без A/B: как ещё сравнивать версии ML-систем?

🎤 спикер: Евгений Никитин

Как понять, что новая версия ML-системы будет работать лучше, чем предыдущая? Обычно достаточно провести офлайн-валидацию (померить метрики) и онлайн-тест (например, в формате A/B). А что делать, если проведение онлайн-теста невозможно по техническим, юридическим или экономическим причинам? В этом докладе на примере медицинских ML-систем мы попробуем разобраться как минимизировать риск деплоя плохих моделек, когда с онлайн-тестами всё сложно.
— — —
ССЫЛКА НА ВИДЕО: https://youtu.be/Grwo1RJIcrM 🤛🤛🤛

Всем привет!

В этот вторник (26-го октября) проведем совместный online митап (@leands и @mlinmarketing)

🔥 Поговорим про А/Б тестирование

🔸20:00 - 21:00

🎤 спикер: Иван Максимов,
- Data Science Team Lead at Delivery Club
- автор телеграм канала @ml4value

📋 тема: 13 способов ускорить А/В тест, или "Не CUPED-ом единым"

📋 описание: Многие аналитики для ускорения А/В тестов в первую очередь используют достаточно сложные статистические приемы (например, CUPED). Однако существует огромное множество более простых и эффективных способов ускорить А/В тесты. Мы обсудим 13 таких способов: от улучшения процесса дизайна теста до применения стат критерия и финального принятия решения о выкатке/нет фичи. А также оценим потенциальный trade-off эффект-затраты от внедрения каждого из способов.

— — —

🗓 26 октября, начало в 20:00 мск, Вторник

🌐 ОНЛАЙН

Регистрация на мероприятие тут

Добавляйте в календарь, ссылка придет на почту перед началом митапа

КУРС LeanDS

11 ноября стартует последний в этом году курс по управлению DS проектами и продуктами

Изучаем Product Management в Data Science от идеи до результата. Будет очень много практики в мини-группах на реальных кейсах.

7 занятий по 3 часа каждый четверг с 19:00 МСК ОНЛАЙН

Промокод — leandsnov21 дает 20% скидки

Записываться тут: https://leands.university/online-course

ВИДЕО с совместного митапа LeanDS & MLinMarketing

13 способов ускорить А/В тест, или "Не CUPED-ом единым", Иван Максимов

🎤 Иван Максимов, Data Science Team Lead at Delivery Club
Автор телеграм канала @ml4value

Многие аналитики для ускорения А/В тестов в первую очередь используют достаточно сложные статистические приемы (например, CUPED). Однако существует огромное множество более простых и эффективных способов ускорить А/В тесты. Мы обсудим 13 таких способов: от улучшения процесса дизайна теста до применения стат критерия и финального принятия решения о выкатке/нет фичи. А также оценим потенциальный trade-off эффект-затраты от внедрения каждого из способов.

https://youtu.be/TPgTwTxFFoA