Рубрика now its official

Основатель SAFe (это самый крупный индустриальный подход к масштабированию Agile) Dean Leffingwell в своей кейноут сессии на SafeSummit рассуждает о будущем. Он отмечает три ключевых тренда, которые поменяют ландшафт ИТ индустрии: облака, большие данные и AI.

Интересные следствия: данные становятся продуктом, а Data Product Manager — ключевым дифференциатором, то есть тем, что обеспечивает преимущество на рынке.

Два вывода:

Во-первых, понятия Data Product и Data Product Management закрепляются (хотя бы таким игроком как SAFe). Мы будем тоже активно их использовать. Data Product Manager — новая модная профессия.

Во-вторых, в будущем команды станут продуктовыми и перестанут фокусироваться на технологиях. Из определения команд уйдет название AI или ML.

Я знаю, что многие DS Leads очень трепетно относятся к ML и считают своим долгом оградить своих подчиненным от не-ML задач. Но все же твоя задача — приносить пользу компании, используя данные. Не так важно, какие методы ты используешь, не так ли? Или перебор?

https://vimeo.com/showcase/8873280/video/607705293

Всем привет!

В эту среду проведем совместный online митап (@leands и @mlinmarketing)

🔥 Поговорим про А/Б тестирование

🔸19:00 - 20:00

🎤 спикер: Евгений Ключников, Data Engineer at GetYourGuide

📋 тема: Как мы в GetYourGuide делаем масштабируемые а/б эксперименты

📋 описание: Мы активно используем а/б тестирование для оценки новых продуктов и идей; в некоторые дни у нас запущено до 70 экспериментов от разных команд одновременно. В докладе я расскажу, как мы организовали такую систему технически, где секрет её масштабируемости, что ломается чаще всего и почему не все всегда ею довольны. Затронем тему документации, обучения, неправильного дизайна, расскажу, как сломать эксперимент так, что этого никто и не заметит.

— — —

🗓 06 октября, начало в 19:00 мск, Среда

🌐 ОНЛАЙН

Регистрация на мероприятие тут

Добавляйте в календарь, ссылка придет на почту перед началом митапа

Прекрасная статья: первое правило ML — стартовать без ML
https://eugeneyan.com/writing/first-rule-of-ml/

>> 📋 Как мы в GetYourGuide делаем масштабируемые а/б эксперименты, Евгений Ключников, Data Engineer at GetYourGuide

Начинаем через час в 19-00, регистрация тут

Статья Data Product Management — о необходимости перейти от дата проектов к дата продуктам

https://towardsdatascience.com/data-product-management-ffa582f7e047

🎙 ВИДЕО: Как мы в GetYourGuide делаем масштабируемые а/б эксперименты, Евгений Ключников

Видео с митапа @leands и @mlinmarketing

🎤Спикер: Евгений Ключников, Data Engineer at GetYourGuide

Мы активно используем а/б тестирование для оценки новых продуктов и идей; в некоторые дни у нас запущено до 70 экспериментов от разных команд одновременно. В докладе я расскажу, как мы организовали такую систему технически, где секрет её масштабируемости, что ломается чаще всего и почему не все всегда ею довольны. Затронем тему документации, обучения, неправильного дизайна, расскажу, как сломать эксперимент так, что этого никто и не заметит.

https://youtu.be/1fHldTOiZOY

В этот четверг проведем очередной митап @leands.

🔥 Что, если АБ тест провести просто невозможно? Как провести проверку модели?

🔸19:00 - 20:00

📋 тема: Жизнь без A/B: как ещё сравнивать версии ML-систем?

🎤 спикер: Евгений Никитин, Head of AI, АО Калуга Астрал

Как понять, что новая версия ML-системы будет работать лучше, чем предыдущая? Обычно достаточно провести офлайн-валидацию (померить метрики) и онлайн-тест (например, в формате A/B). А что делать, если проведение онлайн-теста невозможно по техническим, юридическим или экономическим причинам? В этом докладе на примере медицинских ML-систем мы попробуем разобраться как минимизировать риск деплоя плохих моделек, когда с онлайн-тестами всё сложно.
— — —

🗓 14 октября, начало в 19:00 мск, четверг

🌐 ОНЛАЙН

Регистрация на мероприятие тут

Добавляйте в календарь, ссылка придет на почту перед началом митапа

>> Хей 👋👋👋, все привет, напоминаю, что сегодня в 19-00 у нас митап. Обсудим как обойтись без A/B тестов в том случае, когда их использование невозможно. О своем опыте расскажет Женя Никитин.

Регистрация тут: https://leands.timepad.ru/event/1811066/

Ссылка тут, заскакивайте 🤩 https://us02web.zoom.us/j/83185615805?pwd=VGR0N3FPc3JCa0Q0eFdFWGN6Q0ZtUT09

ВИДЕО: Жизнь без A/B: как ещё сравнивать версии ML-систем?

🎤 спикер: Евгений Никитин

Как понять, что новая версия ML-системы будет работать лучше, чем предыдущая? Обычно достаточно провести офлайн-валидацию (померить метрики) и онлайн-тест (например, в формате A/B). А что делать, если проведение онлайн-теста невозможно по техническим, юридическим или экономическим причинам? В этом докладе на примере медицинских ML-систем мы попробуем разобраться как минимизировать риск деплоя плохих моделек, когда с онлайн-тестами всё сложно.
— — —
ССЫЛКА НА ВИДЕО: https://youtu.be/Grwo1RJIcrM 🤛🤛🤛

Всем привет!

В этот вторник (26-го октября) проведем совместный online митап (@leands и @mlinmarketing)

🔥 Поговорим про А/Б тестирование

🔸20:00 - 21:00

🎤 спикер: Иван Максимов,
- Data Science Team Lead at Delivery Club
- автор телеграм канала @ml4value

📋 тема: 13 способов ускорить А/В тест, или "Не CUPED-ом единым"

📋 описание: Многие аналитики для ускорения А/В тестов в первую очередь используют достаточно сложные статистические приемы (например, CUPED). Однако существует огромное множество более простых и эффективных способов ускорить А/В тесты. Мы обсудим 13 таких способов: от улучшения процесса дизайна теста до применения стат критерия и финального принятия решения о выкатке/нет фичи. А также оценим потенциальный trade-off эффект-затраты от внедрения каждого из способов.

— — —

🗓 26 октября, начало в 20:00 мск, Вторник

🌐 ОНЛАЙН

Регистрация на мероприятие тут

Добавляйте в календарь, ссылка придет на почту перед началом митапа

КУРС LeanDS

11 ноября стартует последний в этом году курс по управлению DS проектами и продуктами

Изучаем Product Management в Data Science от идеи до результата. Будет очень много практики в мини-группах на реальных кейсах.

7 занятий по 3 часа каждый четверг с 19:00 МСК ОНЛАЙН

Промокод — leandsnov21 дает 20% скидки

Записываться тут: https://leands.university/online-course

ВИДЕО с совместного митапа LeanDS & MLinMarketing

13 способов ускорить А/В тест, или "Не CUPED-ом единым", Иван Максимов

🎤 Иван Максимов, Data Science Team Lead at Delivery Club
Автор телеграм канала @ml4value

Многие аналитики для ускорения А/В тестов в первую очередь используют достаточно сложные статистические приемы (например, CUPED). Однако существует огромное множество более простых и эффективных способов ускорить А/В тесты. Мы обсудим 13 таких способов: от улучшения процесса дизайна теста до применения стат критерия и финального принятия решения о выкатке/нет фичи. А также оценим потенциальный trade-off эффект-затраты от внедрения каждого из способов.

https://youtu.be/TPgTwTxFFoA

В эту пятницу (3.12) проведем совместный online митап (@leands и @mlinmarketing)

🔥 Доклад про ускорение А/Б тестов

🔸20:00 - 21:00

🎤 Ваагн Минасян, Lead Data Scientist at X5 Retail Group

📋 Ускорение A/Б тестов линейными методами: сравнительный анализ

📋 Задача ускорения А/Б тестов ( a.k.a. повышения чувствительности ) является одной из самых актуальных в индустрии. К наиболее удобным методами ускорения А/Б тестов, статистические свойства которых можно вывести аналитически, относятся линейная регрессия и методы на остатках, например, CUPED. Однако, некоторые реализации этих методов и, в частности, реализации CUPED'a, незаметно приводят к очень нежелательным последствиям - оценки получаются смещёнными, т.е. результаты A/Б теста искажаются и перестают отражать реальность на ограниченном количестве данных.
— —

🗓 03 декабря, начало в 20:00 мск, Пт

🌐 ОНЛАЙН

Регистрация на мероприятие https://mlinmarketing.timepad.ru/event/1860895/

Добавляйте в календарь, ссылка придет на почту перед началом митапа

🧞‍♂️ ВИДЕО с ML in Marketing Meetup

Совместный митап @leanDS и @MLinMarketing

📋 Тема: Ускорение A/Б тестов линейными методами: сравнительный анализ

📋 Описание: Задача ускорения А/Б тестов ( a.k.a. повышения чувствительности ) является одной из самых актуальных в индустрии. К наиболее удобным методами ускорения А/Б тестов, статистические свойства которых можно вывести аналитически, относятся линейная регрессия и методы на остатках, например, CUPED. Однако, некоторые реализации этих методов и, в частности, реализации CUPED'a, незаметно приводят к очень нежелательным последствиям - оценки получаются смещёнными, т.е. результаты A/Б теста искажаются и перестают отражать реальность на ограниченном количестве данных.
— — —

🎤 Спикер: Ваагн Минасян, Lead Data Scientist at X5 Retail Group

🎬 Видео

📥 Презентация

— — —
Кстати, вопросы по докладу можно задавать тут же в комментариях ;)

— — —
Тут же в комментариях опубликовали запись с QnA сессии, ее нет на youtube

🎤Тема: Особенности проведения глубинных интервью для B2B - продуктов на основе ИИ.
👋 Павел Логинов, Руководитель продуктов на основе ИИ в Билайне

🔥Проблемные интервью - это один из самых важных этапов в создании продукта. В сфере разработки крупных B2B - продуктов продакты очень часто его прокрастинируют из-за сложностей в поиске респондентов и страхе ошибок.

• Где и как искать респондентов? Какие сложности нас при этом ждут?
• На что стоит уделить особое внимание во время интервью?

🗓Дата: 14 декабря в 19-00 МСК онлайн

Регистрация: https://leands.timepad.ru/event/1871846/

Через час встречаемся на митапе!

Залетайте ) https://us02web.zoom.us/j/83421192920?pwd=dXY4QjlPKzFSemt4YU4zQ3BqSDY0QT09

ВИДЕО с миатапа LeanDS

🎤Тема: Особенности проведения глубинных интервью для B2B - продуктов на основе ИИ.
👋 Павел Логинов, Руководитель продуктов на основе ИИ в Билайне

🔥Проблемные интервью - это один из самых важных этапов в создании продукта. В сфере разработки крупных B2B - продуктов продакты очень часто его прокрастинируют из-за сложностей в поиске респондентов и страхе ошибок.

• Где и как искать респондентов? Какие сложности нас при этом ждут?
• На что стоит уделить особое внимание во время интервью?

Видео: https://youtu.be/BpTdjcc8jIE
Презентация: https://www.dropbox.com/s/k0sgn2ij5tld719/Loginov-ProblemInterviews.pdf?dl=1

Новогодний мем с дата-елки :) Все совпадения случайны! С наступающим :)