Завершаем цикл про собеседования и сегодня рассказываем про ML System Design

На предыдущих этапах мы поговорили о теории по Питону и ML, но в реальности работа редко формулируется в формате теоретической задачи. Поэтому на ML System Design проверяем, как кандидат переводит кейсы реальной жизни на язык ML.

Обычно MLSD состоит из следующих пунктов:
🔵Описание кейса
🔵Польза для бизнеса
🔵Формализация задачи
🔵ML-модель
🔵Выкатка в прод

Некоторые команды упирают на отдельные части MLSD, что-то убирают или добавляют. Например, в монетизации есть значимый кусок математической постановки, без которой разговаривать про ML сложно.

Описание кейса и польза для бизнеса. Сначала интервьюер озвучивает кейс, суть которого зависит от команды. Мы предлагаем задачу из монетизации, есть варианты от модерации, поиска и других команд.

Иногда это ставит кандидата в тупик, если прежде он не решал такие задачи. Это не страшно. Я видела, как опытные специалисты проходят собеседование хуже, чем люди без опыта, потому что пытаются свести задачу к той, которую уже видели. Это может мешать на следующих этапах.

Дальше рассказ продолжает кандидат, а собеседующий задаёт дополнительные и наводящие вопросы.

Формализация задачи. Мы смотрим, как DS справляется с поставленной задачей: зачем вообще нужно её решать, на какие бизнес-метрики будет ориентироваться? Этап отличает MLSD от ML-теории.

ML-модель и выкатка в прод. Обычно на этом этапе уже выяснили, какую задачу решаем. Поэтому можно освежить знания про ML и подумать вот о чём:
🔵Какие нужны данные?
🔵Какую модель хотим использовать — катбуст или нейронку? Почему?
🔵Какой для задачи нужен лосс: регрессия или классификация?
🔵На какие метрики стоит посмотреть?
🔵Как модель будет работать в проде?
🔵На что будем смотреть, чтобы выкатить? А если выкатим?

Ответы зависят от исходной задачи и условий. Не нужно бояться спрашивать, какие данные есть, сколько надо ресурсов, где будет крутиться модель и сколько будет пользователей. Но будьте готовы, что могут попросить рассмотреть разные случаи 😅

Как подготовится к ML System Design
1️⃣Посмотреть видео с собеседованием на YouTube или ВК
2️⃣Посмотреть конкретные кейсы в открытом доступе.
3️⃣Подготовить доску, которую можно просматривать вместе с собеседующим. Будете делать на ней заметки и рисунки. Это очень упрощает жизнь, потому что помогает соблюдать структуру. Я использую excalidraw.com, но вы можете выбрать любой удобный инструмент.

А вы уже проходили ML System Design? Напишите в комментариях, какие материалы для подготовки вы используете ⬇️