когда рынок пошел не туда и по году выходит антибонус, нет ничего лучше совета опытного мастера

#корпжиза

Про KPI
Под одним из недавних прошлых постов был комментарий

а ак-то подетальнее можно про kpi сотрудника между манагерами? и вообще про правильную и неправильную декомпозицию целей, задач и kpi.

В один пост ответ не умещу, давайте начнем с самих KPI, а в следующем посте будет про цели и декомпозицию
Так как цель любого KPI – замотивировать сотрудника двигаться в нужном менеджменту направлении, то и смотреть на KPI стоит глазами мотивируемых.

Как вообще KPI влияют на жизнь сотрудника? здесь возможны варианты:
• Невыполнение KPI ведет к увольнению, перевыполнение – к баллам, которые как материализовать собственник еще не придумал (одна малазийская компания с русскими корнями, известная единовременным массовым увольнением через видеозвонок по наводке якобы “модели”)
• KPI влияет на годовой бонус, составляющий 50+ процентов годового дохода (да, в декабре приходит денег больше чем за 11 предыдущих месяцев в сумме). Скажем, если у вас три KPI с равным весом, то невыполнение одного из них будет эквивалентно потере 16.7% годового дохода – то есть два месяца в году вы поработали забесплатно. (один очень крупный банк когда-то)
• KPI влияет на полугодовой бонус, который составляет около 6% годового дохода, если не выполнить – потеряете менее 2% годового дохода
• KPI нет, как и безопасных уровней, идет соревнование – кто наберет больше продаж, баллов за проекты, etc. 10% худших увольняем, 10% лучших оставляем (небольшие компании где до власти дорвались HR, начитавшиеся псевдоманагерской макулатуры).
• У сотрудника три типа KPI – один от проектного руководителя (бладельца бюджета, который нанимает / увольняет / повышает), KPI от компании (на который сотрудник не влияет), KPI от функционального руководителя (свадебный генерал с совещательным голосом).
• KPI есть только у манагеров, а уж как они замотивируют сотрудников – их забота.
наверное, вариантов сильно больше, но степень ожесточенности или пофигизма в достижении KPI прослеживается, верно?

Лично я не ставлю сотрудникам KPI совсем (даже когда на мне стоят финансовые):
• Не хочу чтобы работа свелась к формальному закрытию KPI, да и нет KPI, который невозможно хакнуть
• Что-то может пойти не так, может влететь горячая задача с самого верха – и сотрудник будет перед выбором: либо подвести меня, либо пожертвовать своим доходом
• Мы обсуждаем направление движения, приоритеты задач, их влияние и зависимости друг от друга, влияние на компетенции команды и возможности, которые открывают реализованные проекты (а мы часто строим новые на результатах сделанных)
• KPI, как это ни странно звучит, не увеличивает ответственность сотрудника, а уменьшает (ему не надо думать о смежных вещах, думать за пользователя, за бизнес и тд)
• Меньше ответственность -> меньше инициативы и самостоятельности -> меньше вовлеченности -> хуже результат вдолгую

to be continued…

#кейсы #ML

Раз уж пошло про KPI – вот безобидный прием против вредного манагера. Прием для настоящих каналий!

Если вразумлять и просвещать манагера на метрики регресии, распределения остатков и прочее сил уж больше нет, то могу предположить что каналья-манагер не знает разницу между MAPE и MDAPE (и наверняка про MASE, eB, варианты SMAPE, WAPE и тд).

Так что ничего не стоит вам выдать MDAPE за MAPE (и только если спросят – сказать что M это, совершенно очевидно, медиана, разве можно было предположить иначе?!).
В примере ниже мы не будем оптимизировать MAPE напрямую (хотя это не то чтобы сложно – один из методов – взвесить наблюдения на таргет), а просто посмотрите выигрыш (не повторяйте это дома!!!):

import numpy as np
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
x, y = make_regression(n_samples=10_000, n_features=10, n_informative=8, noise=5, shuffle=True, random_state=42)
x_train , x_test, y_train, y_test = train_test_split(x, y, test_size = 0.35, random_state = 42)
import xgboost as xgb
regressor=xgb.XGBRegressor(eval_metric='rmse')
regressor.fit(x_train, y_train)
preds = regressor.predict(x_test)
residuals = preds - y_test
r_mape = np.mean(abs(residuals) / abs(y_test))
r_mdape = np.median(abs(residuals) / abs(y_test))
print(f'MAPE {r_mape:.2f}')
print(f'MDAPE {r_mdape:.2f}')
>>> MAPE 3.74
>>> MDAPE 0.16

а вообще, если интересна тема метрик регрессии -- то лучше всего она освещена в неизданной книге Александра Дьконова

Минутка хвастовства) но место-таки второе. Вообще не ожидал что буду преподавать, да еще в ВШЭ, МФТИ и MLInside! Кстати, через 50 мин уже и вебинар

🤯 50% людей учат темы ML, которые не нужны бизнесу

Мы провели исследование среди нашей аудитории и узнали: большинство изучает популярные темы, которые выглядят перспективно, но почти не применяются в реальных задачах.

Какие задачи бизнеса требуют решения с применением ML и как их решать? Расскажем на вебинаре 19 декабря в 20:00 (мск)!

Что вас ждет:
▪️Поделимся информацией о том, какие задачи компании хотят реализовать с помощью машинного обучения и как вы сможете их решить.
▪️Расскажем как проверить, что модель действительно работает?
▪️Разберем практические кейсы и проведем эксперименты.
▪️Презентация курса «ML в бизнесе»: Расскажем, как программа курса помогает освоить востребованные навыки, которые делают вас ценным специалистом в любой компании.

👉 Регистрируйтесь здесь

Присоединяйтесь и начните свой путь к успешной карьере в ML!

#ML

На вебинаре поступил вопрос про SOTA-трансформеры для временных рядов.
В ответ пообещал скинуть сюда в канал свою июньскую лекцию на RuCode по foundation models for time series. Заодно узнаете почему соревы по прогнозированию называются М1, ... M4, M5, M6 и тд.
PS: картинка с веточками в лекции из этой статьи
PPS: кажется, начало лекции не записалось — были тех траблы (

#корпжиза

Про KPI и роль HR в жизни DS

В одной крупной организации манагеры нажаловались топам что DS нанимать очень долго (потому лишь что ни они, ни HR нанимать DS не умеют, заинтересовать кандидата не могут, процесс найма выстроить тоже).
За что HR получили KPI на скорость найма DS.

Как реально выглядел найм к тому моменту: постишь вакансию в слаке ODS, получаешь в личку 100+ резюме в первые сутки и сидишь их вручную разбираешь. Потом сам прозваниваешь, сам договариваешься о встрече, сам собесишь, потом отдаешь в HR на оформление.

Услышав новости что HR-таки теперь будет заниматься этим всем я преждевременно возрадовался и попросил HR эту работу сделать (а это в любой компании первейший способ разругаться с HR – попросить их делать их работу).
На что, естественно, был послан в грубой форме – чтобы выполнить KPI HR взяли примерно 10% от ставок DS и объявили что избранные ставки имеют специальный код – и только их и будут нанимать. Когда я историю немного попушил – прилетели лишь разборки и предъявы – а чего это у нас DS не на тех ставках сидят, кто их вообще проверял и тд и тп. По принципу “лучшая оборона – это нападение”. Так что KPI свой на скорость найма DS HRы выполнили, а такие же CDO / CDS в бизнесе продолжили нанимать DS по-старому.

Прошло много лет, организация все так же не умеет ни в найм (ищут поболее чем полгода), ни в кадровые агенства, зато обещает заплатить копейку (или 80 копеек) если кого-то туда порекомендуете. Кстати, я бы советовал относиться скептически – к моменту выплаты может выясниться что рекомендуемый вами друг уже 3 года в HR-базе организации и выплата вам не положена (а поди проверь их базу).

по мотивам прошлого поста -- поделитесь, пожалуйста, как у вас устроена система найма?
например, я первый квартал собесил всех сам -- калибровался на рынок, затем сделал так:
1) скриннинг с рекрутером (10 случайных блиц-вопросов, вопросы генерит бот в телеге)
2) собес по ml (в зависимости от ветки -- classic / pricing / recsys / nlp)
3) собес sql + python
4) собес с продактом по кейсам / для более инженерных ролей -- system design с тех лидом
а как у вас? как вы к этому пришли?

#корпжиза

Про KPI и роль HR в жизни DS часть 2
В первой части было как попытка попросить каналий-HR начать нанимать DS привела к тому что внезапно и я оказался не-DS (как и ставки для найма).
Но сюр в том, что как-то за год до той истории, лично самый топовый топ поручил HR нанять не меньше половины списка ТОП 100 DS в РФ. Так как такого списка нигде не было (да и нет, к счастью), в лучших традициях корпоративного управления составить его было поручено тем же самым HR.
Как вы думаете, как же они реально закрыли поручению по найму половины списка ТОП 100 DS в РФ?
Подсказка – я в тот список попал. Потому во второй части было особенно забавно что я не DS.

#кейсы #ML

Пацан сказал — пацан сделал! Влад обещал подхватить эстафету — и вот его первая (?) встреча с DS-канальей

#кейсы #ML

История Влада про как ему отдали чужую модель напомнила мне похожую.

Мне тоже передали модель ребят, которые уволились, последний уволившийся был на связи – и на том спасибо. Код обучения и задачу за пару дней запустить модель во внутреннем контуре на инференс, при необходиомсти -- переобучить.

Проблемы начались сразу с pymystem3 – он упорно просился в инет (судя по коду ошибки - стучался в апи яндекса, 2017й год), и первым делом я заменил его на snowball.
Ок, прогоняю код, но на выходе 💩. Смотрю в разметку – там печаль, но это цветочки -- да и поговорим мы про это в сл постах (хотя, как мне сказали, разметку делали 12 человек фуллтайм один месяц). Но самое печальное дальше, трейн состоял из двух файлов – s3.csv и s4.csv, суммарно тысяч на 9,5 строк.

Возникло два вопроса:
- А где файлы s1 и s2????!! – как выяснилось, утеряны, потому как последнему уволившемуся каналье-DS их передавал другой каналья-DS и где-то при передаче они потерялись. Минус половина трейна – работа 12 человек за 2 недели.
- Как сделать так, чтобы каналья, которая сохранила в csv таблицы с текстовыми полями, в которых в полный рост спецсимволы и символы переноса строки, пришла к просветлению и больше никого так не подставляла?

Итого, задача: нужно раскидывать семплы по классам, которых неск десятков и при доразметке появляются новые, а исходных семплов с меткой примерно 9500. Базовых фичей -- несколько сотен, такая вот задачка).
В итоге задача заняла не пару дней, а пару недель до первой пром версии и пару лет до той версии, что несколько лет стояла в проме (а мб и сейчас стоит).

PS: забавно, сейчас такое поведение pymystem3 с выключенным инетом воспроизвести не получилось:

import pymystem3
mystem = pymystem3.Mystem()
text = 'дата канальи -- канал про каналий'
print(', '.join(mystem.lemmatize(text)))
>>> дата,  , каналья,  -- , канал,  , про,  , каналья,

#корпжиза #кейсы #ML

Москвичей испортил квартирный вопрос, а в нецентрализованной функции DSов портят KPI на фин эффекты.
Построили мы однажды на данных CRM модель оттока клиентских менеджеров.

Оно же как в b2b – продажи по личным контактам, КМ если уходит, старается клиентов с собой забрать, у нового год выходит чтобы выйти на тот же уровень дохода с тех же закрепленных клиентов.

Вопрос, куда внедрять? Попытка внедрить в hr-систему привлекла как муху на говно гопничка, назвавшегося DS тим лидом в HR. Сходу он затребовал половину фин эффекта от уже построенный и провалидированной в оффлайне модели.
Был послан на хуй, внедрили через рассылку в почте на руководителей руководителей и hrbp, провели пилоты, собрали фидбеки, защитили эффекты (кстати неплохие) у финансистов.

Так что если видите что-то внедренное очень криво, модель оттока не использует данные hr-систем и никак в них не отображается – возможно, этому были причины )

PS четверть тех, кому модель ставила высокий скор оттока – оказывались беременными

#ML

Хотел расковырять ту старинную версию pymystem3, которая стучалась в инет, нашел что-то еще веселее. Назвали бы Джон Сноу, чтоли

гугл в переводе тоже не стесняется. Вот такие code review в Яндексе

#кейсы #ML

Вторая серия каналья-стори от Влада