Сидел как-то в панели в Сколково, называлась в духе “Data Science от маркетплейсов до промышленности.”
Все бы хорошо, мило болтали с коллегами и ведущим (кто не любит панели? к ним же доклад готовить не нужно).
Но все хорошее заканчивается, и после панели начинаются вопросы из зала.

Первый же вопрос – так а что с промышленностью? (а у нас в составе участников нет никого из промышленности).
И действительно, мои истории будут скорее ближе к банкам, маркетплейсам, развлечениям, телекомам, рекламе, к агро, чем к заводам, хотя есть много знакомых ребят из реальной индустрии.

Но вот на днях наткнулся на небольшой канал про каналий-DS на реальном таком металлургическом заводе. Жаль, не знаком с автором, но от историй реально кайфую. @na_zavod_blyat

#ML

Все же здесь DS и знают базовые метрики?
Precision?
Precision@k?
А ничего вы не знаете, канальи! 🙈

Прошло пару лет как коллеги со светлой стороны Сбера выпустили свою замечательную статью на NIPS, примечательную такой картинкой

Про то как в разных recsys либах метрики считаются по-разному 😱
Но хотя бы precision@k вроде одинаково? Или нет? 🤔

Рассмотрим угловой кейс – на что делить, когда кандидатов сгенерилось меньше k? 🤓

Правильный ответ здесь– делить на k !!!!
Институт NIST– National Institute for Standards and Technology распространяет код как считать правильно 🥳

На для catboost закон не писан – он делит на число кандидатов 🤬😡🥵

Будьте внимательны! Или перепроверяйте за пакетами или считайте сами!

Зачем канальям алгоритмы? Например, можно ускорить расчёт дефолтной метрики из склерн раза в три — и на тысячах экспериментов при подборе гиперпараметров это существенно сэкономит время. Как это сделать рассказывает наш тим лид финтеха — Макс Шаланкин

Свалился под Новый год с температурой, в таком состоянии каждый убивает время по-разному.
Я вот люблю придумывать задачки вроде "приведите пример когда единичное дерево работает лучше случайного леса". Но сейчас у меня температура примерно 38 и в голову пришла совсем странная задачка -- придумать кейс когда изотоническая регрессия лучше бустинга.
И вот:

from sklearn.isotonic import IsotonicRegression
import numpy as np
from sklearn.datasets import make_regression
from xgboost import XGBRegressor
import plotly.graph_objs as go

x, y = make_regression(n_samples=1000, n_features=1, random_state=42, noise=3)
ir = IsotonicRegression()
ir.fit(x, y)
y_pred = ir.predict(x)
params = {'monotone_constraints':'(1)'}
xgb = XGBRegressor(**params, n_estimators=50, max_depth=3, verbosity=0, max_bin = 70, tree_method = 'hist')
xgb.fit(x, y)
y_pred_xgboost = xgb.predict(x)

fig2 = go.Figure()
fig2.add_trace(go.Scatter(x=np.array(x).squeeze(), y=y, mode='markers', name='исходные точки'
              , marker=dict(color='LightSkyBlue', size=10)))
fig2.add_trace(go.Scatter(x=np.array(x).squeeze(), y=y_pred, mode='markers', name='изотоническая регрессия'
              , line=dict(color='firebrick', width=4, dash='dashdot')))
fig2.add_trace(go.Scatter(x=np.array(x).squeeze(), y=y_pred_xgboost, mode='markers', name='XGB_regressor'
              , line=dict(color='Green', width=4, dash='dashdot')))
fig2.update_layout(legend_orientation="v"
                  , legend=dict(x=.5, y = 0.95, xanchor="center")
                  , title="бустинг vs изотоник"
                  , xaxis_title="ордината"
                  , yaxis_title="абсцисса"
                  , margin=dict(l=0, r=0, t=50, b=0)
                  , hovermode="x"
                  , height=600
                  , width=900
                  , font_family="Arial"
                  , font_color="black"
                  , font_size = 20
                  , title_font_family="Times New Roman"
                  , title_font_size = 30
                  , title_font_color="black"
                  , legend_title_font_color="black"
                  , legend_title_font_size=20
                  , separators=", .*"
)
fig2.show()

Спорили на днях с товарищем почему маркетплейс моделей обречен.
Один из моих поинтов -- устаревание окружений, в которых модели деплоятся. Часто видел что кто-то из ребят собрался с силами и сделал свою либу, но уже через пару лет без бубна ее не поставить.
А возня с менеджерами пакетов -- такое, на мой вкус. Возник вопрос -- много ли DS сталкивались в работе с ними?

#ML

Итак, второй по популярности у нас uv, но знакомы с ним лишь 19% 😱
Время исправляться и образовываться. Утверждается, что он самый быстрый в моменте пакетный менеджер. И даже ускоряет установку больших пакетов 🤷‍♂️
Ну тогда попробуйте сыграть в перестановки:

$ pip install uv
$ uv pip install catboost

или, для ценителей однострочников:

$ pip install uv && uv pip install catboost

PS: результат непредсказуем

PPS:

$ uv tool install catboost

аналогично. А вот flask так ставится без проблем

Завтра в вышке ждем всех на завершающую мл-тренировку в этом году, заодно раздадим подарки активным и обсудим что будем делать в следующем

Саша на Новый год хочет 2000 подписчиков, осталось 10. Поможем?

#ML

Разбирал папку 'Загрузки' и наткнулся на туториал c KDD20 по связи офлайн и онлайн метрик в рекомах -- лучшее, что я вообще видел по рекомендашкам.

Как интерпретировать A/B если существенную часть находят через поиск, как оптимизировать напрямую Revenue или GMV, как встроить RL, как избежать feedback loop (и здесь ответ совсем не тот, что принимается на собесах) и тд -- 270 страниц удовольствия в формате презентации 😊

Короче, хоть через 4 дня и 25й год, но эта штука очень актуальна. А еще канальи-DS любят разбирать статьи про математику, а платит нам бизнес, поэтому кмк небесполезно узнать как оно все-таки правильно выдавать стране угля.

#кейсы #ML

Давно про кейсы не было.
Вот история – загнали как-то больших и важных манагеров MLю учиться. Чтоб прочувствовали, канальи, от и до. В прямом смысле – и данные собрать и подготовить, и код написать, и пилот провести, и фин эффект посчитать, и в пром внедриться. 🙈
Ясное дело, что опытные делегаторы почти все делегировали.
Но кому? Все 🍅🍅 пилят в пром нормальные модели, вот и выдали большим и важным для помощи юных и активных.
Построили они 100500 моделей на 100500 подуктов и приносят внедрять, мол пилот уже был – все конверсии в 10 раз выросли и тп.
Говорю – ничего не знаю, ничего не видел, пилотируем еще раз.
Передают они модельку для инференса в питонячьем ноутбуке (первый красный флаг), затем выясняется, что работает она примерно суток (!!!) трое. И это все типа инференс (!). 🤬😵😱

Естестественно, от пилота я вежливо отказался.
А какие в корпорации опции решить проблему? Шантаж и эскалация 👊.
Сижу значит на встрече с этими биг боссами и они очень вежливо интересуются – что мол не так?
Я и говорю – трое суток как-то многовато (к тому времени я уже глянул в код и увидел что на инференсе модель каждый раз переобучается, причем с генерацией 10тыс+ признаков и отбором фичей, тоже не самым быстрым).
Они – а сколько нормально?
Для батча на этом объеме – максимум минут 5-10 на готовой витрине с фичами. 😝😝😝
Коллеги говорят “большое спасибо” и завершают встречу, а на заднем фоне кто-то орет. 🤕

PS: Про отбор фич и неочевидные эффекты поговорим отдельным постом, а пока к расчету фичей -- потому как ускорение расчета фичей это очень почетно) В соревновании OTTO – Multi-Objective Recommender System один из участников пишет что в 100+ раз (!!!) ускорил генерацию стандартных фич -- и это не предел.

#ML

Как же у меня все-таки горит с собесов по ML System Design — например, с такого https://telegra.ph/ML-System-Design-Framework-12-29

Интервьюеры, начитавших выжимок из книжек, почему-то ожидают (и в цитируемом сообщении и в опыте прохождения не в рф) что loss ты выберешь раньше чем оффлайн-метрики. А иногда, как здесь -- и модель тоже.

Але, гараж!
Я лосс выбираю / модифицирую / взвешиваю под оффлайн метрики и данные конечно, а не наоборот. Если у меня регрессия и оценивать меня будут по MAPE — я и буду оптимизировать MAPE (например, через взвешенный MSE — хотя можно и напрямую сам MAPE -- с масштабами просто аккуратно надо). В учебном коде для градиента в SGD это выглядело бы так:

def _der_loss(self, x, y, weight = 1):
    if self.loss in ['MSE', 'MSE_weighted']:
      return -(y - self._f(x)) * x * weight
    elif self.loss == 'MAPE':
      return -np.sign(y - self._f(x)) * x * weight

PS: Иногда меня мучает вопрос — вот учим мы студентов и в вузах и на курсах, а на собеседованиях они часто попадают к лиду, который лид потому что всех пересидел 🤡.
И вот будет говорить студент правильные вещи — про выбор сначала метрики, потом уже босса или что мультиколлинеарность сильно аффектит бустинги, или что для того чтобы убрать рамку с изображения не нужна сетка, а лид впитывал мифы и подсматривал методички а не разбирался сам — и будет ребят реджектить.

Учить нормально — медвежья услуга, получается? Как думаете?