Про pipe в pandas

pipe - это метод реализации паплайна в pandas через последовательную цепочку преобразований (не путать с Pipeline из скалерна).

Например, у нас есть ряд функций, каждая из которых отвечает за какое-то преобразование. Тогда пайплайн в pandas можно реализовать так:

def normilize(df):
...
return df

def fill_null(df, method):
...
return df

def parse_time(df):
...
return df

new_df = (df
.pipe(normilize)
.pipe(fill_null, method='median')
.pipe(parse_time)
)

😻 #preprocessing

Запускаем мозг перед рабочей неделей: интересная задача с собеседования аналитика

Представим, что у нас есть два входящих канала привлечения заявок на продукт. Для каждого из каналов аналитик считает конверсии, а также общую конверсию. Вдруг к аналитику приходит менеджер и говорит, что конверсия в обоих каналах выросла, а суммарная упала. Может ли такое быть?

Сразу хочется ответить нет, но задача с подвохом. А ответ – в картинке (но сначала попытайтесь подумать сами)

Советуем отличную книгу

Написана простым языком, мало формул, много практических историй. Она структурирует в себе ряд понятий, которые нигде прежде структурированы не были. Кроме того, в книге рассказывается про ML алгоритмы (без глубокой математики) и про особенности их примнения на практике. А ещё про OLAP кубы, историю Retail Rocket и очень интересную и насыщенную карьеру автора. В общем, рекомендуем.

😻 #read

Самая крупная подборка видео по рекомендательным системам на русском языке от нашей команды:

– Рекомендательная система на коленке, Михаил Трофимов

– Дзен-митап: рекомендательные системы

– Обзор нейросетевых рекомендательных систем — Дмитрий Ушанов

– Яндекс изнутри: рекомендательные системы Музыки и Дзена

– Пишем графовую рекомендательную систему для музыки

– Рекомендательные системы | Евгений Соколов | Лекториум

– R&D рекомендательной системы — как обучить и выкатить алгоритм в продакшн - Виталий Давыдов

– DLS. Семинар. Recommender System.

– Архитектура рекомендательной системы Дзена / Дмитрий Кондрашкин

– МТС. Построение sequential recommender systems

– Архитектура Real Time рекомендательной системы на примере банка: с нуля до готового продукта

– Рекомендательная система на базе DataSphere

– Андрей Зимовнов. Архитектура рекомендаций Дзена

– Дзен-митап: исследования и рекомендательные системы

Ладно, не только от нашей команды, еще спасибо рекомендательным системам YouTube :)

😻 #recommendation_system

Keras уже курит на заднем сидении

tqdm в pandas

Если применить apply к большому датафрейму, на это может уйти много времени, но сложно сказать, сколько именно. В таких ситуациях хочется научиться как-то отслеживать прогресс. Чтобы это сделать, можно использовать tqdm.

Для этого сначала установим/обновим бибилиотеку:

pip install tqdm
pip install tqdm -U

Затем испортируем tqdm и применяем вместо обычного apply функцию progressapply. Работает она точно так же, только еще показывает прогресс-бар:

`df = pd.DataFrame(np.random.randint(0, 100, (1000000, 100)))

tqdm.pandas(desc="power DataFrame 1M x 100 of random int!")

df.progressapply(lambda x: x2)
df.groupby(0)1.count().progressapply(lambda x: x**2)
`
Кстати, еще можно менять формат бара через опцию barformat. Например:

tqdm.pandas(desc="MyBar", bar_format='{desc:<5.5}{percentage:3.0f}%|{bar:50}{r_bar}')

😻 #numpy_pandas #pandas