Как ускорить обработку больших датафреймов в pandas

Привет! На связи Мария Жарова, ментор курса «ML-инженер» 👋🏻

Представьте ситуацию: ваш DataFrame на несколько миллионов строк, и обычные операции вроде apply или groupby становятся ужасно медленными… Причина проста — обычный pandas работает только на одном ядре процессора. Но есть и хорошие новости — можно разогнать обработку данных в разы, если делать это параллельно!

В этом поможет библиотека Pandarallel — она позволяет распараллеливать привычные методы pandas, задействуя все ядра вашего компьютера.

Что умеет Pandarallel:

🟠 Параллельный аналог apply — parallel_apply;
🟠 «Параллельная» версия map — parallel_map;
🟠 Ускоренный groupby через parallel_apply;
🟠 Ускоренный rolling также через parallel_apply.

Мы попробовали на тестовом датасете — и получили кратное ускорение, результаты смотрите на скринах. Или попробуйте сами:

# установка библиотеки
# pip install -q pandarallel

from pandarallel import pandarallel
import pandas as pd

# инициализация библиотеки
pandarallel.initialize(progress_bar=True)

# тестовый датасет
df = pd.DataFrame({
    'A': range(1, 1000001),
    'B': range(1000001, 2000001)
})

def add_columns(row):
    '''тестовая функция для apply'''
    return row['A'] + row['B']

df['C'] = df.parallel_apply(add_columns, axis=1)

def multiply_by_two(x):
    '''тестовая функция для map'''
    return x * 2

df['D'] = df['C'].parallel_map(multiply_by_two)

Официальная документация тут: Pandarallel 😎

А на последнем скрине оставлю весь список возможностей библиотеки и как их реализовать.

Ставьте ❤️, если было полезно — и сохраняйте, чтобы не потерять!

📊 Simulative

Как аналитики используют ИИ: 3 примера

Привет! На связи Марина Ермак, автор курса «ИИ для анализа данных» 🚀

Приведу несколько примеров, как можно использовать нейросети на реальных задачах аналитика, вместе с ответами нейросети в карточках:

1️⃣ Поиск и анализ по документу

Мы загружаем документацию/заметки со встречи/etc. в нейросеть, затем задаём вопросы по содержанию. Например:

Кластеризуй предложения со встречи по тематическим группам и приведи точные цитаты для каждой группы. Важно, чтобы все цитаты были упомянуты.

На основе прикреплённых файлов сделай саммари и найди все упоминания следующих трендов: <тренд 1>, < тренд 2>, … Приводи точные цитаты.

2️⃣ Генерация SQL-запроса по описанию базы данных и сути задачи

Описываем, какая у нас архитектура БД и таблиц, которые нам нужны в запросе, затем саму суть запроса. Например:

Напиши мне SQL-запрос под задачу:

Найдите максимальный возраст (количество лет) среди обучающихся 10 классов на сегодняшний день. Для получения текущих даты и времени используйте функцию NOW().

Схему БД прикрепляю на скрине.

3️⃣ Регулярное исследование трендов (ChatGPT)

Например:

Проведи исследование по современным трендам в мире финтеха и банкинга в России и в Европе/США.

Как видите, использовать нейросети можно в абсолютно разных задачах и процессах. Делитесь в комментариях, какие задачи вы бы хотели автоматизировать (или уже отдаёте ИИ) — в следующих постах разберём их подробнее ♾

📊 Simulative