Как улучшить точность модели на 5-10%: правильный подбор гиперпараметров 🎯

В моделях машинного обучения гиперпараметры играют ключевую роль. Они определяют устройство модели, а их грамотный подбор может значительно улучшить качество.

Сегодня я расскажу про 3 самые популярные на данный момент метода (и библиотеки) для подбора гиперпараметров - GridSearchCV, RandomizedSearchCV и Optuna 🧮

Самый тривиальный из методов - GridSearchCV. Этот метод перебирает все возможные комбинации гиперпараметров из заданной сетки. Например, если мы предоставим ему такую сетку: {‘max_depth’: [4, 6, 8], ‘n_estimators’: [200, 400]}, он обучит 3 * 2 = 6 моделей и выберет лучшую. Особенностью GridSearch является то, что он всегда находит лучшее решение (так как просто напросто перебирает все комбинации).

Главный минус такого подхода - скорость вычислений. Если мы хотим перебрать большую сетку, GridSearchCV - не лучший вариант ☺️

Пример кода с использованием GridSearchCV вы найдете в комментарии.

RandomizedSearchCV работает иначе. Он принимает на вход сетку гиперпараметров и параметр n_iter, и в процессе подбора перебирает n_iter случайных комбинаций гиперпараметров. Главный минус такого подхода в том, что мы можем упустить оптимальное решение.
Важной фишкой RandomizedSearchCV является возможность задавать не только детерминированные значения параметров, но и распределения. Например, равномерное распределение: 'alpha': uniform(0.01, 10.0).

Пример кода с использованием RandomizedSearchCV ждет вас в комментарии.

Optuna - это библиотека для умного подбора гиперпараметров.
Главное ее преимущество в том, что в процессе подбора она использует историю предыдущих испытаний для выбора следующих параметров. Это помогает отсекать огромное количество слабых комбинаций. Плюс Optuna умеет распараллеливать вычисления , что заметно увеличивает скорость подбора.
Еще одним ключевым преимуществом Optuna является возможность визуализации. 📊
Например, можно визуализировать важность гиперпараметров. Это может быть полезно, если после первого подбора мы хотим еще улучшить модель.
Например, визуализация важности показала, что важность гиперпараметров subsample и max_depth в разы меньше, чем важность гиперпараметров learning_rate и colsample_bytree. В таком случае мы можем зафиксировать subsample и max_depth такими, как их подобрали с первого раза, и дальше продолжить подбирать learning_rate и colsample_bytree, чтобы еще повысить качество модели.

Пример кода с Optuna в комментарии.


Чек-лист: что когда использовать? 📝

GridSearch будет лучшим выбором, если у вас изначально маленькая сетка гиперпараметров, или неограниченные ресурсы 🥹

RandomizedSearch подойдет, если нужно быстро получить хороший, не обязательно идеальный результат 🏎

Optuna -моя любимая библиотека для подбора гиперпараметров 🔝
В большинстве случаев она будет идеальным выбором благодаря:

· умному алгоритму обучения
· высокой скорости
· уникальным возможностям (визуализации, параллельные вычисления и т.д)

Графики ниже демонстрируют процесс работы Optuna:

2. История оптимизации — как менялась метрика с каждым испытанием (trial).
3. Важность параметров — какие гиперпараметры повлияли на результат сильнее всего.

Сравнивайте, экспериментируйте и делитесь вашим опытом в комментариях! 💬

---

Полные рабочие примеры кода для каждого метода опубликованы в комментариях к этому посту.

Ставьте
🔥 если было полезно
❤️ если интересны посты на тему машинного обучения
🤩 если хотели бы видеть еще посты на тему подбора гиперпараметров

#аналитические_методы
#ml
#python

Мой топ: как я подбираю визуализацию и библиотеку под неё 📊

Визуальный анализ — база любого проекта.
Для частых задач я собрал свой набор графиков, где миксую matplotlib, seaborn и plotly.
Сегодня расскажу, какую библиотеку и под какой сценарий беру.


Гистограмма распределения с выделением мер центральной тенденции ↗️

Для визуализации распределения я обычно использую seaborn, так как kde-сглаживание и hue-группировка делаются в одну строку. Добавление линий среднего и медианы помогает понять, в каком хвосте выбросы. Если среднее заметно правее/левее медианы — почти наверняка в этой стороне есть выбросы. На первой картинке видно: хвост справа тянет среднее за собой.


Распределения + выбросы 🔭

Еще для изучения распределений и детекции выбросов хорошо подходят графики boxplot, их я тоже строю с помощью seaborn. Причем можно как просто визуализировать распределение одной непрерывной переменной, так и разбить выборку по какому-нибудь категориальному признаку и сравнить распределения - пример на второй картинке. Еще я делал пост про более сложную визуализацию, которая помогает хорошо отследить взаимосвязи между несколькими переменными.


Временные ряды 📈

Для временных рядов я обычно использую plotly line.
Plotly позволяет быстро подсветить максимумы/минимумы. Я могу навести курсор и сразу увидеть дату и значение без дополнительного кода — это ускоряет поиск аномалий.
Пример использования на третьей картинке. Также есть пост про визуализацию нескольких рядов сразу для сравнения.


Столбчатые диаграммы 📊

Для столбчатых диаграмм я использую как seaborn, так и plotly. Seaborn в основном предпочитаю в случаях, когда надо визуализировать частотность (countplot) или сравнить средние/медианы по группам (группировка + barplot) - примеры на 4й и 5й картинках.
В plotly легко сделать анимированные или накопительные доли, а интерактивность помогает смотреть структуру без тонны графиков.
Пример на шестой картинке.


Тепловая карта корреляций 🎨

Для анализа корреляций идеально подходит heatmap от seaborn. Чем выше корреляция - тем ярче заливка ячейки. Пример на седьмой картинке.


Код для построения всех этих графиков с датасетами выложил на kaggle.


А какую библиотеку для визуализации предпочитаете вы? Или, как и я, используете разные?
Пишите в комментариях 💬

Ставьте
🔥если было полезно
❤️ если интересны посты про визуализацию данных
🤩 если согласны с моим топом

#визуализация_данных
#python
#matplotlib
#seaborn
#plotly

Разбор кейса: сырые данные, коммуникация и вайбкодинг — как я собрал дашборд 📈


Контекст

Недавно наша команда получила доступ к общебанковской CRM. В ней хранятся данные по всем кампаниям продаж — настоящий кладезь информации.

Как только коллеги из бизнес‑подразделения узнали об этом, они пришли к нам с запросом: «Сделайте дашборд по кампаниям другого департамента. Хотим понять, влияют ли их лиды на продажи нашего продукта».

На всякий случай напишу:
Лид (конкретно в моей сфере ) — это клиент, который соответствует критериям потенциально склонного к покупке продукта. Информация о таких клиентах передается сейлзам, которые предлагают потенциальным клиентам продукты.
Кампания продаж — логика отбора лидов + процесс постановки задач по этой логике сейлзам.

Задача звучала просто: собрать статистику за последний год и оценить эффект. Но на практике всё оказалось куда интереснее.


Первые шаги ▶️

Начал выгружать данные — и сразу две проблемы:
1. Кампании без названий (одни описания).
2. Дубликаты лидов (на одного клиента — несколько лидов за короткое время).
Дубликаты схлопнул скриптом. С кампаниями без названий помог аналитик из того департамента: объяснил, что это тестовые/нетиповые кампании, и я объединил их.


Инструменты и решение ⚙️

Когда данные были приведены в порядок, встал вопрос визуализации. Я насмотрелся красивых примеров Plotly Dash и решил попробовать, чтобы заодно попрактиковаться в Plotly.

Но синтаксис Dash оказался очень неприятным. Тогда я решил прибегнуть к вайбкодингу, но не напрямую:

- В ipynb построил графики и таблицы.
- Скопировал код в нейросеть с описанием нужной структуры
- Получил код, запустил — что-то съехало. Уточнил промт, через пару итераций заработало.
- Каждый раз сверял расчёты, чтобы нейросеть не исказила логику.
В итоге нейросеть написала 80% кода, а я сэкономил несколько дней.


Что получилось на дашборде 👀

На дашборде несколько блоков — каждый закрывает свой вопрос:

1. Таблица с детализацией по кампаниям (лиды, сделки, отказы, доход) + фильтры — фото 1.
2. Динамика доходов: наши клиенты vs клиенты с лидами — фото 2.
3. Работа с лидами: выставлено vs отработано по месяцам — фото 3.
4. Сделки и отказы по месяцам — фото 4.
5. Документация с формулами — чтобы дашборд не был чёрным ящиком.


Польза для бизнеса 🏆

Благодаря дашборду коллеги из бизнес‑команды сделали несколько важных выводов:

- Доля «лидовых» доходов росла в течение 2025 года. Значит, есть потенциал для совместной работы департаментов.
- Нашлись кампании-чемпионы, регулярно приводившие клиентов к покупке нашего продукта. Логику этих кампаний будут анализировать, чтобы запустить похожие.
- Процент отработанных лидов и скорость отработки оказались на высоком уровне, значит сейлзы не забывают про лиды.

Но главное — дашборд стал рабочим инструментом. Коллега из бизнеса теперь заходит в него перед встречами с тем самым департаментом и использует наши расчёты, чтобы аргументированно обсуждать эффективность совместной работы.


Рефлексия: что пошло не так и чему я научился 🤔

На самом деле не всё прошло гладко с первого раза. Когда я показал первую версию дашборда коллеге из бизнеса, его ожидания не совпали с реальностью. Оказалось, что заказчику важно видеть немного другие разрезы, другие сравнения. Пришлось переделывать.

Из этого я вынес два урока:

1. ТЗ нужно уточнять до мелочей. Не просто «сделай дашборд по кампаниям», а «какие метрики, в каких разрезах, с какой периодичностью ты будешь смотреть». Лучше потратить час на уточнение в начале, чем неделю на переделку в конце.
2. Двигаться итеративно. Вместо того чтобы две недели чистить данные и строить всё сразу, стоило показать сырые данные, потом простые графики, согласовать метрики, и только потом дотачивать визуал. Тогда не пришлось бы переделывать.

А вы сталкивались с ситуацией, когда ожидания заказчика и реальность расходились?
Делитесь опытом в комментариях 💬

Ставьте
🤩 если понравилась рубрика с разбором кейсов с моей работы
❤️ если интересны посты про то, как я использую вайбкодинг
🔥 если было полезно

#из_моей_практики
#разбор_кейса
#plotly