Логарифмирование признаков полезно, когда значения признаков
Такое преобразование:
Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
👀 Почему one-hot encoding может быть неэффективен при большом количестве категорией
One-hot encoding создает по одному бинарному признаку на каждое уникальное значение категориальной переменной. Когда количество категорийочень велико (например, тысячи ID товаров или пользователей) , возникают несколько проблем:
📍 Взрыв размерности: матрица признаков становится разреженной и очень широкой, что увеличивает требования к памяти и может замедлить обучение.
📍 Переобучение: модель может начать подгоняться под шум, если некоторые категории редко встречаются.
📍 Потеря семантической связи: one-hot не учитывает близость между категориями — все они считаются равными и независимыми.
В таких случаях лучше использовать альтернативы:
📍 Target encoding / mean encoding — замена категории на среднее значение целевой переменной для этой категории;
📍 Embedding-слои — обучаемые векторные представления категорий, особенно популярны в нейросетях;
📍 Frequency encoding — замена категории на частоту её появления.
Выбор метода зависит от модели и объема данных, но при большом количестве уникальных значений one-hot часто оказывается неоптимальным.
Библиотека собеса по Data Science
One-hot encoding создает по одному бинарному признаку на каждое уникальное значение категориальной переменной. Когда количество категорий
В таких случаях лучше использовать альтернативы:
Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Доверительный интервал (confidence interval) — это концепция из частотной статистики, где параметр считается
Байесовский достоверный интервал (credible interval) исходит из идеи, что параметр — это
Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
😱 Завтра цена на курс «AI-агенты для DS» вырастет
Пока вы думаете — другие уже покупают. Что вы теряете, откладывая решение? Как минимум — 10 000 рублей, именно столько вы переплатите завтра. Как максимум — шанс войти в топ-1% дата-сайентистов, которые умеют строить AI-агенты.
🎓 Чему вы научитесь на курсе:
— адаптировать LLM под разные предметные области и данные
— собирать свою RAG-систему: от ретривера и реранкера до генератора и оценки качества
— строить AI-агентов с нуля — на основе сценариев, функций и взаимодействия с внешней средой
Решение за вами.
👉 Купить курс по старой цене
Пока вы думаете — другие уже покупают. Что вы теряете, откладывая решение? Как минимум — 10 000 рублей, именно столько вы переплатите завтра. Как максимум — шанс войти в топ-1% дата-сайентистов, которые умеют строить AI-агенты.
🎓 Чему вы научитесь на курсе:
— адаптировать LLM под разные предметные области и данные
— собирать свою RAG-систему: от ретривера и реранкера до генератора и оценки качества
— строить AI-агентов с нуля — на основе сценариев, функций и взаимодействия с внешней средой
Решение за вами.
👉 Купить курс по старой цене
proglib.academy
Курс|AI-агенты для DS-специалистов
На курсе ты разберёшься, как работают AI-агенты и как их применять в работе — от текстовых помощников до систем, помогающих принимать решения. Разберем архитектуру агентов, связку с внешними API, пайплайны действий и популярные библиотеки. Курс включает реальные…
Batch normalization рассчитывает
Dropout случайно отключает нейроны, предполагая
Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔 Как сбалансировать уровень детализации данных и приватность пользователя, если хочется отслеживать каждое действие на сайте
Сбор очень детальных данных (например, движений мыши или всех кликов) может дать точную картину вовлечённости, но это часто противоречит ожиданиям пользователей и законам.
Чтобы найти баланс, можно:
—Использовать агрегированные или анонимизированные метрики — например, сохранять данные на уровне сессии без личных идентификаторов.
—Получать явное согласие пользователей и чётко объяснять, какие данные собираются и зачем.
—Применять методы дифференциальной приватности, чтобы нельзя было определить конкретного пользователя даже в больших массивах данных.
Важно помнить:слишком грубые метрики могут скрыть полезные детали, а избыточный сбор личной информации без чёткого плана её использования может обернуться юридическими или имиджевыми проблемами.
Библиотека собеса по Data Science
Сбор очень детальных данных (например, движений мыши или всех кликов) может дать точную картину вовлечённости, но это часто противоречит ожиданиям пользователей и законам.
Чтобы найти баланс, можно:
—
—
—
Важно помнить:
Библиотека собеса по Data Science
🖼 Какие методы помогают визуализировать компромисс между точностью (precision) и полнотой (recall)
Наиболее распространённый способ —Precision-Recall кривая. Она показывает, как меняются precision и recall при изменении порога классификации от 0 до 1.
📝 Если модель удерживает высокую точность при высокой полноте — это хороший признак.
📝 Если precision резко падает при увеличении recall, значит модель плохо справляется с определением положительных примеров при более мягких порогах.
Также можно использоватьROC-кривую (True Positive Rate против False Positive Rate), но при сильной дисбалансировке классов Precision-Recall кривая информативнее, особенно при анализе качества на миноритарном классе.
Библиотека собеса по Data Science
Наиболее распространённый способ —
Также можно использовать
Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM