Существуют два подхода: пост-обрезка (post-pruning) и предварительная обрезка (pre-pruning / early stopping).
Сначала дерево строится полностью, чтобы уловить все потенциальные взаимодействия между признаками. Затем удаляются ветви, которые не дают улучшения по валидационным метрикам. Такой подход часто даёт более оптимальное и устойчивое дерево, но требует больше вычислительных ресурсов.
Рост дерева останавливается заранее по определённым критериям (например, минимальное количество выборок в узле или порог улучшения по impurity). Это быстрее и дешевле, но может привести к недообучению, если ограничение слишком жёсткое.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5
Что измеряет Gini impurity в узле дерева?
Anonymous Quiz
3%
Среднее значение признаков
37%
Вероятность неправильной классификации, если класс выбирается случайно
58%
Энтропию распределения
2%
Количество листьев в дереве
👍3❤1
Зачем добавляют skip connections в глубокие нейросети?
Anonymous Quiz
6%
Чтобы уменьшить количество параметров
5%
Чтобы сделать сеть более линейной
85%
Чтобы облегчить обратное распространение градиента и ускорить обучение
3%
Чтобы сократить использование ReLU
❤2
Как обычно определяется сходимость алгоритма K-Means?
Anonymous Quiz
14%
Когда все точки остаются в тех же кластерах две итерации подряд
83%
Когда изменение положения центроидов становится меньше заданного порога
1%
Когда количество итераций превышает 10
2%
Когда все кластеры содержат одинаковое количество точек
👍3
Почему AUC-ROC не всегда подходит для многоклассовых задач без модификаций?
Anonymous Quiz
29%
Потому что он требует равного количества примеров для всех классов
51%
Потому что ROC определён только для бинарной классификации
4%
Потому что AUC не работает с вероятностями
17%
Потому что ROC не может быть усреднён
❤2
Когда стоит использовать пост-прунинг вместо прекрашения роста дерева (pre-pruning)?➡️
Anonymous Quiz
12%
Когда важно уменьшить вычислительные затраты
76%
Когда нужно позволить дереву сначала выучить все закономерности, а потом удалить лишние ветви
6%
Когда у нас мало данных
7%
Когда дерево не может переобучиться
❤1
🖤 ЧЕРНАЯ ПЯТНИЦА: СКИДКА 40%
Что общего между Black Friday и подготовкой к собесам? Оба случаются раз в год, и оба нельзя пропустить! 😎
🔥 Курсы со скидкой 40% до конца ноября:
🐍 Python
📐 Математика
🤖 AI
🔢 Алгоритмы и структуры
Пока другие покупают кофемашины и телевизоры, инвестируй в себя📈
Что общего между Black Friday и подготовкой к собесам? Оба случаются раз в год, и оба нельзя пропустить! 😎
🔥 Курсы со скидкой 40% до конца ноября:
🐍 Python
📐 Математика
🤖 AI
🔢 Алгоритмы и структуры
Пока другие покупают кофемашины и телевизоры, инвестируй в себя📈
Почему стандартная k-fold кросс-валидация плохо подходит для временных рядов?
Anonymous Quiz
9%
Потому что данные могут быть не IID (независимыми и одинаково распределёнными)
90%
Потому что нарушается временной порядок и происходит утечка данных из будущего
1%
Потому что k слишком маленькое
1%
Потому что нельзя использовать метрику AUC
👍1
Если при кросс-валидации модель показывает очень разные результаты на разных фолдах, а на тесте — низкую ошибку, что это может значить?
Anonymous Quiz
10%
Недостаток данных
52%
Сильная зависимость модели от случайных разбиений данных
31%
Модель сильно переобучена на один из фолдов
7%
Модель недообучена
❤1👍1
Почему комбинация методов калибровки (например, Temperature Scaling + Isotonic Regression) может ухудшить итоговую калибровку?
Anonymous Quiz
4%
Потому что методы несовместимы по математике
44%
Потому что вторая калибровка заново масштабирует логиты
30%
Потому что каждая трансформация может переобучиться на ограниченной валидационной выборке
23%
Потому что избыточная гладкость ухудшает дискретизацию вероятностей
📊 Задача с собеседования
Если не понимаете с какой стороны подступиться к задаче, то пора подтянуть математику.
🎓 Именно этому посвящен курс экспресс-курс «Математика для Data Science» от Proglib Academy:
— работа с векторами и матрицами;
— линейная регрессия и метод наименьших квадратов;
— вероятности, распределения, статистика;
— и многое другое.
⏳ Старт: 4 декабря
🔥 Скидка: 40% до конца ноября
👉 Подключиться к курсу
Имеются данные о продажах за последние 12 месяцев. Требуется оценить наличие линейной зависимости между количеством заключённых сделок и объёмом выручки, а также построить прогноз выручки при достижении 150 сделок.
Если не понимаете с какой стороны подступиться к задаче, то пора подтянуть математику.
🎓 Именно этому посвящен курс экспресс-курс «Математика для Data Science» от Proglib Academy:
— работа с векторами и матрицами;
— линейная регрессия и метод наименьших квадратов;
— вероятности, распределения, статистика;
— и многое другое.
⏳ Старт: 4 декабря
🔥 Скидка: 40% до конца ноября
👉 Подключиться к курсу
Почему добавление слишком большого momentum-параметра β в стохастическом градиенте может ухудшить обучение при очень шумных данных?
Anonymous Quiz
67%
Потому что накопленные скорости усиливают шум в направлении обновлений
15%
Потому что momentum уменьшает размер шага
15%
Потому что β влияет на регуляризацию
3%
Потому что градиенты перестают зависеть от потерь