#xgboost #categoricals #featureatureimportance
Попробовал поработать в xgboost с категориальными признаками, это полный факап.
model = XGBClassifier(iterations=1000, random_seed=0, enable_categorical=True, tree_method="approx")
Категорийки, не связанные с таргетом, получают в нём САМУЮ высокую важность из всех фичей. В плане метрик результаты на порядок хуже LightGM и CatBoost. А вы найдите сейчас реальную задачу без категориек. У кого похожий опыт?
https://stats.stackexchange.com/questions/396986/feature-selection-meaning-of-importance-type-in-get-score-function-of-xgbo/625653
Попробовал поработать в xgboost с категориальными признаками, это полный факап.
model = XGBClassifier(iterations=1000, random_seed=0, enable_categorical=True, tree_method="approx")
Категорийки, не связанные с таргетом, получают в нём САМУЮ высокую важность из всех фичей. В плане метрик результаты на порядок хуже LightGM и CatBoost. А вы найдите сейчас реальную задачу без категориек. У кого похожий опыт?
https://stats.stackexchange.com/questions/396986/feature-selection-meaning-of-importance-type-in-get-score-function-of-xgbo/625653
Cross Validated
(Feature Selection) Meaning of "importance type" in get_score() function of XGBoost
I'm trying to use a build in function in XGBoost to print the importance of features. My code is like
import xgboost as xgb
...
clf_xgboost = xgb.XGBClassifier(...)
clf_xgboost.fit(X, y)
for type ...
import xgboost as xgb
...
clf_xgboost = xgb.XGBClassifier(...)
clf_xgboost.fit(X, y)
for type ...
#xgboost #hyperparameters
Приятное описание гиперпараметров xgbost-а, с картинками.
https://towardsdatascience.com/visualizing-xgboost-parameters-a-data-scientists-guide-to-better-models-38757486b813
Приятное описание гиперпараметров xgbost-а, с картинками.
https://towardsdatascience.com/visualizing-xgboost-parameters-a-data-scientists-guide-to-better-models-38757486b813
Medium
Visualizing XGBoost Parameters: A Data Scientist’s Guide To Better Models
Why understanding parameters is critical to building robust models