在R中使用XGBoost进行回归模型

我试图使用XGBoost作为gbm的替代品。在R中使用XGBoost进行回归模型

我得到的分数很奇怪，所以我在想也许我在代码中做错了什么。

我的数据包含几个因子变量，所有其他数字。

响应变量是指示房价的连续变量。

我明白，为了使用XGBoost，我需要使用一个热门恩为那些。我用下面的代码这样做：

Xtest <- test.data 
Xtrain <- train.data 
XSalePrice <- Xtrain$SalePrice 
Xtrain$SalePrice <- NULL 

# Combine data 
Xall <- data.frame(rbind(Xtrain, Xtest)) 

# Get categorical features names 
ohe_vars <- names(Xall)[which(sapply(Xall, is.factor))] 

# Convert them 
dummies <- dummyVars(~., data = Xall) 
Xall_ohe <- as.data.frame(predict(dummies, newdata = Xall)) 

# Replace factor variables in data with OHE 
Xall <- cbind(Xall[, -c(which(colnames(Xall) %in% ohe_vars))], Xall_ohe)

在那之后，我分割数据回测试&车组：

Xtrain <- Xall[1:nrow(train.data), ] 
Xtest <- Xall[-(1:nrow(train.data)), ]

再建立模型，并打印均方根误差& Rsquared：

# Model 
xgb.fit <- xgboost(data = data.matrix(Xtrain), label = XSalePrice, 
    booster = "gbtree", objective = "reg:linear", 
    colsample_bytree = 0.2, gamma = 0.0, 
    learning_rate = 0.05, max_depth = 6, 
    min_child_weight = 1.5, n_estimators = 7300, 
    reg_alpha = 0.9, reg_lambda = 0.5, 
    subsample = 0.2, seed = 42, 
    silent = 1, nrounds = 25) 

xgb.pred <- predict(xgb.fit, data.matrix(Xtrain)) 
postResample(xgb.pred, XSalePrice)

问题是我得到非常关RMSE & Rsxquare：

 RMSE  Rsquared 
1.877639e+05 5.308910e-01

这是从结果中使用GBM当我走得很远。

我想我做错了，我最好的可能与一个热编码相，我不熟悉猜，所以使用调整我的数据，谷歌搜索代码。

有人可以指出我做错了什么，以及如何“修复”它？

UPDATE：

审查@Codutie的答案后，我的代码中有一些错误：

Xtrain <- sparse.model.matrix(SalePrice ~. , data = train.data) 
XDtrain <- xgb.DMatrix(data = Xtrain, label = "SalePrice")

xgb.DMatrix生产：

Error in setinfo.xgb.DMatrix(dmat, names(p), p[[1]]) : 
    The length of labels must equal to the number of rows in the input data

train.data是数据帧，它具有1453行。标签SalePrice还包含1453个值（无遗漏值）

感谢

来源

2017-03-01 Adiel

train <- dat[train_ind,] 
train.y <- train[,ncol(train_ind)] 
xgboost(data =data.matrix(train[,-1]), 
    label = train.y, 
    objective = "reg:linear", 
    eval_metric = "rmse", 
    max.depth =15, 
    eta = 0.1, 
    nround = 15, 
    subsample = 0.5, 
    colsample_bytree = 0.5, 
    num_class = 12, 
    nthread = 3 
)

两条线索来控制XGB的回归，

1）埃塔：如果ETA小，模型往往过度拟合

2）eval_metric：不确定xgb是否允许用户使用他们自己的eval_metric。但是，如果定量因变量包含异常值，则此度量标准无用。检查XGB是否支持Hubber丢失功能。

来源

2017-05-30 07:33:29 DSBLR

在R中使用XGBoost进行回归模型

回答

相关问题