使用NAs为稀疏矩阵和XGBOOST准备数据

我有一个由因子变量，数值变量和目标列组成的大型数据集我试图正确地将其馈入xgboost，目标是制作xgb.Matrix和培训一个模型。使用NAs为稀疏矩阵和XGBOOST准备数据

我很困惑正确的处理让我的数据框到一个xgb.DMatrix对象。特别是，我在因子和数字变量中都有NAs，并且我想在创建xgb.Matrix之前从我的数据框中创建一个sparse.model.matrix。对新手的适当处理确实让我感到困惑。

我有以下示例数据框df包含一个二进制分类变量，两个连续变量和一个目标。分类变量和一个连续变量来港

'data.frame': 10 obs. of 4 variables: 
$ v1 : Factor w/ 2 levels "0","1": 1 2 2 1 NA 2 1 1 NA 2 
$ v2 : num 3.2 5.4 8.3 NA 7.1 8.2 9.4 NA 9.9 4.2 
$ v3 : num 22.1 44.1 57 64.2 33.1 56.9 71.2 33.9 89.3 97.2 
$ target: Factor w/ 2 levels "0","1": 1 1 2 2 1 1 1 2 1 1 

    v1 v2 v3 target 
1  0 3.2 22.1  0 
2  1 5.4 44.1  0 
3  1 8.3 57.0  1 
4  0 NA 64.2  1 
5 <NA> 7.1 33.1  0 
6  1 8.2 56.9  0 
7  0 9.4 71.2  0 
8  0 NA 33.9  1 
9 <NA> 9.9 89.3  0 
10 1 4.2 97.2  0

从matrix库将不接受来港sparse.model.matrix。它消除了行（我不想要）。所以，我需要到NAS变成一个数字替代像-999

如果我用简单的命令：

df[is.na(df)] = -999

，只替换来港的数字列：

 v1  v2 v3 target 
1  0 3.2 22.1  0 
2  1 5.4 44.1  0 
3  1 8.3 57.0  1 
4  0 -999.0 64.2  1 
5 <NA> 7.1 33.1  0 
6  1 8.2 56.9  0 
7  0 9.4 71.2  0 
8  0 -999.0 33.9  1 
9 <NA> 9.9 89.3  0 
10 1 4.2 97.2  0

所以我首先（想我）需要将因子变量更改为数字，然后执行替换。这样做，我得到：

 v1  v2 v3 target 
1  1 3.2 22.1  0 
2  2 5.4 44.1  0 
3  2 8.3 57.0  1 
4  1 -999.0 64.2  1 
5 -999 7.1 33.1  0 
6  2 8.2 56.9  0 
7  1 9.4 71.2  0 
8  1 -999.0 33.9  1 
9 -999 9.9 89.3  0 
10 2 4.2 97.2  0

但因子变量转换回一个因数（我认为这是必要的所以xgboost稍后会知道它的一个因素），我得到三个层次：

data.frame': 10 obs. of 4 variables: 
$ v1 : Factor w/ 3 levels "-999","1","2": 2 3 3 2 1 3 2 2 1 3 
$ v2 : num 3.2 5.4 8.3 -999 7.1 8.2 9.4 -999 9.9 4.2 
$ v3 : num 22.1 44.1 57 64.2 33.1 56.9 71.2 33.9 89.3 97.2 
$ target: Factor w/ 2 levels "0","1": 1 1 2 2 1 1 1 2 1 1

我现在最终还不能确定如何使sparse.model.matrix和xgb.matrix对象最终变得有意义，因为v1显得很混乱。

为了使事情更加令人困惑，xgb.Dmatrix()有一个参数missing ，我可以用它来识别表示NA的数值（-999）。但是这个只能用于密集矩阵。如果我提交了密集矩阵，我只需要拥有NAs并且不需要它。但是，在我有-999s的稀疏矩阵中，我无法使用它。

我希望我不会轻易看到一些东西。广泛地通过xgboost.pdf并在Google上查看。

请帮忙。提前致谢。

来源

2016-09-28 Windstorm1981

如果只有3个预测变量，为什么要制作一个稀疏矩阵？其次，'xgboost'只接受数字特征。 – mtoto

1.我的真实数据集有185个预测变量和70000个观测数据。 2. xgboost接受分类变量（我认为）当改变为数字形式（0,1）时，就像Ive做的那样。 – Windstorm1981

你可以使用'options（na.action ='na.pass'）; sm <-sparse.model.matrix（target〜。，df）'，然后将它提供给'xgboost'。稀疏矩阵只会为虚拟变量包含非缺失值。对于连续变量，会学习缺失（默认）方向。 – mtoto

options(na.action='na.pass')正如@mtoto所提到的那样，是处理此问题的最佳方法。它将确保在构建模型矩阵时不会丢失任何数据。

具体的XGBoost实现;在NAs的情况下，在增长树时进行分割时检查更高的增益。因此，举例来说，如果不考虑NA的分割被确定为变量var1（范围[0,1]）值0.5，则其考虑var1 NA将计算增益为< 0.5并且> 0.5。无论分裂方向如何，它都可以获得更多的收益，因此它有助于NAs获得分裂的方向因此，现在NA具有范围[0,0.5]或[0.5,1]，但是没有分配给它的实际值（即，估算的）。请参阅（2014年8月12日原作者tqchen的comment）。

如果你在输入-99xxx，那么你就限制了算法学习NA的适当范围（以标签为条件）的能力。

来源

2018-02-15 12:51:18 abhiieor

使用NAs为稀疏矩阵和XGBOOST准备数据

回答

相关问题