为什么使用scikit-learn的GradientBoostingRegressor从相同的输入中获得不同的输出？

Question

例如：

params = {'n_estimators': 200, "max_depth": 4, 'subsample': 1, 'learning_rate': 0.1} 
boost = ensemble.GradientBoostingRegressor(**params) 
ghostBoost = ensemble.GradientBoostingRegressor(**params) 

... 

boost.fit(x, y) 
ghostBoost.fit(x, y) 

... 

predictionA = boost.predict(features) 
predictionB = ghostBoost.predict(features) 

boost和ghostBoost是精确的相同，但predictionA不等于predictionB，为什么会出现这种情况？

Answer 1

尝试将两个模型的random_state构造函数参数修复为相同的值。由于每个节点认为max_features随机抽取（，替换无替换），所以决策树构建过程是随机的。

编辑：特征采样完成后无需替换。当max_features=None（默认）评估所有功能时，但是当max_depth不是None时可能会产生影响的排序更改，并且目标变量具有导致绑定最佳功能拆分的非唯一值。