得分RFECV（）的scikit学习

Question

Scikit学习库支持递归特征消除（RFE）和交叉验证的版本（RFECV）。 RFECV对我来说非常有用，它选择小功能，但我想知道RFE的交叉验证是如何完成的。

RFE的方式，以减少至少重要的保护功能。因此，我认为RFECV将计算交叉验证得分1.

删除功能1，但如果使用交叉验证，我想每个折将选择其他功能的最重要的，因为数据是不同的。 有人知道如何在RFECV中删除功能吗？

Answer 1

的交叉验证在多个特征完成。每个CV迭代更新每个删除特征数量的得分。

然后根据分数挑选要保留的功能号码n_features_to_select，并在完整数据集上使用RFE，只保留n_features_to_select功能。

从source：

for n, (train, test) in enumerate(cv): 
    X_train, y_train = _safe_split(self.estimator, X, y, train) 
    X_test, y_test = _safe_split(self.estimator, X, y, test, train) 

    rfe = RFE(estimator=self.estimator, 
       n_features_to_select=n_features_to_select, 
       step=self.step, estimator_params=self.estimator_params, 
       verbose=self.verbose - 1) 

    rfe._fit(X_train, y_train, lambda estimator, features: 
      _score(estimator, X_test[:, features], y_test, scorer)) 
    scores.append(np.array(rfe.scores_[::-1]).reshape(1, -1)) 
scores = np.sum(np.concatenate(scores, 0), 0) 
# The index in 'scores' when 'n_features' features are selected 
n_feature_index = np.ceil((n_features - n_features_to_select)/
          float(self.step)) 
n_features_to_select = max(n_features_to_select, 
          n_features - ((n_feature_index - 
             np.argmax(scores)) * 
             self.step)) 
# Re-execute an elimination with best_k over the whole set 
rfe = RFE(estimator=self.estimator, 
      n_features_to_select=n_features_to_select, 
      step=self.step, estimator_params=self.estimator_params) 
rfe.fit(X, y)