早期停止和sklearn neural_network.MLPClassifier

Question

我正在使用sklearn.neural_network.MLPClassifier。我正在使用early_stopping功能，该功能使用验证分割（默认为训练数据的10％）评估每次迭代的性能。

但是，我的问题是多标签。根据API，验证使用子集精度，这对于多标签问题是非常苛刻的。

是否可以定义一个替代的评分函数（理想情况下mlogloss）用于验证？谢谢。

Answer 1

解决方案是使用sknn而不是MLP的sklearn实现。这允许使用添加我们自己的valid_set并指定损失函数。详情here。