如何正确评估神经网络模型？

Question

我目前正在为我的神经网络做超参数优化。

我有火车，开发和测试文件给我。对于我的超参数优化，我正在使用火车和开发集进行完整的培训。最后，我对给定参数组合的训练测试集进行评估。

我选择了最大化测试集上的分数的参数。我的问题是，我觉得这是错误的，因为我有点泄漏测试集。

这个程序不好吗？我是否应该使用optunity来最大化开发集的准确性，并最终报告测试集的分数？

Answer 1

通常，验证（dev）集用于比较具有各种超参数的模型。一旦选择并训练了您的首选模型，您就可以在测试集上运行它来测量其性能。

你的直觉是正确的;使用测试集来选择模型参数在某种意义上是使用该数据来帮助训练过程，这是不可取的。

在Andrew Ng的this post和this video中更详细讨论了列车/验证/测试组的划分和使用。