2011-12-13 38 views
0

我正在构建一个神经网络分类训练系统。神经网络模型的平常成功率是多少?

我对你建造的系统的错误率感兴趣吗?

来自UCI ML的经典示例是Iris数据集。 神经网络训练几乎完美 - 错误率0-1%;但它是一个非常基本的数据集。

我的网络结构如下:80in,208hid,2out。 我的结果是测试数据集的错误率为8%。

基本上在这个问题我想请教一下各种研究成果你在工作中遇到的, ,论文等

加入1: 错误率当然是对测试数据 - 而不是训练。所以这是全新的网络数据集

加2(来自我对该问题的评论): 我的新结果。 1200个参赛作品,900个训练,300个测试。 Class1中85个,Class2中1115个。 85个测试中有44个测试。错误率 - 6%。它并没有那么糟糕,因为44〜300。15%,所以我更好的2.5倍..

+2

这不是一个可以轻松回答的问题。错误率高度**取决于数据,NN的复杂度,训练量等。其中一些因素也是可变的,从本质上允许在低速率情况下调整错误率,唯一的目标。确切地说,是 – blahdiblah 2011-12-14 00:11:42

+0

。我在问你最后的最佳结果。我不问如何解决我的网络问题。这是一种研究结果汇总问题。 – user425720 2011-12-14 00:54:12

回答

0

例如见本文:

达尼洛P.曼迪奇和乔纳森A. Chanbers(2000) 。朝向最佳学习速率 反向传播,神经处理快报11:1-5PDF

1

模型性能是完全问题特定的。即使在具有相似质量和发展数据量的情况下,如果目标变量定义相同,绩效可能会有很大差异。显然,问题定义越相似,不同模型的性能越匹配。

要考虑的另一件事是技术性能业务绩效之间的差异。在某些应用中,52%的准确度是非常有利可图的,而在其他领域,98%的准确度将是绝望的低。

1

我还要补充说,除了Predictor提到的之外,衡量你在训练集上的表现通常是没有用的,它可以用来确定你的分类器如何在以前看不见的数据上执行。多次使用相对简单的分类器,您可以在训练集上得到0%的错误率,而无需学习任何有用的东西(这称为过度拟合)。

什么是更常用的(更有助于确定分类器的工作方式)要么保存数据,要么交叉验证,如果您将数据分为三部分:培训,验证和测试,则更好。

此外,很难理解分类器在一个阈值下的工作情况,只给出真正的肯定+真实的否定。人们还倾向于评估假阳性和假阴性,并绘制ROC曲线来查看/评估折衷。所以,说“2.5倍好”,你应该清楚,你比较一个分类器,把所有东西都归类为C2,这是一个非常糟糕的基准。