Autoencoder和神经网络过度拟合的参数号？

Question

我有1100序列2类。其中400来自一个class 1和700来自class 2。我使用了一个隐藏层自动编码器2神经元捕捉我的功能。我最初的功能是每个序列三克。所以，对于每个序列我都有6860三元组。结果，我的大部分输入向量都是稀疏向量。现在

，如果我计算参数，这个网络，我有

6860 * 2 = 13720 paramters (1st layer) 
2 * 6860 = 13720 parameters (2nd layer) 
----------------------------------------- 
      27440 parameters (in total) 

现在，这是相较于我的数据点太多的参数。因此，我已经使用的0.98漏失值，上layer 1->hidden layer以及hidden layer->output layer这使得每一层上参数13720 * 0.02 = 274数目和总548参数。

现在，训练后，我试图上500序列的我的测试数据编码器中，并用2个维数据的隐藏层。然后，我将这些数据用于另一个神经元单隐层神经网络进行分类。我的结果真的很好，我准备好了90%。

我的问题是我过度配合在我的自动编码器？我是否过度使用另一个神经网络？我担心我的数据点数量很少。我使用辍学似乎是合理的吗？

Answer 1

尝试增加隐藏层的大小与失学关闭，直到你完全适合数据，然后使用该隐藏层的大小，你可以开始增加辍学参数来获取模型的行为的感觉。

此外，你可能想要添加一个alpha参数来调整权重更新。

你可能有运气聚集你的一些参数在一起。