2017-07-05 78 views
12

之间的差:Keras:从Keras文档LSTM漏失和LSTM复发性差

差:单位的0和1之间分数浮法跌落的输入的 线性变换。

recurrent_dropout:0和1之间的浮点数。对于经常状态的线性变换,单位的分数为 。

任何人都可以指向每个退出下面的图像在哪里发生?

enter image description here

+0

'用于输入的线性转换'所以x_t –

回答

15

我建议采取看看this paper(第一部分)。在输入和/或输出上应用常规失落,这意味着从x_th_t的垂直箭头。在你将它作为参数添加到你的图层时,它会掩盖输入;您可以在循环图层后面添加一个Dropout图层来屏蔽输出。经常性丢失口罩(或“滴”)经常性单位之间的连接;那将是你图片中的水平箭头。

这张照片是从上面的文件中提取的。在左边,输入和输出经常退出。在右侧,定期漏失PLUS复发性差:

This picture is taken from the paper above. On the left, regular dropout on inputs and outputs. On the right, regular dropout PLUS recurrent dropout.

(忽略在这种情况下,箭头的颜色;在纸他们正在保持相同的漏失掩模在每个时步的另一点)