2017-01-15 33 views
0

多个漏失层我想再现,其中每个时间层之后是漏失层回归神经网络,并且这些漏失层共享他们的面具。除其他外,该结构在A Theoretically Grounded Application of Dropout in Recurrent Neural Networks中有描述。mxnet:与共享掩模

据我理解代码,在MXNet实施了经常性的网络模型没有时间层之间施加任何辍学层;的功能,例如lstmR APIPython API)的dropout参数实际上定义在输入降。因此我需要从头开始重新实现这些功能。

然而,漏失层似乎不采取掩模限定作为参数的变量。

是否有可能进行多次辍学层在计算图的不同的地方,但分享他们的面具?

回答

1

根据讨论here,这是不可能指定掩模,通过随机种子不会对辍学的随机数发生器产生影响。

+0

有一些工作可以解决RNG问题,但您仍然无法指定掩码。 –

+0

链接到[PR](https://github.com/apache/incubator-mxnet/pull/9366)。 –