Tensorflow优化乘法然后添加

Question

它是线性代数共同优化的乘法然后通过附加伪恒定尺寸的输入，那么整个变成单个乘法（Wx + b => W'x'）添加公共的操作。

有没有在Tensorflow这样做任何好处，还是会优化该反正（例如tf.matmul(...) + b与tf.matmul(...)）

Answer 1

是你所谈论的不是增加速度，减少了内存的优化。这只是缩短数学表达式的一种方法。

• 存在内存中，因为不是有b你只是在前面加上/与b同样大小的列追加你的矩阵向量没有减少。
• 即使您不会计算将列矩阵W附加/前加到矩阵W所需的操作次数，矩阵乘法将执行更多操作。您交易添加n元素b_i如果您只是添加一个向量来添加n元素计算为c_i * x_i。

在TF中这样做没有好处（在速度/记忆方面），并且不，TF本身并不优化它。

如果你更容易阅读和理解那里正在发生的事情，你可以自由地以这种方式写。