tf.sign如何处理反向传播？

Question

我以TensorFlow开始，我正尝试创建一个二进制网络。更具体地说，我正在寻找一个哈希网络，它将编码一个大小为n的二进制向量的图像。所以我有一个经典的网络，我在softmax之前将最后一层二值化。

TensorFlow提供了一个tf.sign函数可以做到这一点，但我无法弄清楚反向传播在实际中如何工作，因为它不是连续的。

有什么想法？

Answer 1

不幸的是tf.sign()的梯度总是被定义为0（可能是因为有定义它没有什么好办法。）

https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/ops/math_grad.py#L542

@ops.RegisterGradient("Sign") 
def _SignGrad(op, _): 
    """Returns 0.""" 
    x = op.inputs[0] 
    return array_ops.zeros(array_ops.shape(x), dtype=x.dtype)