可以使用内置张量函数作为神经网络的激活吗？

Question

例如，以下代码是否没有执行错误？

import tensorflow as tf 

x_data = [1, 2, 3] 
y_data = [1, 2, 3] 

W = tf.Variable(tf.random_uniform([1], -1.0, 1.0)) 
b = tf.Variable(tf.random_uniform([1], -1.0, 1.0)) 

X = tf.placeholder(tf.float32, name="X") 
Y = tf.placeholder(tf.float32, name="Y") 

hypothesis = tf.maximum(tf.add(tf.mul(W, X), b),0) 
cost = tf.reduce_mean(tf.square(hypothesis - Y)) 

optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.1) 

train_op = optimizer.minimize(cost) 
_, cost_val = tf.Session.run([train_op, cost], feed_dict={X: x_data, Y: y_data}) 

注意在上面的代码中，我使用`tf.maximum（tf.add（tf.mul（W，X），b）中，0）作为到我不能肯定的其可执行性，因为我不知道tf.maximum可以计算反向传播。

更常见的问题是，是否可以通过tf.Session中的反向传播来训练由内置张量函数构造的任何激活函数？

我的问题换句话说，每张张量数学运算都带有梯度信息吗？

Answer 1

我会这样想：给定一些任意函数可以计算出梯度吗？那不会。它取决于功能，在某种程度上它的组成部分是如何在张量流中实现的。

尤其是，代码中的代价只是一个平方误差损失，其已知具有全局最小值。

一些tweeks您的代码运行：

import tensorflow as tf 

x_data = [1, 2, 3] 
y_data = [1, 2, 3] 

W = tf.Variable(tf.random_uniform([1], -1.0, 1.0)) 
b = tf.Variable(tf.random_uniform([1], -1.0, 1.0)) 

X = tf.placeholder(tf.float32, name="X") 
Y = tf.placeholder(tf.float32, name="Y") 

hypothesis = tf.maximum(tf.add(tf.multiply(W, X), b),0) 
cost = tf.reduce_mean(tf.square(hypothesis - Y)) 

optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.1) 

train_op = optimizer.minimize(cost) 

with tf.Session() as sess: 
    sess.run(tf.global_variables_initializer()) 
    _, cost_val = sess.run([train_op, cost], feed_dict={X: x_data, Y: y_data}) 
    print(cost_val) 

4.999