在张量流中没有提供梯度（mean_squared_error）

Question

我正试图建立一个2输入神经元（+1 bias）的简单网络，进入1个输出神经元以教它“和”功能。它是基于mnist-clissification的例子，所以对于任务来说它可能过于复杂，但是关于这种网络的一般结构对我来说，所以请不要说“你可以用numpy来做”或者什么的，它是关于张量流NNs对我来说。因此，这里是代码：

import tensorflow as tf 
import numpy as np 

tf.logging.set_verbosity(tf.logging.INFO) 

def model_fn(features, labels, mode): 

    input_layer = tf.reshape(features["x"], [-1, 2]) 

    output_layer = tf.layers.dense(inputs=input_layer, units=1, activation=tf.nn.relu, name="output_layer") 

    if mode == tf.estimator.ModeKeys.PREDICT: 
     return tf.estimator.EstimatorSpec(mode=mode, predictions=output_layer) 

    loss = tf.losses.mean_squared_error(labels=labels, predictions=output_layer) 

    if mode == tf.estimator.ModeKeys.TRAIN: 
     optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.001) 
     train_op = optimizer.minimize(loss=loss, global_step=tf.train.get_global_step()) 
     return tf.estimator.EstimatorSpec(mode=mode, loss=loss, train_op=train_op) 

    eval_metrics_ops = {"accuracy": tf.metrics.accuracy(labels=labels, predictions=output_layer)} 
    return tf.estimator.EstimatorSpec(mode=mode, predictions=output_layer, loss=loss) 

def main(unused_arg): 

    train_data = np.asarray(np.reshape([[0,0],[0,1],[1,0],[1,1]],[4,2])) 
    train_labels = np.asarray(np.reshape([0,0,0,1],[4,1])) 

    eval_data = train_data 
    eval_labels = train_labels 

    classifier = tf.estimator.Estimator(model_fn=model_fn, model_dir="/tmp/NN_AND") 

    tensors_to_log = {"The output:": "output_layer"} 
    logging_hook = tf.train.LoggingTensorHook(tensors=tensors_to_log,every_n_iter=10) 

    train_input_fn = tf.estimator.inputs.numpy_input_fn(x={"x":train_data}, y=train_labels, batch_size=10, num_epochs=None, shuffle=True) 
    classifier.train(input_fn=train_input_fn, steps=2000, hooks=[logging_hook]) 

    eval_input_fn = tf.estimator.inputs.numpy_input_fn(x={"x":eval_data}, y=eval_labels, batch_size=1, shuffle=False) 
    eval_results = classifier.evaluate(input_fn=eval_input_fn) 
    print(eval_results) 

if __name__ == "__main__": 
    tf.app.run() 

Answer 1

我做了一些细微的修改您的代码，使学习and功能：

1）改变你的train_data到FLOAT32表示。

train_data = np.asarray(np.reshape([[0,0],[0,1],[1,0],[1,1]],[4,2]), dtype=np.float32)` 

2）从输出层中删除relu激活 - 一般来说，不推荐在输出层使用relus。这可能导致死亡relus和所有梯度将等于零，这反过来将不会使任何学习成为可能。

output_layer = tf.layers.dense(inputs=input_layer, units=1, activation=None, name="output_layer") 

3）在您的eval_metrics_ops确保您轮的结果，所以你可以实际测量精度：

eval_metrics_ops = {"accuracy": tf.metrics.accuracy(labels=labels, predictions=tf.round(output_layer))} 

4）不要fortget添加到您的估计中定义的eval_metrics_ops参数：

return tf.estimator.EstimatorSpec(mode=mode, predictions=output_layer, loss=loss, eval_metric_ops=eval_metrics_ops) 

另外，记录的最后一层的输出，你应该使用：

tensors_to_log = {"The output:": "output_layer/BiasAdd:0"}