Tensorflow为不同的训练输入参数返回相同的结果

我想在R中实现张量流预测函数，但预测结果总是相同的，不管输入参数是什么。Tensorflow为不同的训练输入参数返回相同的结果

我试图保持真正接近官方tutorial。

我的训练数据形成了7个变量的data.frame。第一个是结果。其结果是0或1

我完整的代码：

sess <- tf$InteractiveSession() 

x <- tf$placeholder(tf$float32, shape(NULL,6L)) 
y_ <- tf$placeholder(tf$float32, shape(NULL,2L)) 

W <- tf$Variable(tf$zeros(shape(6L, 1L))) 
b <- tf$Variable(tf$zeros(shape(2L))) 

sess$run(tf$global_variables_initializer()) 
y <- tf$nn$softmax(tf$matmul(x,W) + b) 
cross_entropy <- tf$reduce_mean(-tf$reduce_sum(y_ * tf$log(y), reduction_indices=1L)) 
optimizer <- tf$train$GradientDescentOptimizer(0.5) 
train_step <- optimizer$minimize(cross_entropy) 

i = 1 
while (i < (nrow(training_data)-20)) { 
    print(i) 
    batch_ys <- matrix(c(training_data[i:(i+19),1], abs(training_data[i:(i+19),1]-1)), nrow=20) 
    batch_xs <- matrix(c(training_data[i:(i+19),2],training_data[i:(i+19),3],training_data[i:(i+19),4],training_data[i:(i+19),5],training_data[i:(i+19),6],training_data[i:(i+19),7]), nrow=20, ncol=6) 

    sess$run(train_step, feed_dict = dict(x = batch_xs, y_ = batch_ys)) 
    i = i + 20 
}

而且随着训练数据

# Simple verification 
for (j in 1:30){ 
    test_data <- c(training_data[j,2],training_data[j,3],training_data[j,4],training_data[j,5],training_data[j,6],training_data[j,7]) 
    test_data <- matrix(test_data, nrow = 1, ncol = 6) 
    feed_dict = dict(x= test_data) 
    print('############') 
    print(sess$run(y,feed_dict)) # this is always the same 
    print(training_data[j,1]) 
}

的第一个项目一个简单的检查我预期的预测依赖在输入，但它返回：

[1] "############" 
    [,1] [,2] [,3] [,4] [,5] [,6] 
[1,] 2 2 4 74 5 2 
     [,1]  [,2] 
[1,] 0.0657808 0.9342192 
[1] 1 
[1] "############" 
    [,1] [,2] [,3] [,4] [,5] [,6] 
[1,] 0 1 5 61 2 3 
     [,1]  [,2] 
[1,] 0.0657808 0.9342192 
[1] 0 
[1] "############" 
    [,1] [,2] [,3] [,4] [,5] [,6] 
[1,] 3 2 6 85 5 4 
     [,1]  [,2] 
[1,] 0.0657808 0.9342192 
[1] 0

我做错了什么？

感谢，

巴斯蒂安

来源

2017-07-17 user2667549

我想通了，为什么它不适用于数据。该代码工作得很好，但输入数据没有在0和1之间缩放。

我想所有超过1的值都设置为1（例如32kg - > 1），所以nnet仅被训练表格填充为1.由于每个输出分类的输入值相同，结果是一个常数值。

来源

2017-08-12 11:09:54 user2667549

看来，问题是在这条线：

W <- tf$Variable(tf$zeros(shape(6L, 1L)))

当你初始化用零权重矩阵，所有的梯度将是零和。所以，即使经过一些训练迭代W仍然是一个零矩阵。解决方案是使用小的随机值来初始化这个矩阵。

来源

2017-07-17 20:43:15

我试图用'tf $ random_normal'初始化W，但问题仍然存在。 – user2667549

Tensorflow为不同的训练输入参数返回相同的结果

回答

相关问题