TensorFlow中变量和get_variable之间的区别

Question

据我所知，Variable是制作变量的默认操作，而get_variable主要用于权重共享。

一方面，有人建议在需要变量时使用get_variable而不是原始的Variable操作。另一方面，我在TensorFlow的官方文档和演示中只看到get_variable的任何使用。

因此，我想知道一些关于如何正确使用这两种机制的规则。有没有“标准”原则？

Answer 1

我建议始终使用tf.get_variable(...) - 如果您需要在任何时间共享变量，它将使重构代码变得更容易。在多GPU设置中（请参阅多GPU CIFAR示例）。它没有缺点。

纯tf.Variable是较低级的;在某个点tf.get_variable()不存在，所以一些代码仍然使用低级方式。

Answer 2

tf.Variable是一个类，有几种创建tf.Variable的方法，包括tf.Variable .__ init__和tf.get_variable。

tf.Variable .__ init__：用初始值创建一个新变量。

W = tf.Variable(<initial-value>, name=<optional-name>) 

tf.get_variable：获取具有这些参数的现有变量或创建一个新变量。你也可以使用初始化器。

W = tf.get_variable(name, shape=None, dtype=tf.float32, initializer=None, 
     regularizer=None, trainable=True, collections=None) 

这是非常有用的使用初始化如xavier_initializer：在https://www.tensorflow.org/versions/r0.8/api_docs/python/state_ops.html#Variable

W = tf.get_variable("W", shape=[784, 256], 
     initializer=tf.contrib.layers.xavier_initializer()) 

更多信息。

Answer 3

我能找到一个和另一个之间的两个主要区别：

1. 首先是tf.Variable将始终创建一个新的变量，是否tf.get_variable从图中得到这些参数的存在的变量，如果它不存在，它创建一个新的。

2. tf.Variable要求指定初始值。

它澄清，功能tf.get_variable前缀的名称与当前变量范围进行复用的检查是很重要的。例如：

with tf.variable_scope("one"): 
    a = tf.get_variable("v", [1]) #a.name == "one/v:0" 
with tf.variable_scope("one"): 
    b = tf.get_variable("v", [1]) #ValueError: Variable one/v already exists 
with tf.variable_scope("one", reuse = True): 
    c = tf.get_variable("v", [1]) #c.name == "one/v:0" 

with tf.variable_scope("two"): 
    d = tf.get_variable("v", [1]) #d.name == "two/v:0" 
    e = tf.Variable(1, name = "v", expected_shape = [1]) #e.name == "two/v_1:0" 

assert(a is c) #Assertion is true, they refer to the same object. 
assert(a is d) #AssertionError: they are different objects 
assert(d is e) #AssertionError: they are different objects 

最后一个断言错误很有趣：在同一个作用域下的两个同名变量应该是同一个变量。但是，如果你测试的变量d名称和e你会发现，Tensorflow改变变量e的名字：

d.name #d.name == "two/v:0" 
e.name #e.name == "two/v_1:0"