0
我试图设计一个tensorflow模型来预测使用lstm的下一个单词。
Tensorflow RNN教程给出了伪代码如何使用LSTM的PTB数据集。
我到达了生成批次和标签的步骤。了解输入到预定义LSTM的尺寸
def generate_batches(raw_data, batch_size):
global data_index
data_len = len(raw_data)
num_batches = data_len // batch_size
#batch = dict.fromkeys([i for i in range(num_batches)])
#labels = dict.fromkeys([i for i in range(num_batches)])
batch = np.ndarray(shape=(batch_size), dtype=np.float)
labels = np.ndarray(shape=(batch_size, 1), dtype=np.float)
for i in xrange(batch_size) :
batch[i] = raw_data[i + data_index]
labels[i, 0] = raw_data[i + data_index + 1]
data_index = (data_index + 1) % len(raw_data)
return batch, labels
此代码给出批量和标签大小(batch_size X 1)。
这些批次和标签也可以是使用tf.nn.embedding_lookup()
的(batch_size x vocabulary_size)的大小。
所以,这里的问题是如何使用函数rnn_cell.BasicLSTMCell
或使用用户定义的lstm模型继续下一步?
什么是input dimension to LSTM cell
以及如何与num_steps
一起使用?
哪种大小的批次和标签在任何情况下都有用?