使用Tensor Flow训练过的模型作为服务

Question

我刚开始使用张量流。我能够成功地训练它以创建我创建的数据集。现在的问题是，我将如何能够使用此模型进行预测。我想把它作为一个REST服务，我将能够传递一些值并获得预测作为响应。任何有用的链接也欢迎。该模型目前在虚拟机上。

谢谢:)

Answer 1

首先：尽量保存和加载模型：https://www.tensorflow.org/versions/r0.11/how_tos/variables/index.html

然后，训练结束后，你可以简单地调用：

rest_prediction = sess.run(prediction_tensor, feed_dict={x_tensor: user_input})

的一个重要区别是在培训期间你有batch_size输入，但是当你有一个REST服务器时你有1个输入。张量的形状（https://www.tensorflow.org/versions/r0.11/resources/dims_types.html）应该是可变的。你可以在这里找到如何实现：https://www.tensorflow.org/versions/r0.11/resources/faq.html#tensor-shapes

如果你发布一个简短的代码片段，我们可能会帮助你更好。

Answer 2

你见过Cloud ML on GCP吗？这可能正是你要找的。
https://cloud.google.com/ml/

您可能需要做出一些调整模型的架构 - 像变批量大小和添加输入/输出到集合 - 但它们在documentation.

如果性能，可扩展性很好的解释如果您决定更新模型并不是一个问题，那么您可以考虑只安装一个简单的带张量流量瓶的服务器。

如果您不想使用Cloud ML并需要提供大量请求，请查看tensorflow serving。