2016-06-15 50 views
4

我想在生产服务器上部署tensorflow。我预计约有200个并发用户。我将使用解析器和我自己的一些神经网络深度学习模型。我想知道相同的峰值内存和CPU使用率。Tensorflow要求

感谢您的帮助。

+4

TensorFlow的要求几乎完全取决于您正在运行的特定模型。没有这些模型的细节,就不可能猜测这些需求。 – mrry

回答

4

尝试一个简单的(但很变量)的猜测:

如果你深谈学习,我推断你至少3层以上,包括一些CNN和可能RNNs谈。

如果您使用的是简单的2D或3D输入,但这是一个复杂的架构,可以放心地说您的瓶颈将在CPU上,因此需要在GPU上实现算法。

您还需要准备对任意数量的客户端进行扩展,所以扩展机制从一开始就很有用。

此外,您还需要知道工作负载将如何处理,您是否需要实时服务,还是需要批处理队列?这极大地改变了需求。

一旦你可以找出这个和其他细节,你可以改进你的估计。

最好的问候。

0

对于这取决于三个因素的存储器:

  • 图形大小
  • 批量大小为图表
  • 队列大小与传入请求

其中3个因素可能批量大小影响最大,因为图形的内存为:图形大小×批量大小

关于CPU我建议你使用图形处理器的GPU。您可以进行一些测试,并计算每秒可以对图形和选定批处理大小执行的推理次数。 Tensorflow的服务很好地处理并发性很好,你绑定将是图形速度