我想在生产服务器上部署tensorflow。我预计约有200个并发用户。我将使用解析器和我自己的一些神经网络深度学习模型。我想知道相同的峰值内存和CPU使用率。Tensorflow要求
感谢您的帮助。
我想在生产服务器上部署tensorflow。我预计约有200个并发用户。我将使用解析器和我自己的一些神经网络深度学习模型。我想知道相同的峰值内存和CPU使用率。Tensorflow要求
感谢您的帮助。
尝试一个简单的(但很变量)的猜测:
如果你深谈学习,我推断你至少3层以上,包括一些CNN和可能RNNs谈。
如果您使用的是简单的2D或3D输入,但这是一个复杂的架构,可以放心地说您的瓶颈将在CPU上,因此需要在GPU上实现算法。
您还需要准备对任意数量的客户端进行扩展,所以扩展机制从一开始就很有用。
此外,您还需要知道工作负载将如何处理,您是否需要实时服务,还是需要批处理队列?这极大地改变了需求。
一旦你可以找出这个和其他细节,你可以改进你的估计。
最好的问候。
对于这取决于三个因素的存储器:
其中3个因素可能批量大小影响最大,因为图形的内存为:图形大小×批量大小
关于CPU我建议你使用图形处理器的GPU。您可以进行一些测试,并计算每秒可以对图形和选定批处理大小执行的推理次数。 Tensorflow的服务很好地处理并发性很好,你绑定将是图形速度
TensorFlow的要求几乎完全取决于您正在运行的特定模型。没有这些模型的细节,就不可能猜测这些需求。 – mrry