发送视频流/图像到websocket服务器

Question

我正在开发一个处理图像的应用程序。有一个HTML前端，我必须从网络摄像头捕捉图像（使用视频标签）并将它们连续发送到服务器。然后图像将被分析，并且当检测到对象（x，y，z）时，点将被发送回客户端。

我现在2个近似值：

1.-捕获帧不断（使用不可见的画布和先前加载那里的帧），并将其发送到与Base64编码服务器。 （E.g Capture frames from video with HTML5 and JavaScript）
优点：
- 易于实施。

缺点：
- 非常缓慢。许多图像将不断发送，应该处理得非常快。 （在这种情况下，图像必须在到达时保存并在处理后删除）

2.-发送视频流并处理服务器中的所有帧。
优点：
- 数据发送非常快。

缺点：
- 复杂。我不知道如何实现它。

我该如何做到这一点的任何提示？

Answer 1

首先您不应该使用Websockets，因为这是一种解决方法。 您应该更好地使用WebRTC，它将直接从网络摄像头捕获帧，然后将帧编码到VP8编解码器并发送到服务器。

因此，在服务器端，您可以使用libvp8解码图片并识别所需的对象。所以你需要的是一台服务器，它能够接收WebRTC流并访问解码后的图片以进行进一步处理。