无法将网络摄像头视频路由到Linux上的虚拟视频设备（通过OpenCV）

Question

我想通过OpenCV将视频图像叠加到传入的网络摄像头流上。作为第一步，我试图将传入的视频从网络摄像头/dev/video0流式传输到/dev/video1（v4l2loopback）的虚拟视频设备。不幸的是，我无法将网络摄像头流转发到v4l2loopback设备。

我发现这个帖子：How to write/pipe to a virtual webcam created by V4L2loopback module?，但那里的链接并没有真正帮助我。

从网络摄像头获取并观看流可以很好地与OpenCV页面中的一些小演示代码一起使用。以及来自v4l2loopback页面的示例代码，例如，播放静态视频文件到/dev/video1效果很好。我可以看视频当我连接VLC /dev/video1

我已经读过，必须通过常规Linux驱动程序命令（打开，ioctl，写等）来控制v4l2loopback设备。所以OpenCV中没有包装类来写入回送设备。我的摄像头以640x480流媒体和MJPG。有趣的是，我可以通过VLC连接到回送设备，当按下播放按钮时，我可以看到正确的分辨率，编解码器和FPS。进度条上的时间计数器也开始运行。但屏幕仍然是黑色的（带有VLC标志）。

什么我大致做的是这个（BTW：代码可能无法编译...不想在这里杂乱的一切...让我知道，如果你需要更多的细节）：

int main (int argc, char **argv) { 
    cv::VideoCapture cap; 
    struct v4l2_format vid_format; 
    size_t framesize = 640 * 480 * 3; // 3 Bytes per pixel 
    __u8 *buffer = null; 
    int fd = null; 

    cap.open ("/dev/video0"); 
    fd = open ("/dev/video1", O_RDWR); 

    memset (&vid_format, 0, sizeof(vid_format)); 
    vid_format.type    = V4L2_BUF_TYPE_VIDEO_OUTPUT; 
    vid_format.fmt.pix.width  = cap.get(CV_CAP_PROP_FRAME_WIDTH); 
    vid_format.fmt.pix.height  = cap.get(CV_CAP_PROP_FRAME_HEIGHT); 
    vid_format.fmt.pix.pixelformat = { 'M', 'J', 'P', 'G' }; 
    vid_format.fmt.pix.sizeimage = framesize; 
    vid_format.fmt.pix.field  = V4L2_FIELD_NONE; 
    vid_format.fmt.pix.colorspace = V4L2_COLORSPACE_SRGB; 
    ioctl (fd, VIDIOC_S_FMT, &vid_format); 

    buffer = (__u8*) malloc (sizeof(__u8) *framesize); 
    memset (buffer, 0, framesize); 

    for(;;) { 
     cv::Mat frame; 
     cap >> frame; 
     write (fd, &frame.data, framesize); 
    } 
} 

如果有人能够给我一个提示，我需要如何转换wecam数据才能被VLC接受，那将会非常棒。

Answer 1

经过大量的研究，我终于能够开发出一个工作解决方案。有很多的，需要加以执行，我将在下面详细讨论步骤：

一般

正如我上面的问题中所述，我们的目标是能够利用的输入流一个摄像头并将其转发给一个虚拟视频设备，而该设备又可以使用VLC等工具打开。这被认为是为了能够进一步进行图像处理的第一步。

1）v4l2loopback

v4l2loopback是Linux虚拟视频设备（内核模块）。来源可以从这里下载https://github.com/umlaeute/v4l2loopback。下载后，下面的步骤必须按顺序运行它进行：

make 
sudo make install 
sudo modprobe v4l2loopback 

如果您想使用Chrome浏览器（的WebRTC）这个视频设备，你需要一个额外的参数来执行的最后一行：

sudo modprobe v4l2loopback exclusive_caps=1 

信息：重要的是要注意，v4l2loopback设备必须设置为与您在下面的示例中使用的分辨率相同的分辨率。如您所见，我已将样本中的定​​义设置为FullHD。如果你想要800x600，您需要在编译之前更改v4l2loopback代码中的默认值，或者在插入模块时通过额外的cmd行参数max_width和max_height更改分辨率。内核模块默认运行，分辨率为640x480。您可以通过获得更多的细节和所有支持的参数：

modinfo v4l2loopback 

2）OpenCV的

OpenCV的是，它支持捕获和实时视频处理库。对于构建OpenCV，请参阅本页面 http://docs.opencv.org/3.0-beta/doc/tutorials/introduction/linux_install/linux_install.html，其中详细解释了所有步骤。

3）示例代码

你可以建立/下列方式运行下面的示例代码：

g++ -ggdb `pkg-config --cflags --libs opencv` sample.cpp -o sample 
./sample 

下面是代码：

#include <stdio.h> 
#include <fcntl.h> 
#include <errno.h> 
#include <unistd.h> 
#include <sys/ioctl.h> 
#include <linux/videodev2.h> 
#include "opencv2/opencv.hpp" 

#define VIDEO_OUT "/dev/video0" // V4L2 Loopack 
#define VIDEO_IN "/dev/video1" // Webcam 

#define WIDTH 1920 
#define HEIGHT 1080 


int main (int argc, char **argv) { 
    cv::VideoCapture cap; 
    struct v4l2_format vid_format; 
    size_t framesize = WIDTH * HEIGHT * 3; 
    int fd = 0; 

    if(cap.open (VIDEO_IN)) { 
     cap.set (cv::CAP_PROP_FRAME_WIDTH , WIDTH ); 
     cap.set (cv::CAP_PROP_FRAME_HEIGHT, HEIGHT); 
    } else { 
     std::cout << "Unable to open video input!" << std::endl; 
    } 

    if ((fd = open (VIDEO_OUT, O_RDWR)) == -1) 
     printf ("Unable to open video output!"); 

    memset (&vid_format, 0, sizeof(vid_format)); 
    vid_format.type = V4L2_BUF_TYPE_VIDEO_OUTPUT; 

    if (ioctl (fd, VIDIOC_G_FMT, &vid_format) == -1) 
     printf ("Unable to get video format data. Errro: %d\n", errno); 

    vid_format.fmt.pix.width  = cap.get (CV_CAP_PROP_FRAME_WIDTH ); 
    vid_format.fmt.pix.height  = cap.get (CV_CAP_PROP_FRAME_HEIGHT); 
    vid_format.fmt.pix.pixelformat = V4L2_PIX_FMT_RGB24; 
    vid_format.fmt.pix.sizeimage = framesize; 
    vid_format.fmt.pix.field  = V4L2_FIELD_NONE; 

    if (ioctl (fd, VIDIOC_S_FMT, &vid_format) == -1) 
     printf ("Unable to set video format! Errno: %d\n", errno); 

    cv::Mat frame (cap.get(CV_CAP_PROP_FRAME_HEIGHT), 
    cap.get(CV_CAP_PROP_FRAME_WIDTH), CV_8UC3); 

    printf ("Please open the virtual video device (/dev/video<x>) e.g. with VLC\n"); 

    while (1) { 
     cap >> frame; 
     cv::cvtColor (frame, frame, cv::COLOR_BGR2RGB); // Webcams sometimes deliver video in BGR not RGB. so we need to convert 
     write (fd, frame.data, framesize); 
    } 
}