如何在OpenCV中使用gpu :: Stream？

Question

OpenCV有gpu::Stream类，它封装了一个异步调用队列。某些功能会因额外的gpu::Stream参数而发生过载。除了gpu-basics-similarity.cpp sample code之外，OpenCV文档中关于如何以及何时使用gpu::Stream的信息非常少。例如，对于我而言，gpu::Stream::enqueueConvert或gpu::Stream::enqueueCopy究竟做了什么或者如何使用gpu::Stream作为附加的过载参数并不是很清楚。我正在寻找gpu::Stream的类似教程的概述。

Answer 1

默认情况下，所有gpu模块函数都是同步的，即当前CPU线程被阻塞直到操作完成。

gpu::Stream是cudaStream_t的包装，允许使用异步非阻塞调用。您还可以阅读“CUDA C编程指南”以获取有关CUDA异步并发执行的详细信息。

大多数gpu模块功能还有其他gpu::Stream参数。如果您传递非默认流，则函数调用将是异步的，并且该调用将被添加到流命令队列中。

另外gpu::Stream还提供了用于CPU<->GPU和GPU<->GPU之间的异步存储器传输的方法。但是CPU<->GPU异步内存传输仅适用于页锁主机内存。还有另外一类封装了这样的内存的类别gpu::CudaMem。

目前，如果同一个操作将不同的数据排入两个不同的流，则可能会遇到问题。有些函数使用常量或纹理GPU内存，下一次调用可能会在前一次完成之前更新内存。但是异步调用不同的操作是安全的，因为每个操作都有自己的常量缓冲区。内存复制/上传/下载/设置操作到您持有的缓冲区也是安全的。

这里是小样本：

// allocate page-locked memory 
CudaMem host_src_pl(768, 1024, CV_8UC1, CudaMem::ALLOC_PAGE_LOCKED); 
CudaMem host_dst_pl; 

// get Mat header for CudaMem (no data copy) 
Mat host_src = host_src_pl; 

// fill mat on CPU 
someCPUFunc(host_src); 

GpuMat gpu_src, gpu_dst; 

// create Stream object 
Stream stream; 

// next calls are non-blocking 

// first upload data from host 
stream.enqueueUpload(host_src_pl, gpu_src); 
// perform blur 
blur(gpu_src, gpu_dst, Size(5,5), Point(-1,-1), stream); 
// download result back to host 
stream.enqueueDownload(gpu_dst, host_dst_pl); 

// call another CPU function in parallel with GPU 
anotherCPUFunc(); 

// wait GPU for finish 
stream.waitForCompletion(); 

// now you can use GPU results 
Mat host_dst = host_dst_pl;