如何使用avcodec从OpenCV :: Mat类型的jpeg图像创建视频？

我有彩色OpenCV::Mat类型的JPEG图像和我从他们的视频使用avcodec创建。我得到的视频是颠倒的，黑色&白色，每帧的每一行都移动了，我得到了对角线。什么可能是这种输出的原因？按照this链接观看，我开始使用avcodec中的视频。我使用acpicture_fill函数来创建avFrame从cv::Mat帧！如何使用avcodec从OpenCV :: Mat类型的jpeg图像创建视频？

P.S.我注意到avFrame（由acpicture_fill填充）有linesize[0]=2430 我试着手动设置avFrame->linesizep0]=2432而不是2430，但它仍然没有帮助。

======== CODE ==================================== =====================

AVCodec *encoder = avcodec_find_encoder(AV_CODEC_ID_H264); 
AVStream *outStream = avformat_new_stream(outContainer, encoder); 
avcodec_get_context_defaults3(outStream->codec, encoder); 

outStream->codec->pix_fmt = AV_PIX_FMT_YUV420P; 
outStream->codec->width = 810; 
outStream->codec->height = 610; 
//... 

SwsContext *swsCtx = sws_getContext(outStream->codec->width, outStream->codec->height, PIX_FMT_RGB24, 
            outStream->codec->width, outStream->codec->height, outStream->codec->pix_fmt, SWS_BICUBIC, NULL, NULL, NULL); 

for (uint i=0; i < frameNums; i++) 
{ 
    // get frame at location I using OpenCV 
    cv::Mat cvFrame; 
    myReader.getFrame(cvFrame, i); 
    cv::Size frameSize = cvFrame.size();  
    //Each cv::Mat cvFrame has width=810, height=610, step=2432 


1. // create AVPicture from cv::Mat frame 
2. avpicture_fill((AVPicture*)avFrame, cvFrame.data, PIX_FMT_RGB24, outStream->codec->width, outStream->codec->height); 
3avFrame->width = frameSize.width; 
4. avFrame->height = frameSize.height; 

    // rescale to outStream format 
    sws_scale(swsCtx, avFrame->data, avFrame->linesize, 0, outStream->codec->height, avFrameRescaledFrame->data, avFrameRescaledFrame ->linesize); 
encoderRescaledFrame->pts=i; 
avFrameRescaledFrame->width = frameSize.width; 
    avFrameRescaledFrame->height = frameSize.height; 

av_init_packet(&avEncodedPacket); 
    avEncodedPacket.data = NULL; 
    avEncodedPacket.size = 0; 

    // encode rescaled frame 
    if(avcodec_encode_video2(outStream->codec, &avEncodedPacket, avFrameRescaledFrame, &got_frame) < 0) exit(1); 
    if(got_frame) 
    { 
     if (avEncodedPacket.pts != AV_NOPTS_VALUE) 
      avEncodedPacket.pts = av_rescale_q(avEncodedPacket.pts, outStream->codec->time_base, outStream->time_base); 
     if (avEncodedPacket.dts != AV_NOPTS_VALUE) 
      avEncodedPacket.dts = av_rescale_q(avEncodedPacket.dts, outStream->codec->time_base, outStream->time_base); 

     // outContainer is "mp4" 
     av_write_frame(outContainer, & avEncodedPacket); 

     av_free_packet(&encodedPacket); 
    } 
}

修订

作为@Alex建议我更改的行1-4的代码低于

int width = frameSize.width, height = frameSize.height; 
avpicture_alloc((AVPicture*)avFrame, AV_PIX_FMT_RGB24, outStream->codec->width, outStream->codec->height); 
for (int h = 0; h < height; h++) 
{ 
    memcpy(&(avFrame->data[0][h*avFrame->linesize[0]]), &(cvFrame.data[h*cvFrame.step]), width*3); 
}

我现在得到的视频（here）几乎是pe rfect。它不是倒置的，不是黑色的&白色，但似乎有一个RGB组件丢失。每个棕色/红色变成蓝色（在原始图像中应该是副诗）。可能是什么问题？可以重新换算（sws_scale）到AV_PIX_FMT_YUV420P格式的原因造成的？

来源

2012-11-30 theateist

问题简而言之：avpicture_fill()预计在行之间没有填充，即步幅（step）等于width*sizeof(pixel)，即810 * 3 = 2430. cv :: Mat步骤中的实际步幅与您说是2432这是不同的，所以只是直接传递数据将无法正常工作。没有办法告诉avpicture_fill()对输入数据使用不同的步幅;它不是API的一部分（你可能会说，这应该是:)

有两种可能的解决方案：

创建一个数组，其中输入数据是连续的，行之间没有空白。你必须将cv :: Mat中的每一行记录到该数组中。然后传递给avpicture_fill()。

int width, height; // get from mat 
uint8_t* buf = malloc(width * height * 3); // 3 bytes per pixel 
for (int i = 0; i < height; i++) 
{ 
    memcpy(&(buf[ i*width*3 ]), &(mat->data[ i*mat->step ]), width*3); 
} 
avpicture_fill(..., buf, ...)

顺便说一句，垂直翻转视频，你可以做到这一点的最后一行复制到第一等：

... 
    memcpy(&(buf[ i*width*3 ]), &(mat->data[ (height - i - 1)*mat->step ]), width*3); 
...

或者填写AVPicture自己：

AVPicture* pic = malloc(sizeof(AVPicture)); 
avpicture_alloc(pic, PIX_FMT_BGR24, width, height); 
for (int i = 0; i < height; i++) 
{ 
    memcpy(&(pic->data[0][ i*pic->linesize[0] ]), &(mat->data[ i*mat->step ]), width*3); 
}

没有必要分配pic-> data [0]或设置pic-> linesize [0]，avpicture_alloc（）应该这样做。也没有必要填写数据[1]或数据[2]，那些应该是空的。

编辑：删除旧的代码，显示复制R，G，B分离飞机。 PIX_FMT_BGR24不是平面格式。

我不熟悉不够用OpenCV的C++ API弄清楚如何获得的宽度和高度（它不是mat->宽度，很明显），但我想你明白我的意思。

P.S.顺便说一句，你的视频不是实际上是黑色和白色。只是每个连续的行都偏移了两个字节，所以颜色会旋转：红色变为绿色，绿色变为蓝色，等等。结果是灰度级，但如果仔细观察，则各行都会着色。

来源

2012-12-01 23:57:14

据我所知，我需要为'pic-> data [0]'和'pic-> data [1]'和'pic-> data [2]'分配缓冲区多少？ 'pic-> linesize [0]'也是0，我应该在那里放2430吗？ – theateist

我其实不太确定当格式是BGR24时avpicture_fill（）如何填充图片。请参阅上面的编辑。 –

你不需要分配pic-> data [0]或设置linesize，avpicture_alloc（）应该这样做。无论如何，这都是第二种方法。请先尝试第一种方法（将数据复制到没有填充的buf并调用avpicture_fill）。 –

你有没有使用OpenCV's features为您创造视频考虑？由于您的数据已存储在cv::Mat中，因此更容易。

如果你想保持你的方法，你可以简单地rotate the cv::Mat。

来源

2012-12-01 10:51:19 karlphillip

我不能使用的OpenCV的创建视频前。我必须为此使用avcodec。我试图使用旋转，但它没有修复它。我仍然可以看到黑白视频和对角线。我想这是步伐 – theateist

关于原始帖子UPDATE中的颜色问题。，是由于，

OpenCV的垫子（BGR） - > FFmpeg的AVFrame是（RGB）？

如果是这样，尝试，

cvtColor(cvFrame , cvFrame , CV_BGR2RGB) ;

线1

来源

2013-09-09 04:00:41 maythe4thbewithu

如何使用avcodec从OpenCV :: Mat类型的jpeg图像创建视频？

回答

相关问题