FFMpeg iOS应用程序中的音频/视频不同步

Question

该应用程序将摄像机输出保存为mov。文件，然后将其转换为AVPacket发送给rtmp服务器的flv格式。 它每次在两个文件之间切换，一个由摄像机输出写入，另一个发送。 我的问题是，一段时间后音频/视频不同步。

发送的第一个缓冲区总是100％同步，但过了一段时间后就会混乱。 我相信它是一个DTS-PTS的问题..

if(isVideo) 
{ 
    packet->stream_index = VIDEO_STREAM; 
    packet->dts = packet->pts = videoPosition; 
    videoPosition += packet->duration = FLV_TIMEBASE * packet->duration * videoCodec->ticks_per_frame * videoCodec->time_base.num/videoCodec->time_base.den; 

} 
else 
{ 
    packet->stream_index = AUDIO_STREAM; 
    packet->dts = packet->pts = audioPosition; 
    audioPosition += packet->duration = FLV_TIMEBASE * packet->duration/audioRate; 

    //NSLog(@"audio position = %lld", audioPosition); 
} 

packet->pos = -1; 
packet->convergence_duration = AV_NOPTS_VALUE; 

// This sometimes fails without being a critical error, so no exception is raised 
if((code = av_interleaved_write_frame(file, packet))) 
{ 
    NSLog(@"Streamer::Couldn't write frame"); 
} 
av_free_packet(packet); 

Answer 1

你可以研究该样本：http://unick-soft.ru/art/files/ffmpegEncoder-vs2008.zip

但是本示例是针对Windows。

在此示例中，我只用了音频流PTS：

if (pVideoCodec->coded_frame->pts != AV_NOPTS_VALUE) 
    { 
    pkt.pts = av_rescale_q(pVideoCodec->coded_frame->pts, 
     pVideoCodec->time_base, pVideoStream->time_base); 
    } 

Answer 2

我正经历切换出AVAssetWriters时，类似的问题，并注意到它去的方式，如果我只使用新AVAssetWriter开始时，我得到了一个视频样本

https://medium.com/@brandon.kobel/ios-seamless-video-chunks-4383a5a3a874