在iOS中可以使用视频作为GL的纹理吗？

Question

是否有可能在iOS中使用视频（预渲染，用H.264压缩）作为GL纹理？

如果可能，该怎么做？以及任何播放质量/帧率或限制？

Answer 1

从iOS 4.0开始，您可以使用AVCaptureDeviceInput将摄像头作为设备输入，并将其连接到AVCaptureVideoDataOutput，并将其设置为代表。通过为摄像机设置一个32bpp的BGRA格式，代表对象将以完美的格式接收来自摄像机的每帧，并立即传送到glTexImage2D（或glTexSubImage2D，如果设备不支持非幂次幂纹理; I认为MBX设备属于这一类）。

有一堆帧大小和帧速率选项;猜测你必须调整这些取决于你想要使用GPU的其他因素。我发现一个完全无关紧要的场景，只有带有纹理的四边形才能显示最新的帧，仅在新帧到达iPhone 4时重新绘制，才能够显示该设备的最大720p 24fps的素材，而没有任何明显的延迟。我没有做过比这更彻底的基准测试，所以希望别人能提供建议。

原则上，根据API，帧可以返回一些在扫描线之间的内存填充，这意味着在发布到GL之前需要对内容进行一些混洗，因此您需要为此实现代码路径。在实践中，纯粹从经验角度来讲，似乎iOS的当前版本从来没有以这种形式返回图像，所以它不是真正的性能问题。

编辑：它现在非常接近三年后。在此期间，苹果公司发布了iOS 5,6和7.其中5款产品分别推出了CVOpenGLESTexture和CVOpenGLESTextureCache，这些都是将视频从捕获设备传输到OpenGL的智能方式。 Apple提供样本代码here，其中特别感兴趣的部分在RippleViewController.m，特别是其setupAVCapture和captureOutput:didOutputSampleBuffer:fromConnection: - 见行196-329。可悲的条款和条件阻止代码的重复，这里不附加整个项目，但一步一步的设置是：

1. 创建CVOpenGLESTextureCacheCreate和AVCaptureSession;
2. 为视频抓取合适的AVCaptureDevice;
3. 用该捕获设备创建一个AVCaptureDeviceInput;
4. 附加一个AVCaptureVideoDataOutput并告诉它将您称为样本缓冲区委托。

在接收每个样品缓冲液：

1. 从它那里得到的CVImageBufferRef;
2. 使用CVOpenGLESTextureCacheCreateTextureFromImage从CV图像缓冲区获得Y和UV CVOpenGLESTextureRef;
3. 从CV OpenGLES纹理引用中获取纹理目标和名称以绑定它们;
4. 在着色器中结合了亮度和色度。

Answer 2

使用RosyWriter为更好的示例如何做OpenGL视频渲染。性能非常好，特别是如果您降低帧速率（在1080P/30时大约10％，在1080P/15时大于5％）。