Tensorflow对视频的Android支持

Question

Android上的Tensorflow是否支持本地保存的视频？所提供的演示与相机紧密结合，并且将它移植到视频中至少可以起到非常重要且耗时的作用。它的目标任务是处理正在直播的流中的原始帧。

Answer 1

您必须使用MediaMetadataRetriever或其他合适的东西，在视频中为帧进行位图，然后将它们传递到tensorflow库进行图像识别。

目前在tensorflow AFAIK中没有对“视频”流本身的支持，即使演示也需要相机预览的屏幕截图才能识别。

如果你真的想识别视频流本身，那么你必须建立自己的模型。假设你已经有了图形和标签文件，并且不需要播放视频（如果你想在分析过程中显示视频，那么你应该在你的活动中实现surfaceview或纹理视图）：

1. 初始化tensorflow使用MediaMetadataRetriever &负载所需的视频
2. 提取位图用于使用getFrameAtTime &尺度位图以适当的大小
3. 模式化所述位图及运行推断所需的张ENCE方法（可以直接传递位图如果复制使用TensorflowImageClassifier.class从演示）
4. 存储结果，并循环到另一帧（2〜4）

这稍微简化的整体过程，但我希望你能从中得到一点启示。