实时视频与音频和视频，我应该看哪个方向？

Question

我和一位朋友有一个小宠物项目，我们正在寻找创建一个实时可视化程序，主要是利用MIDI控制的音频/视频材料。现在，MIDI部分不是问题，你似乎找到几乎任何语言的体面的解决方案，但我发现自己非常不确定我应该以哪种方式以聪明的方式处理视频。我正在寻找快速寻找和额外的可视化（例如多张叠加的图片）。

我已经尝试了几个选项，我发现这些选项非常容易操作，并且似乎至少提供了一些任务，但是每个选项我都觉得可能会遇到死角或性能低下当想要添加功能等。到目前为止，我尝试了Pure Data，Max和Processing。

我最主要的建议是指导我处理视频的最佳或至少体面的道路。最大的问题是我发现自己只用我所有的时间来试图找出我应该使用的编程语言或库。如果我只得到那么多的指导，我终于可以开始真正开展工作并前进。

我想我最喜欢python，但任何建议，欢迎。我已经读了一些关于gstreamer的信息，我想这里可能有些东西，但现在我们正在讨论一个相对较低级别的库，至少需要一段时间才能产生任何结果，而不是处理或纯数据/ Max，例如。

除了语言/图书馆，我很好奇视频格式的重要性。当我们开始谈论编解码器，I-，P-，B-帧和什么时，它就超出了我。谁知道，甚至可以有一个解决方案，我们可以使用最佳的视频格式，将该婴儿塞进RAMdisk或其他类似的东西，并以此获得令人满意的搜索速度。

Answer 1

我推荐一看创意工具包和现实的原因选择你喜欢什么语言：

• MaxMSP与抖动/ PureData的
• 对于C++尝试OpenFrameworks与ofxMixi或Cinder（应该还有MIDI它块/插件）
• 的Java尝试Processing与proMIDI

如果语言不是问题，可以继续使用MaxMSP和Jitter。 Max拥有处理midi输入并解析它的对象。 快速矩阵运算抖动交易（图片/视频/ GL /等） 我觉得等效PureData的是Gem

从经验来看，Java的垃圾回收器有时与实时交易时的方式获得的坏习惯音频，但大多数情况下这是合成的真实情况。你应该对MIDI有好处。视内容的分辨率/数量而定，视频部分可能会有点慢。

这就是为什么我建议要么直接找一个C++创意工具包或最大。 如果你不确定视频内容，需要很多的调整/迭代和快速变化，或许你应该直接去Max，这很容易在/很快的原型，你可以几乎'活代码'适应你修补程序代码正在执行并根据您的需求进行更新/修改/改进。

Answer 2

我的猜测是问题不在于MIDI输入。大多数语言都支持MIDI设备，甚至是家用设备。我想它能够更好地检查出有实时视频/操控/投影

一个这是一种简单的是VVVV http://vvvv.org/

成交多具体的软件另外一个是在阿蒙·托宾的ISAM显示用于TouchDesigner（检查他们出） http://createdigitalmotion.com/2011/08/amon-tobins-isam-behind-the-scenes-ask-your-questions/

Answer 3

我个人建议使用跨平台（至少w32，linux，OSX）FLOSS解决方案。 如果你想改变你的操作系统，你几乎可以排除VVVV和max/jitter。

我建议要么使用：

• Pure Data/Gem的图形给系统打补丁

• Processing如果你喜欢传统的，基于文本的方法编程（处理实际上只是一个前端到java）

请注意，我个人很偏向于Pd。