MediaSteam与WebAssembly的交互

Question

是否有一种已知的方式将浏览器中的视频流重新导入到WebAssembly中？我知道你可以使用HTML画布进行帧捕获，但我不知道如何获得整个流（音频/视频）并将其发送到我的WebAssembly应用程序。

Answer 1

看看在 “WebAssembly视频编辑器” 样本的内部：

• https://d2jta7o2zej4pf.cloudfront.net/
• https://github.com/shamadee/web-dsp

Answer 2

WebAssembly有一个非常简单的接口，只有4种（二integeres ，两个浮点），导入或导出函数的能力以及内存。它没有任何API用于访问DOM，获取数据等等，因此您必须从托管JavaScript将这些数据提供给WebAssembly模块。

您是否试图解码来自WebAssembly模块的视频流？在这种情况下，我希望WebAssembly代码能够导出一个函数，例如decode，您的JavaScript代码在数据从流中到达时调用。您可能需要将数据写入WebAssembly内存，使用已提供的内存地址和数据长度调用此函数decode。