现场网络音频样本的流畅播放

Question

我正在该服务器上编写客户端/服务器应用程序，发送捕获从某些外部设备（例如话筒）捕获的音频样本并将其发送给客户端的实时音频数据。然后客户想要播放这些样本。我的应用程序将运行在本地网络，所以我没有带宽问题（我的声音是8K，8位立体声，而我的网卡1000Mb）。在客户端，我缓冲数据一段时间，然后开始播放。并且当数据从服务器到达时，我将它们发送到声卡。这似乎工作正常，但有一个问题：
当我在客户端的缓冲区完成后，我会体验播放声音的差距。
我认为这是因为服务器和客户端的采样时间不同，这意味着服务器上的8K与客户端上的8K不一样。
我可以通过暂停客户端的播放和缓冲来解决这个问题，但是我的老板不接受它，因为我有适当的带宽，我应该能够播放声音，没有间隙或暂停。
所以我决定动态地改变客户端的播放速度，但我不知道如何。

我在Windows中编程（本机），我目前使用waveOutXXX来播放声音。我可以使用任何其他本地库（DirectX/DirectSound，Jack或...），但它们应该在客户端提供流畅的播放。

我与waveOutXXX多次编程，没有任何问题，我知道它好，但我解决不了我的动态重采样

Answer 1

我建议你的问题不太可能是由于错误的采样率，但与你的缓冲有关。你应该不断地将数据转储到声卡上，并不断填充缓冲区。使用合理的缓冲区大小......对于大多数应用程序来说，300ms就足够了。

现在，在很长一段时间内，记录端的时钟和播放端的时钟可能会漂移得足够远，以至于300ms的缓冲区已经不够用了。我会建议，不要重新采样这样一个可能会引入伪像的小差异，只需在编码端添加样本即可。你仍然可以以8kHz记录，但你可能会每秒钟增加一个或两个样本，以达到8.001kHz左右。简单地将现有样本中的一个样本加倍（甚至是一个样本与下一个样本之间的简单平均值）将不会被听到。根据您的应用需要进行调整。

Answer 2

我在我的工作中的应用程序也有类似的问题的问题。它不涉及网络，但它确实涉及以某个固定采样率实时捕获源数据，进行大量信号处理，最终以固定速率输出到声卡。和你一样，我在缓冲区边界处的回放中存在间隙。

在我看来，问题是处理正在完成导致音频数据以非常生涩的方式进入声卡。也就是说，它会得到一个大块，然后它会有很长一段时间才得到另一块。整体吞吐量是正确的，但是这种延迟导致声卡经常被饿死以获取数据。我想你可能与你的系统中的网络部分有相同的情况。

我解决这个问题的方法是先让音频缓冲区变长。然后，每当收到一个新的音频块时，我检查了缓冲区是多么充分。如果它还不到20％，我会写一些沉默，使其达到60％左右。

您可能认为这样做有损减少播放差距，因为它实际上增加了间隙，但实际上它有帮助。我遇到的问题是，即使我有一个非常大的音频缓冲区，我总是处于空闲的边缘。由于系统中存在其他延迟，这导致几乎每个缓冲区都存在播放间隙。

当缓冲区开始变空时，但在实际执行之前写入静音，以确保缓冲区总是有一些数据可用，以便处理稍后。而且，与许多周期性间隙相比，播放中的单个小间隙很难被注意到。

我不知道这是否适用于您，但它应该很容易实施并尝试。