vowpal wabbit可以使用我所有的CPU核心吗？

Question

我试过在10M +列车数据上训练--oa哇哇wabbit分类器，发现它只使用一个核心。有什么方法可以使它全部使用12个内核？

Answer 1

VW使用两个线程：一个用于加载&解析输入数据，另一个用于机器学习。 VW附带一个spanning_tree工具，用于在群集（例如Hadoop）或单台机器上（--span server localhost）的多个VW实例的并行执行（AllReduce）。

也就是说，我认为12个内核不足以让AllReduce得到回报。为了获得最佳效果，无论如何您都需要执行超参数搜索，因此您可以使用12个内核并行执行。