使用分布式计算减少地图减少尺寸？

Question

你知道一个应用程序或算法来降低大数据的维度，也许使用Map-Reduce，或其他api，也：

• 你知道一些算法，如 Singular Value decomposition比 可以减少渔政有用 数据集

• 如何使用分布式计算到 解决这个???

Answer 1

看看Mahout，因为SVD是在那里实现的。

Answer 2

除了Mahout，你应该看看SLEPc（这是一个基于PETSc的工具包），用于求解超大型稀疏矩阵的特征值问题。它使用MPI，因此它将运行在许多不同的并行和分布式体系结构上。还有用P​​ython编写的Gensim。它可能不像Mahout或SLEPc那样具有可扩展性，但使用起来更容易。