星火MLlib - 培训协作过滤与隐式反馈 - 奇怪的警告

2015-09-02 88 views 5 likes

我试图建立在用户订单Collaborative filtering模型，并得到了一些有用的结果与ALS.train()，但我想尝试ALS.trianImplicit()但trianImplicit()被预测在同一数据集只是零哪些ASL.train()我得到了不错的预测。星火MLlib - 培训协作过滤与隐式反馈 - 奇怪的警告

当使用ALS.trianImplicit()训练我得到以下警告型号：

15/09/01 15:39:29 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS 
15/09/01 15:39:29 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS

这是否意味着这是一个错误和没有警告和模型根本无法训练，因为缺少库的东西吗？

来源

2015-09-02 Michal Laclavik

这些并不是奇怪的警告。您需要安装[BLAS]（http://www.netlib.org/blas/）库 – eliasah

该警告可能会损害性能，但您可以毫无问题地执行模型训练。 – eliasah

回答

由于@eliasah指出这个警告并不重要，但可能会降低性能。使用本地BLAS可以带来巨大的性能提升。有关如何在EC2上设置Spark + BLAS的https://github.com/amplab/ml-matrix/blob/master/EC2.md上的一些说明。使用http://www.openblas.net/，所以你可以尝试安装上你的工人

libblas3gf 
libblas-doc 
libblas-dev 

liblapack3gf 
liblapack-doc 
liblapack-dev

然而，有些人反映更好的性能：

如果群集运行的Ubuntu，你可以安装以下软件包。您还需要在应用程序中包含com.github.fommil.netlib（Spark目前使用版本1.1.2）。

来源

2015-09-02 20:34:21 Holden

centos 6.5的等效包是什么？ – roy

星火MLlib - 培训协作过滤与隐式反馈 - 奇怪的警告

回答

相关问题