spark-ml ALS模型为什么会返回NaN和负数预测？

Question

其实我试图用ALS从spark-ml隐式评级。

我注意到我的训练模型给出的一些预测是negative或NaN，为什么？

Answer 1

阿帕奇火花提供了一个选项来强制ALS 非负约束。

因此，为了消除这些负面的价值，您只需要设置：

的Python：

nonnegative=True 

斯卡拉：

setNonnegative(true) 

创建ALS时型号，即：

>>> als = ALS(rank=10, maxIter=5, seed=0, nonnegative=True) 

非负矩阵分解（NMF或NNMF），也称为非负矩阵近似是一组其中一个矩阵V被分解成（通常）两个多变量分析和线性代数算法矩阵W和H，与属性，所有三个矩阵都有非负元素 [参考文献] Wikipedia]。

如果您想了解更多关于NMF，我建议你阅读下列文件：

• Collaborative Filtering via Ensembles of Matrix Factorizations

至于NaN值，通常这是由于拆分数据集可导致如果其中一个不存在于训练集中并且仅存在于测试集中，则看不见物品或用户。如果您交叉验证了您的训练，也可能会发生这种情况。针对此事，有一对夫妇被标记JIRAs的2.2解决：

• https://issues.apache.org/jira/browse/SPARK-14489。
• https://issues.apache.org/jira/browse/SPARK-19345。

最新将允许您设置冷启动策略以在创建模型时使用。