Spark ML和MLLIB包的区别是什么

Question

我注意到SparkML中有两个LinearRegressionModel类，一个是ML，另一个是MLLib包。

这两个实现方式非常不同 - 例如，从MLLib实现Serializable，而另一个没有。

顺便说一下，关于RandomForestModel的ame是真实的。

为什么有两个类？哪一个是“正确的”？有没有办法将一个转换成另一个？

Answer 1

o.a.s.mllib包含旧的基于RDD的API，而o.a.s.ml包含围绕Dataset和ML管道的新API构建。 ml和mllib在2.0.0中达到了功能奇偶性，并且mllib正在慢慢被弃用（这在线性回归的情况下已经发生），并且很可能会在下一个主要版本中删除。

所以除非你的目标是向后兼容，那么“正确的选择”是o.a.s.ml。