datastax，星火，和MLLIB

Question

我有两个问题：

1. 看来，随附Datastax企业星火不支持星火的MLLIB，充分。这会导致可以使用Datastax Spark运行的算法存在相当大的局限性。 Datastax是否有计划在不久的将来完全支持MLLIB？如果是，何时？

2. 是否可以在Datastax Cassandra一侧的集群中运行Apache Spark（不使用Datastax Spark）并在它们之间进行通信？如果是，那么这样做的最佳做法是什么？我找不到任何关于此的文档，如果您能指引我（如果有的话），我将不胜感激。

感谢， 伊桑

Answer 1

1. 我是想象。
2. 使Spark工作节点与Cassandra（OLTP）节点在相同的框上运行。有一个单独的Spark Master（假定独立模式）。如果需要故障转移，请使用Zookeeper运行另一个Spark Master。有关详细信息，请检查https://spark.apache.org/docs/latest/spark-standalone.html。这与运行apache spark和apache cassandra基本相同。火花cassandra连接器https://github.com/datastax/spark-cassandra-connector是地方性的，因此，在同一节点上运行火花工作者和cassandra有巨大的好处。你确实失去了从DSE获得的自动容错功能，并且你必须将所有东西都设置好，但是它工作正常。例如，我在生产中一起使用apache spark和apache cassandra。一个好处是，当新版本的火花发布时，您不必等待DSE赶上。