如何为MapR版本构建最新版本的Spark？

Question

我正在运行一个旧的MapR群集mapr3。

如何为mapr3构建Spark 1.5.x的自定义分发？

Answer 1

我的理解是获得正确的hadoop.version是使一切正常工作的关键一步。

我回到版本spark 1.3.1，发现它有hadoop.version=1.0.3-mapr-3.0.3的mapr3配置文件。要构建一个完整的发行版，如果您已经设置了JAVA_HOME，以下命令将工作：

./make-distribution.sh --name custom-spark --tgz -Dhadoop.version=1.0.3-mapr-3.0.3 -Phadoop-1 -DskipTests