Apache Spark：必备问题

Question

我即将在Ubuntu 16.04 LTS上安装Apache Spark 2.1.0。我的目标是一个独立的集群，使用Hadoop，Scala和Python（2.7是有效的）

虽然下载我得到的选择：预制Hadoop 2.7和更高版本（文件是spark-2.1.0-bin-hadoop2.7 .tgz）

• 此包是否实际包含HADOOP 2.7还是需要单独安装（首先我假设）？

• 我安装了Java JRE 8（需要其他任务）。随着JDK 8也似乎是一个预先必要为好，我也做了一个“sudo易于安装默认JDK”，这的确显示了安装：

默认JDK/xenial，现在2：1.8 -56ubuntu2 AMD64 [安装]

检查Java的版本却没有显示JDK：

Java版本 “1.8.0_121” 的Java（TM）SE运行时环境（建1.8.0_121-B13） Java HotSpot（TM）64位服务器虚拟机（版本25.121-b13，混合模式）

这对安装是否足够？为什么它不显示JDK？

• 我想使用Scala 2.12.1。这个版本是否适用于Spark2.1/Hadoop 2.7组合，还是另一个更适合的版本？

• 斯卡拉SBT包是否也需要？

一直往返试图让一切正常，但我坚持在这一点上。

希望有人能提供一些线索:)

Answer 1

你需要安装Hadoop的2.7更无论你正在安装。

Java版本没问题。

上述配置应该可以与scala 2.12.1一起使用。