EMR群集上没有安装Spark

Question

我已经在EMR群集上使用了Spark几个星期，现在没有问题 - 安装程序使用的是AMI 3.8.0和Spark 1.3.1，并且将'-x'作为Spark的参数（没有它，似乎没有安装）。

我想升级到更新版本的Spark，并且今天使用包含Spark 1.5.0的emr-4.1.0 AMI创建了一个集群。当群集启动时，声称已经成功安装了Spark（至少在AWS上的群集管理页面上），但当我登录到'hadoop @ [IP地址]'时，在'hadoop'目录中看不到任何内容，其中在之前的版本中安装了Spark（我也尝试过使用其他应用程序并得到相同的结果，并尝试以ec2用户身份登录ssh，但Spark也未安装）。当我使用emr-4.1.0 AMI启动集群时，我没有将'-x'参数传递给Spark的选项，我想知道是否有我丢失的东西。

有没有人知道我在做什么错在这里？

非常感谢。

Answer 1

这实际上已经解决了，相当平凡。

在之前的AMI中，Spark和其他应用程序的所有路径都是hadoop文件夹中的可用软链接。在较新的AMI中，这些已被删除，但应用程序仍安装并可通过命令行中的'spark-shell'（例如）进行访问。