在Mac上运行Scala Spark应用程序

Question

我已经使用Homebrew安装了Spark和Scala。我可以运行Spark-shell。我还通过将其放置在usr/local/share（不确定这是否是正确的方式）并在其中放置符号链接来安装Spark-IDE。现在我想运行Eclipse中用Scala编写的Spark应用程序;我怎么做？

Answer 1

的常用方法如何创建和运行Apache星火任务是：

1，创建包 - 通常jar文件 - 你可以使用Maven例如打包。

2，火花提交启动和提交作业

• 有几种方法如何（或正确的地方）应该将火花作业运行 - 它通常由主定义
• 所以，当你有罐子包你的工作，你可以去火花文件夹/ bin中 - 有​​

./bin/spark-submit --class MainClass.class --master local[2] <application-jar>，其中

<application-jar>是您的火花的工作包的jar文件

MainClass.class入口点作业

master - 阿帕奇火花的作业通常会提交给集群，但是出于测试目的，你可以使用本地为主。这里的数字定义了作业执行的线程数。

• 如果你想启动火花应用程序内蚀（例如作为测试），您只需编程创建SparkContext - 设定当地的用SparkConf和运行的主（我觉得火花需要HADOOP_HOME环境变量 - 在这种情况下，只需下载hadoop并设置为$HADOOP_HOME）