apache spark实现

Question

我尝试了很多，找到最好的解决方案来实现apache的火花在我的web应用程序中使用struts2框架的Java。

我有几台机器可以用于司机和工人。

我有一个Web应用程序，可以做很多数据库操作，我希望它可以通过使用hdfs的spark完成。

我可以在本地的单个独立Java项目上运行spark，但我想将它用作群集。

我在网上阅读了很多可用的线程和信息，但我无法找到在集群上实现它的方式，因此我的应用程序所需的任何大型处理都将由spark完成。

我不是要使用付费服务，如Cloudera的或亚马逊服务的状态...

Answer 1

这里是关于主人和奴隶安装星火的一步一步的指导。这是很全面：

http://data-flair.training/blogs/install-deploy-run-spark-2-x-multi-node-cluster-step-by-step-guide/

如果成功的话，你应该可以看到在主，这将显示整个簇火花UI。无可否认，设置是一个漫长的过程，我自己经历了这个过程，所以如果你有任何特定的问题随时问。

使用spark-submit脚本启动应用程序做一次：

./bin/spark-submit \ 
    --class <main-class> \ 
    --master <master-url> \ 
    --deploy-mode <deploy-mode> \ 
    --conf <key>=<value> \ 
    ... # other options 
    <application-jar> \ 
    [application-arguments] 

确保给主人URL运行在集群模式下您的应用程序，而不是本地[*]等