火花在火花独立群集模式下运行所需的最低硬件安全数是多少？

，我在我的本地计算机上运行。这种火花独立的集群模式是关于我的电脑火花在火花独立群集模式下运行所需的最低硬件安全数是多少？

Intel酷睿i5
处理器数量的硬件信息：1 总核心数：2
内存：4 GB。

我想从eclipse上运行火花单机集群上的spark程序。这是我的代码的一部分。

String logFile = "/Users/BigDinosaur/Downloads/spark-2.0.1-bin-hadoop2.7 2/README.md"; // 
SparkConf conf = new SparkConf().setAppName("Simple Application").setMaster("spark://BigDinosaur.local:7077"));

在Eclipse中运行程序后，我得到以下警告消息

初步工作没有接受任何资源;检查你的集群用户界面，以确保工人注册，并有足够的资源

这是我的web UI

的屏幕截图，通过其他人的回答好像硬件资源错配类似的问题去后是根本原因。

我想获得更多的信息

什么是在其上运行的应用程序所需的火花独立集群的最低硬件insfracture？

来源

2016-11-10 abishkar bhattarai

你是否在配置文件中设置了一些东西？我能够在我的上网本华硕1011px上运行一个简单的Spark作业，1 GB Ram和一个Intel Atom。 –

你有没有开始使用sbin文件夹下的其中一个skript工具？ –

如果你真的受到资源的限制，你可以试试Databricks Community Edition。 –

据我所知。 Spark在Spark任务启动时从可用内存分配内存。

您可能想尝试在启动作业时明确提供内核和执行程序内存。

来源

2016-11-11 00:02:04 user7005835

它开始运行我运行以下命令 ./start-slave.sh火花之后：//本地主机：7077个--cores 1 --memory1克

我给了核心1和内存1克

来源

2016-11-11 05:26:30

火花在火花独立群集模式下运行所需的最低硬件安全数是多少？

回答

相关问题