Spark有多少个Shark服务器？

Question

我是Spark/Shark的新手，并与三名Spark工作人员组成了一个群组。我开始在同一台服务器上安装Shark，但我得出的结论是，也许这不是必需的，只需要一台Shark服务器 - 我无法在文档中找到任何与此相关的内容。我是否需要一台Shark服务器，因为Spark/Hive将会进行大量的升级，还是需要将它分发到Spark所在的所有服务器？

Answer 1

Shark是一个Spark应用程序。它就像一个WordCount或Spark Shell。您需要在要发送查询的客户端计算机上安装它。

如果工人机器上没有Shark JARS，则必须将它们附加到Spark上下文中。

鲨鱼服务器的工作原理有点像unix系统中的'屏幕'。在这种情况下，Shark服务器是Spark中的一个应用程序。您可以使用Shark控制台连接到Shark服务器，发送查询，并由您代表Spark上的Shark服务器执行查询。

Answer 2

假设鲨鱼是指ThriftServer，那么你只需要一个鲨鱼每个（Spark）集群。

因为ThriftServer已经被引入Spark核心本身，所以它甚至延续到了Spark 1.0.1，因为Shark已经退役。