Spark-SQL命令行对远程集群使用Hive查询

我试图在命令行中针对远程Spark集群运行Spark-SQL（配置单元查询）。但是在连接到Spark主机后，我得到了“Table not found”。Spark-SQL命令行对远程集群使用Hive查询

这是我从$SPARK_HOME/bin尝试：

./spark-sql --jars /.../calliope-hive-assembly-1.1.0-CTP-U2-2.jar \ 
    /../calliope-hive_2.10-1.1.0-CTP-U2.jar --master spark://<<master_url>>:7277 \ 
    --executor-memory 1000M --total-executor-cores 2 " select count(*) *****"

这是我得到的查询

错误：没有找到表：

请帮助

来源

2016-03-27 Gautham Sowmynarayanan

该表是否存在于Hive中。如果是的话，请确保你提供蜂巢配置来触发。 Spark应该了解Hive meta store的详细信息，以便获取表格的元数据。

请检查以下链接了解集成。 http://spark.apache.org/docs/latest/sql-programming-guide.html#hive-tables

如果这已被照顾，让我知道。如果这被照顾，还必须有其他问题。

来源

2016-03-27 22:13:55 Srini

嗨Srini，谢谢你的回应。我的情况是，我正在对我的火花大师发起我的查询，我的桌子在卡桑德拉。我的env中没有隐式的hive安装。让我知道如何在这种情况下提供配置单元配置。我使用Spark 1.6反对cassandra 3.0.4版本 –

嗨Srini，谢谢你的回应。我的情况是，我正在对我的火花大师发起我的查询，我的桌子在卡桑德拉。我的env中没有隐式的hive安装。让我知道如何在这种情况下提供配置单元配置。我正在使用Spark 1.6反对cassandra 3.0.4版本 –

Spark-SQL命令行对远程集群使用Hive查询

回答

相关问题