无法将Spark连接到RStudio中的Cassandra DB

我花了上周的时间试图弄清楚如何使用sparlyr来获取spark以连接到本地群集上的cassandra，并且我碰到了墙 - 任何帮助都会不胜感激。我是唯一一个试图使用R/Rstudio进行连接的人（其他人在NetBeans和Maven上使用Java），并且我不确定我需要做什么来完成此项工作。无法将Spark连接到RStudio中的Cassandra DB

我使用的堆栈：的Ubuntu 16.04（在VM） sparklyr：0.5.3 星火：2.0.0 斯卡拉：2.11 卡桑德拉：3.7

相关config.yml文件设置：

# cassandra settings 
spark.cassandra.connection.host: <cluster_address> 
spark.cassandra.auth.username: <user_name> 
spark.cassandra.auth.password: <password> 

sparklyr.defaultPackages: 
- com.databricks:spark-csv_2.11:1.3.0 
- com.datastax.spark:spark-cassandra-connector_2.11:2.0.0-M1 
- com.datastax.cassandra:cassandra-driver-core:3.0.2

Sys.setnev设置为本地安装Java和spark，config设置为使用yml文件。星火连接与启动：

sc <- spark_connect(master = "spark://<cluster_address>", config = spark_config(file = "config.yml"))

星火会话使用启动：

sparkSession <- sparklyr::invoke_static(sc, org.apache.spark.sql.SparkSession", "builder") %>% 
    sparklyr::invoke("config", "spark.cassandra.connection.host", "<cluster_address>") %>% 
    sparklyr::invoke("getOrCreate")

这一切似乎好了这里，（SC连接和sparkSession），但现在尝试访问卡桑德拉表（TABLE_1在在keyspace_1），我知道存在：

cass_df <- invoke(sparkSession, "read") %>% 
invoke("format", "org.apache.spark.sql.cassandra") %>% 
invoke("option", "keyspace", "keyspace_1") %>% 
invoke("option", "table", "table_1") %>% 
invoke("load")

抛出了以下错误：

Error: java.lang.IllegalArgumentException: Cannot build a cluster without contact points 
at com.datastax.driver.core.Cluster.checkNotEmpty(Cluster.java:123) 
at com.datastax.driver.core.Cluster.(Cluster.java:116) 
at com.datastax.driver.core.Cluster.buildFrom(Cluster.java:182) 
at com.datastax.driver.core.Cluster$Builder.build(Cluster.java:1274) 
at com.datastax.spark.connector.cql.DefaultConnectionFactory$.createCluster(CassandraConnectionFactory.scala:92) . . .

来源

2017-01-26 renegademonkey

缺少'spark.cassandra.connection.host'？ – user7337271

是的！这只是我需要的提示。当启动我的sparkSession时，我使用了SPARK （带有端口号），而不仅仅是集群地址（cassandra所在的位置）。有用！谢谢@ user7337271。 – renegademonkey

终于解决了它，这要归功于一个有用的提示。我使用SPARK（带端口号）来初始化SparkSession，而不仅仅是集群地址（cassandra所在的位置）。有用！谢谢@ user7337271。

来源

2017-01-27 10:51:30 renegademonkey

无法将Spark连接到RStudio中的Cassandra DB

回答

相关问题