spark 1.3读取和写入hbase

-1

我想使用spark 1.3和cloudera CDH-5.4.7从hbase读取和写入。我正在使用spark-hbase-connector。我开始了我的火花外壳：spark 1.3读取和写入hbase

spark-shell --jars hbase-client-1.0.3.jar scalatest_2.10-2.2.4.jar hbase-common-1.0.3.jar spark-hbase-connector_2.10-1.0.3.jar hbase-server-1.0.3.jar

当我运行此导入：

import it.nerdammer.spark.hbase._

我得到了一个错误。使用Spark 1.3读取和写入hbase的最佳方式是什么？谢谢

来源

2017-04-07 Zied Hermi

什么是错误？ –

in'import it.nerdammer.spark.hbase._'即使我添加了jar文件 –

你可以试试下面吗？

运行：火花壳--jars /opt/cloudera/parcels/CDH/lib/hbase/hbase-spark.jar

代码参考以下链接

https://github.com/apache/hbase/blob/master/hbase-spark/src/main/scala/org/apache/hadoop/hbase/spark/example/hbasecontext/HBaseBulkGetExample.scala

来源

2017-04-07 08:46:14

我将其更改为我的版本'spark-submit --master yarn-client --driver-class-path/opt/cloudera /parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/lib/hbase/lib/htrace-core-3.1.0-incubating.jar --conf spark.executor.extraClassPath =/opt/cloudera /parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/lib/hbase/lib/htrace-core-3.1.0-incubating.jar --class com.cloudera.spark.hbase.example。 HBaseBulkPutExample spark_hbase-0.4-jar-with-dependencies.jar'但它不起作用 –

首先，您需要使用我提供的代码构建jar，默认情况下它不可用。 spark_hbase-0.4-jar -with-dependencies.jar是我使用代码创建的jar。 –

我跑线与火花一行，因为我没有网络安全问题（网络安全问题） –

spark 1.3读取和写入hbase

回答

相关问题