使用Spark中的Get命令从Hbase读取数据

Question

我想使用get命令从Hbase表读取数据，同时我也有行的关键字..我想在Spark流应用程序中执行此操作，是否有任何源代码可以分享？

Answer 1

您可以使用Spark newAPIHadoopRDD来读取Hbase表格，该表格返回RDD。

例如：

val sparkConf = new SparkConf().setAppName("Hbase").setMaster("local") 
val sc = new SparkContext(sparkConf) 
val conf = HBaseConfiguration.create() 
val tableName = "table" 

conf.set("hbase.master", "localhost:60000") 
conf.set("hbase.zookeeper.quorum", "localhost:2181") 
conf.set("zookeeper.znode.parent", "/hbase-unsecure") 
conf.set(TableInputFormat.INPUT_TABLE, tableName) 


val rdd = sc.newAPIHadoopRDD(conf, classOf[TableInputFormat], classOf[ImmutableBytesWritable], classOf[Result]) 
println("Number of Records found : " + rdd.count()) 
sc.stop() 

或者你可以使用任何星火HBase的连接器像HortonWorks HBase的连接器。

https://github.com/hortonworks-spark/shc

您还可以使用火花凤凰API。

https://phoenix.apache.org/phoenix_spark.html