如何将HBase表读取为pyspark数据框？

Question

是否可以在不使用Hive或Phoenix或Hortonworks提供的spark-Hbase连接器的情况下将Hbase表直接读作Pyspark Dataframes？

我是Hbase的新手，找不到一个直接的Python示例将Hbase表转换为Pyspark数据框。我看到的大多数例子都是Scala或Java。

Answer 1

您可以通过Phoenix连接到HBase。示例代码可以是：
df=sqlContext.read.format('jdbc').options(driver="org.apache.phoenix.jdbc.PhoenixDriver",url='jdbc:phoenix:url:port:/hbase-unsecure',dbtable='table_name').load()

您可能需要获得火花凤凰连接器罐：phoenix-spark-4.7.0-HBase-1.1.jar和phoenix-4.7.0-HBase-1.1-client.jar。谢谢