google-cloud-bigtable

0热度

1回答

假设我们有一个Bigtable的结构如下：表1：CF1 [“COL1”，“COL2”]，CF 2 [“COLX”，“科利”] 从HBase的查询客户端API： Get getT = new Get(Bytes.toBytes(rowKey)); getT.addColumn(byteArray_cf1, byteArray_col1); Result rt = table.get(getT)

1热度

2回答

为什么增量在Dataflow-BigTable连接器中不受支持？

我们在Streaming模式下有一个用例，我们想从管道中跟踪BigTable上的计数器（某些#items已完成处理），我们需要增量操作。从查看https://cloud.google.com/bigtable/docs/dataflow-hbase，我发现此客户端不支持HBase API的追加/增量操作。原因是批处理模式下的重试逻辑，但是如果Dataflow保证一次，为什么会支持它是一个坏主意，因

2热度

1回答

使用HBaseStorage从Bigtable通过Pig载入Dataproc

有没有人有过使用HBaseStorage通过Pig在Dataproc上从Bigtable载入数据的经验或成功？这是我试图运行的一个非常简单的Pig脚本。它会失败，并显示无法找到BigtableConnection类的错误，我想知道我可能会错过哪些设置以成功从Bigtable加载数据。 raw = LOAD 'hbase://my_hbase_table' USING org.apac

1热度

1回答

如何使用HBase shell在Bigtable中设置表压缩模式？

我使用HBase shell和通常的create table命令在Bigtable中创建表，您可以在其中指定压缩显然忽略压缩属性。实施例： hbase(main):003:0> create 'table_snappy', {NAME => 'event', VERSIONS => 1, COMPRESSION => 'SNAPPY', BLOOMFILTER => 'ROW'} hbase(

0热度

1回答

Bigtable设计和查询关于列族数量

从Cloud Bigtable纲要设计文档：将数据分组为列族允许您从单个族或多个族中检索数据，而不是检索每个族中的所有数据行。尽可能地将数据分组，以便在最频繁的API调用中获得所需的信息，但不能再多了。在我的使用案例中，我可以将所有数据分组到一个单独的列族（目前访问模式是检索所有字段），或将它们分组为3个逻辑列族，并在查询时一直指定这些列族。这两种设计有什么性能差异？推荐哪种设计？

0热度

1回答

GoogleCredentialas.getApplicationDefault的NoSuchMethodError

我试图使用的Cloud Bigtable版API，虽然我知道它在我的Apache梁的工作，当我尝试使用API直接我遇到这样的错误： Caused by: java.lang.NoSuchMethodError: com.google.auth.oauth2.GoogleCredentials.getApplicationDefault(Lcom/google/api/client/http/H

0热度

2回答

checkAndPut总是成功

我保持Bigtable中的计数器，并希望把一些数据，当计数器达到X.我目前做这样的： Put put = new Put(EXAMPLE_ROW_KEY); put.addColumn(EXAMPLE_COLUMN_FAMILY, NEW_QUALIFIER, NEW_VALUE); boolean success = table.checkAndPut(EXAMPLE_ROW_KEY,

0热度

1回答

无法用HBaseMutationCoder编码元素

我试图通过使用cloud-bigtable-client（https://github.com/GoogleCloudPlatform/cloud-bigtable-client）的数据流向Bigtable应用突变（增量）。这里是我的工作，做什么一个高度概括： PCollection<SomeData> somedata = ...; somedata.apply(ParDo.of(n

0热度

1回答

空的平板电脑会发生什么？

比方说，我创建了一个包含10个初始分割点并因此包含10个初始平板的表格，过了一段时间后，其中一个表达式达到最大尺寸并自动分割。假设我的密钥是partition_counter，并且我的计数器不断增加，我将插入到新创建的平板电脑中，而不会插入到旧的平板电脑中。在旧的记录中的所有记录达到其TTL（并发生压缩）之后，平板电脑将变空。此平板电脑是否自动删除？如果没有，是否有任何性能或成本影响的空片附

0热度

1回答

Bigtable基于行的访问控制模式

我想使用角色实现Bigtable的基于行的访问控制，以便每行可以允许一对多的角色。我不知道如何轻松地将它放入密钥中。有什么模式可用于实现这样的事情？我目前的使用案例是做一个前缀范围查找与我的其他指数作为密钥的一部分已经。