写一个protobuf对象给GCS

Question

我正在制作一个将protobuf对象写入gcs的数据流（java api）。任何人都可以请帮助我如何做到这一点。代码示例或其他内容会很有帮助。

Answer 1

https://issues.apache.org/jira/browse/BEAM-221对此有一些想法。

裹AvroIO在复合PTransform：

• 阿夫罗架构仅仅是一个单一的字节[]。
• 读取后，从byte []转换为 用户的原型。
• 在写入时，从原始转换为字节[]。

这样，ProtoIO只是AvroIO.Read + ParDo（读取）或ParDo + AvroIO.Write的简单包装。