avro

1热度

2回答

我试图在我们的软件中使用C++ avro库，并且遇到了重大障碍。我有一个“Value”类来包装一系列类型，我想用avro来读/写它。这不仅包括简单类型，而且包括类型，任意类和更多的std :: vectors。我想为我的“Value”类指定一个avro模式。在我的例子中，我将它限制为空，int，long，int整数和long数组。我的模式是一个记录，它有两个字段，一个标识包含的类型和一个联合来

1热度

1回答

HDFS小文件设计

我希望能够在HDFS上存储数百万个小文件（二进制文件 - 图像，exe等）（〜1Mb），我的要求基本上是能够查询随机文件而不是运行MapReduce作业。我的主要问题是Namenode内存问题，而不是MapReduce映射问题。所以我的选择是： HAR文件 - 骨料小文件，只比他们的HAR他们节省：//路径在另一个地方序列文件 - 添加他们，因为他们进来，这更适合于MapReduce作业，所

0热度

1回答

是否可以忽略或跳过未知字段？

解码记录时，是否可以忽略或跳过未知字段？到目前为止，我找不到关于此的任何信息。

0热度

1回答

Avro的模式：泛型类型

的名单下面的Java相当于什么，我试图写一个模式，在Avro中： abstract class Vehicle {} class Bike extends Vehicle {} class Car extends Vehicle {} class Bus extends Vehicle {} 现在，我想有一个文件，车辆List，如： List<Vehicle> vehicles = ;

0热度

1回答

将avpr文件转换为avdl文件的工具

Avro的IDL page文件avro-tools.jar有一个idl命令将avdl文件转换为avpr文件。从avpr文件到avdl文件有没有办法在另一个方向去？我无法找到关于此问题的任何文档，但鉴于两种格式似乎包含具有不同语法的相同数据，应该可以同时进行转换。

0热度

2回答

如何把“org.apache.avro.generic.GenericRecord”转换为“java.util.Map”？

转换 “org.apache.avro.generic.GenericRecord” 到 “java.util.Map”

3热度

1回答

将十进制数据加载到BigQuery中？

我有AVRO配置单元表中有一些十进制的列。我知道Avro如何存储逻辑类型格式的小数数据。但是当我将这些数据加载到BigQuery中时，BigQuery不能解析这些十进制数据把它们当作垃圾值。我不知道把这些十进制数据加载到BigQuery中。任何帮助将不胜感激。

0热度

2回答

星火/蜂巢 - 组数据为“枢轴表”格式

我有一个很烦人的文件集结构，像这样： userId string, eventType string, source string, errorCode string, startDate timestamp, endDate timestamp 每个文件可能包含的每EVENTID记录的任意数，用不同eventTypes和来源，以及不同的代码和每个的开始/结束日期。是否有蜂巢的方式

0热度

1回答

什么是Jro的不适合Avro的scenerio

我正在使用Avro喂养Kafka系统，我想知道为什么Avro已经创建好了，对于哪种情况我们应该选择Avro给Json。 Json更适合互联网沟通，比如RESTful请求，Avro更适合Hadoop生态系统吗？我搜索了一些答案，他们比较了压缩的数据大小和效率，但我不确定这足以创建新的东西。

0热度

1回答

获取AvroTypeException：未知的工会分支

实际上，我正在使用AVRO验证json有效内容。我试图声明一个字段（定义为记录）可选，但它不起作用。模式 ... { "name" : "buildarea", "type" : "com.data.Area", "type" : ["null","com.data.Area"], "default": null } ...