avro

0热度

1回答

背景：我们有一个具有基于jms架构的批处理框架。下面是它的一个简短的工作。我们有2个queues.one输入和其他输出。在输入队列中，我们有一个简单的处理器，它从平面文件中读取记录，并将文件拆分成称为块的记录组。此外，对于每个块，它会从线程池中产生一个线程，然后为每个块创建一个java对象。之后，每个对象都被转换成一个字符串并进一步转换为字节并发送到输入队列。在目标端，我们有mdbs等待消息进一

0热度

1回答

我可以将C＃模型序列化为AVRO JSON模式吗？

我已经发现了一些代码在这里https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-dotnet-avro-serialization#Scenario2，它的扭转我需要什么： //Define the schema in JSON const string Schema = @"{ ""type"":""record"",

0热度

1回答

如何为复杂的json文档定义avro模式？

THIS IS MY JSON的例子： {"ID":2,"name":"Donatello","lastname":"Di Niccoló","age":23,"hobbies":["reading","dancing",{"sports":["rafting","baseball"]}],"address":{"street":"Tepito", "number":"77", "district

1热度

1回答

avro序列化可选字段

我有一个avdl文件，它有一个记录，说人包含一个字符串变量，“地址”，这是可选的。此人记录然后在另一个记录中用作城市，作为可为空的数组（使用与默认值null的联合）。当我尝试用dataFileWriter.append（对象）来序列，Avro公司抛出了我一个错误：显示java.lang.NullPointerException：空字符串中的工会阵列的人场地址在城市领域的人员。由于我是新来

-2热度

1回答

如何将数据从Hadoop Avro源加载到ActivePivot存储中？

0热度

1回答

错误获取avro字符串

我正在尝试使用avro-c做一个简单的字符串setter getter程序。我的代码是： avro_value_t frame_value; avro_schema_t frame_schema = avro_schema_string(); avro_value_iface_t *frame_iface = avro_generic_class_from_schema(frame_sc

0热度

1回答

org.apache.avro.SchemaParseException：未定义的名称：

仿制药转换为Avro的模式我用下面的注解，但我得到之后 public class Test2<T> { @AvroSchema("{\"type\":\"array\",\"items\":[\"null\",\"Test4\"]}") private Set<T> test4; } public class Test4 { public Integer g

0热度

1回答

org.apache.avro.SchemaParseException：不能重定义：org.apache.avro.reflect.Pair620b9c15f622a7

我有一类低于 class A { private Map<Long ,Set<Long>> x; private Map<Long ,Set<Long>> y;} 给出的Avro时尝试透过反射它创建的创建模式这两个字段的映射名称为Pair620b9c15f622a7。因此，我得到的例外 Schema s = ReflectData.get().getSchema(A.class);

0热度

1回答

卡夫卡架构演变

当我们更改架构的名称空间并进化它时，模式是否向后兼容？该Landoop UI说，它向后兼容，当我们命名空间更改为一个新的，但在Avro中的rules 防爆找不到这样的：旧模式 “命名空间”：“com.xxx.yyy.zzz.a” 演变架构 “namespace”：“com.abc.xxx.yyy.zzz.a”

0热度

1回答

如何合并蜂巢表的Avro格式具有略微不同的Avro模式格式已经存在的主表

有2个Avro的蜂房格式化表格 MAIN_TABLE，表-A MAIN_TABLE已有的数据。与Main_Table相比，Table_A avro模式有少量附加列。场景是Table_A数据必须与Main_Table合并 Table_A中的列是动态的，它可能会在几天后更改。如何合并Table_A与Main_Table？