2017-07-19 39 views
0

在为下一代的科学数据格式需要某种类JSON数据结构(被fieldshas的逻辑分组讨论此外,最好是利用现有的编码,而不是使用自定义的二进制结构,对于序列化格式,有many options。对这些编码有经验的人员的任何指导或见解都是值得赞赏的。 :在我们的格式,数据需要记录进行包装,一般不大于4096字节的每个记录必须是独立使用的数据必须是可读几十年来的数据归档和交换是通过存储完成。发送一系列记录。数据损坏只能影响已损坏的记录,使文件/流/对象中的所有其他文件可读。注意事项二进制seralizations(的Protobuf,CBOR,MessagePack等)进行长期归档的数据格式

优先级(大致按顺序)为:

  • 稳定性,长期归档使用
  • 性能,大多读
  • 存储不透明的斑点能力
  • 大小
  • 简单
  • 众多的软件(又名库)支持
  • 流-AB ility,传播性和可读性为生成一个记录(如果可能)

我们已经开始看的Protobuf(Protocol Buffers RFC),CBORRFC)和位在MessagePack

任何有经验的人的信息都会帮助我们确定最合适的,或者更重要的是避免陷阱和死胡同,我们将不胜感激。

在此先感谢!

+0

坦率地说,其中任何一个都没问题。 –

回答

0

后期的答案,但:您可能需要决定是否要一个基于模式的自描述的格式。 Amazon Ion的一些设计决策的利弊概述会谈,再加上这等ION(完全different from Amazon Ion)。

那些都完全符合您的标准,但这些文章应该列出你可能要考虑的几个标准。显然实际上是一个标准,并被采纳的寿命比任何技术设计标准要高得多