2011-03-12 113 views
0

的序列文件创造价值一流的,我有一些类型的数据,我要对HDFS作为序列文件上传。在运行时

起初,我还以为这取决于模式和使用RCC DDL工具的类型由Hadoop的创建这些类,并利用它们在运行时创建一个.jr文件。

但看RCC的文档,我看到它已被弃用。我试图看看还有哪些其他选项可以为每种数据类型创建这些值类。

这是一个问题,因为我了解在运行时与数据流一起被加载的数据的元数据。所以,我没有选择,只能在运行时创建Value类,然后用它写入SequenceFile.Writer(key,vale),最后将它保存在HDFS上。

如果任何人心中都有这方面的任何解决方案,我将真正应用程式 感谢, JJ

回答

0

你可以尝试寻找其他的序列化框架,如Protocol BuffersThriftAvro。您可能首先要看Avro,因为它不需要生成静态代码,这可能更适合您。

或者,如果你想获得真正的快速和肮脏的,在SequenceFile每条记录可以是一个HashMap中,其中键/值的字段和值的名称。