从scala读取Avro文件

我正在尝试使用scala读取avro文件。从scala读取Avro文件

我一直在使用的Avro工具提取文件的模式，并将其保存到一个文件，然后我尝试使用下面的代码来阅读：

val zibi= scala.io.Source.fromFile("/home/wasabi/schema").mkString 
val schema_obj = new Schema.Parser 
val schema2 = schema_obj.parse(zibi) 
val READER2 = new GenericDatumReader[GenericRecord](schema2) 
val myFile = Files.readAllBytes(Paths.get("/tmp/check/CMRF_80_1442744555901-1_1_2_1_1_1_4_10_1.avro")) 

val datum = READER2.read(null, DecoderFactory.defaultFactory.createBinaryDecoder(myFile,null))

，但我一直打的IOExceptions这样：

java.io.IOException: Invalid int encoding 
     at org.apache.avro.io.BinaryDecoder.readInt(BinaryDecoder.java:145) 
     at org.apache.avro.io.ValidatingDecoder.readInt(ValidatingDecoder.java:83) 
     at org.apache.avro.generic.GenericDatumReader.readInt(GenericDatumReader.java:444) 
     at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:159) 
     at org.apache.avro.generic.GenericDatumReader.readField(GenericDatumReader.java:193) 
     at org.apache.avro.generic.GenericDatumReader.readRecord(GenericDatumReader.java:183) 
     at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:151) 
     at org.apache.avro.generic.GenericDatumReader.readArray(GenericDatumReader.java:219) 
     at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:153) 
     at org.apache.avro.generic.GenericDatumReader.readField(GenericDatumReader.java:193) 
     at org.apache.avro.generic.GenericDatumReader.readRecord(GenericDatumReader.java:183) 
     at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:151) 
     at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:142)

当我通过avro-tools阅读文件时，它读取得很好。

我在做什么错？

来源

2015-09-28 Daniel Haviv

你检查以下内容：（似乎很相似，你的问题，并建议解决方案可能会为你工作）https://issues.apache.org/jira/browse/AVRO-1650 –

嗨，是的，我看见它了。我没有转换或从字符串转换，所以我不认为它是相关的（除非readAllBytes有某种编码配置）。只是为了确保我试着用建议的编码将它看作字符串，但也失败了。谢谢 –

尝试使用DataFileReader而不是使用BinaryDecoder。

尽管编码器/解码器用于写入和读取原始avros，但我怀疑它们在avro数据文件中找到的头信息上窒息。

import org.apache.avro.generic.{ GenericDatumReader, GenericRecord } 
import org.apache.avro.file.DataFileReader 

val zibi= scala.io.Source.fromFile("/home/wasabi/schema").mkString 
val schema_obj = new Schema.Parser 
val schema2 = schema_obj.parse(zibi) 
val READER2 = new GenericDatumReader[GenericRecord](schema2) 

val myFile = new File("/tmp/check/CMRF_80_1442744555901-1_1_2_1_1_1_4_10_1.avro") 
val dataFileReader = new DataFileReader[GenericRecord](myFile, READER2) 
val datum = dataFileReader.next()

来源

2015-09-28 17:32:47

它的工作原理。非常感谢！ –

从scala读取Avro文件

回答

相关问题