avro

0热度

1回答

我正在尝试使用Postman编写一个非常简单的架构到注册表，并且已经很难得到它注册。注册一个简单的模式，这只是整个流程的第一步，还是我在这里丢失了一些东西？我使用的模式如下： { "schema":{ "type" : "record", "name" : "User", "namespace" : "com.temp.avro.model", "fiel

0热度

2回答

错误插入覆盖从orc表到avro表？

我是新来这样的事情的话，请叫我更多，因为我并没有给予足够的澄清问题这些在蜂巢运行这是Avro的表 CREATE EXTERNAL TABLE cm PARTITIONED BY ( `year` STRING ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe' STORED as I

0热度

1回答

Hadoop：查询/阅读Avro文件

我将从复杂JSON对象导入的数据存储为Avro格式。 JSON对象由具有嵌套对象和对象数组的对象表示。 Avro的模式是这样的： { "type" : "record", "name" : "userInfo", "namespace" : "my.example", "fields" : [{"name" : "username", "ty

2热度

1回答

需要帮助推断NiFi中的json文件的avro模式

我想在NiFi中创建一个流，该流需要一个有效的json文件并使用PutHiveStreaming处理器将其直接放入配置单元表中。我的JSON看起来像下面这样： { "Raw_Json": { "SystemInfo": { "Id": "a string ID", "TM": null, "CountID": "a string ID",

0热度

1回答

配置单元不能创建嵌套avro架构表

我想使用嵌套avro架构来创建配置单元表。但它不起作用。我在cdh5.7.2中使用hive 1.1。这里是我的嵌套的Avro模式： [ { "type": "record", "name": "Id", "namespace": "com.test.app_list", "doc": "Device ID", "fields"

1热度

1回答

Avro支持Flink - scala

如何阅读avro来自Flink的scala？是不是同一批次/流/表：StreamExecutionEnvironment/ExecutionEnvironment/TableEnvironment？会是某事像：val custTS: TableSource = new AvroInputFormat("/path/to/file", ...) 下面是java的Avro中实现REF（connec

0热度

1回答

如何从hbase获取映像（以avro格式存储）并存储在本地文件系统中

我已经使用flume代理将映像（.jpg）传输到HBase。现在我想获取该图像并存储在磁盘（本地文件系统）中，是否有可将图像（存储为Avro）转换为实际图像&存储在磁盘中的实用程序。

0热度

1回答

Avro消息与模式

因此，我们计划使用Avro通过基于合流kafka的生态系统进行通信。我目前对Avro的理解是，每条消息都有其架构。如果是这种情况，我们需要模式注册才能解决版本更新？我问，因为携带每个消息的架构可以防止需要类似模式注册表来将消息ID映射到架构。或者我在这里错过了什么？

0热度

1回答

我如何从嵌入架构的Kafka反序列化Avro

我从Kafka主题接收二进制Avro文件，我必须反序列化它们。在Kafka收到的消息中，我可以在每条消息的开始处看到一个架构。我知道不嵌入模式并将其与实际的Avro文件分开是更好的做法，但我无法控制制作人，我无法更改。我的代码运行在Apache Storm上。首先，我创建一个读者： mDatumReader = new GenericDatumReader<GenericRecord>();

0热度

1回答

弗林克读取自定义类型 - 内含价值的错误：'产生的原因：java.lang.NoSuchMethodException：<init>（）`

我想读avro文件，案例类：UserItemIds包括案例类类型：User，sbt和scala 2.11 case class User(id: Long, description: String) case class UserItemIds(user: User, itemIds: List[Long]) val UserItemIdsInputStream = env.create