avro

0热度

2回答

我有一个Spark作业，它将一些数据处理成多个单独的数据框。我将这些数据帧存储在一个列表中，即dataframes []。最后，我想将这些数据框合并为一个分层格式并将输出写入avro。该架Avro模式是这样的： { "name": "mydata", "type": "record", "fields": [ {"name": "data", "type"

0热度

1回答

将CSV文件转换为scala中的AVRO

我是scala新手。我正在尝试将CSV文件转换为avro格式。我试图谷歌关于这一点，无法找到任何东西。我已经给出了我使用的示例输入文件和AVSC格式（再次来自谷歌）。 {"namespace": "example.avro", "type": "record", "name": "User", "fields": [ {"name": "name", "type": "stri

1热度

1回答

如何在Avro模式中包含多个记录？

我是Apache Avro的新手。我通过使用Parsers来读取模式来序列化数据。以下详细信息包含我的模式。我需要在同一个模式中包含多个记录。 { "namespace": "tutorial.model", "type": "record", "name": "Employee", "fields": [ {"name": "firstName",

1热度

2回答

如何将Hive（avro表）与架构注册表集成？

Hive提供了两个表属性，允许定义Avro模式：avro.schema.literal和avro.schema.url，其中前者可以指定为模式提供服务的hdfs路径或http端点。我想用Schema Registry为我的架构服务，但问题是它的endpoints回报模式包裹在一个更大的JSON对象：请求： GET /schemas/ids/1 响应： HTTP/1.1 200 OK Con

-1热度

1回答

阅读现有的Avro文件并发送到Kafka

我有一个现有的Avro文件与模式。我需要将文件发送给Producer。以下是我写的代码。 public class ProducerDataSample { public static void main(String[] args) { String topic = "my-topic"; Schema.Parser parser = new Schem

1热度

1回答

通过Kafka和Spark消耗大数据

我在Json中有一个由Websocket提供的流数据，其大小在每秒1MB和60MB之间变化。我得解码数据然后解析它，最后写入到mysql。我想2个想法： 1）从插槽中读取数据，然后对数据进行解码，并通过Avro公司发送给消费者的生产者，然后来获取数据并写入到MySQL的星火地图，减少消费 2）从Socket读取数据然后将数据发送到Consumer in Producer，然后在Consum

0热度

1回答

如何使用Python解码/反序列化Kafka Avro字符串

我正在从远程服务器接收Kafka Avro邮件（使用Confluent Kafka Python库的使用者），它使用带有字段的用户代理，位置表示点击流数据，url等。这里是一条消息的样子： b'\x01\x00\x00\xde\x9e\xa8\xd5\x8fW\xec\x9a\xa8\xd5\x8fW\x1axxx.xxx.xxx.xxx\x02:https://website.in/rooms/

1热度

1回答

将AVRO文件加载到BigQuery时出错

我已使用bq CLI实用工具将大量AVRO文件（具有相同架构类型的相同表格）加载到Google存储中。然而，对于一些AVRO文件而载入BigQuery我变得非常神秘的错误，该错误表示：阿帕奇的Avro库未能读取与follwing错误数据：EOF 达到（错误代码：无效）采用验证过的Avro工具的AVRO文件没有损坏，报表输出： Java的罐子Avro的工具-1.8.1.jar修复-o报告201

1热度

1回答

使用python avro库时的读取和写入架构

avro规范允许使用不同的写入和读取架构，只要它们匹配即可。该规范进一步允许别名迎合读写模式之间的差异。以下python 2.7试图说明这一点。 import uuid import avro.schema import json from avro.datafile import DataFileReader, DataFileWriter from avro.io import Dat

2热度

1回答

在Amazon S3存储桶中创建Avro文件

如何在s3存储桶中创建Avro文件，然后向其中添加avro记录。我有所有的字节数组形式的avro记录，并成功地在一个avro文件中传输。但他的文件是（我知道）不是一个完整的avro文件。由于完整的avro文件是模式+数据。以下是在S3中传输文件中字节记录的代码。任何人都知道如何创建基于avro模式的文件，然后将这些字节传输到相同的文件。 public void sendByteData(by