卡夫卡到HDFS同步与数据转换

1）你从卡夫卡到HDFS数据每日同步，通过特定的密钥存储在JSON负载分区卡夫卡集群。需要
2）JSON有效载荷被分成两个不同的文件

想知道，这可以利用HDFS卡夫卡连接器可以实现？看了一些文档，我认为我可以很容易地工作，但无法理解是否有什么东西可以满足我的第二个要求。有关如何实现此目的的任何建议将受到高度赞赏。在此先感谢。

2017-05-31 Amit

看看消息转换，看看它们是否适合您的用例https://kafka.apache.org/documentation/#connect_transforms。基本上，我设想了两个不同的hdfs连接器实例从同一主题中读取，并使用ExtractField之类将每个实例的有效内容从您想要的内容中提取出来，然后写入两个不同的hdfs位置。 – dawsaw

哇，为什么我从来没有想过在这个方向......不知道这是否会工作，并解决我的要求，但至少这给了我一个方法来尝试！非常感谢 – Amit

看看消息转换，看看它们是否适合您的使用案例。基本上，我设想了两个不同的hdfs连接器实例从同一主题中读取，并使用ExtractField之类将每个实例的有效内容从您想要的内容中提取出来，然后写入两个不同的hdfs位置。

来源

2017-06-02 11:05:18 dawsaw

卡夫卡到HDFS同步与数据转换

回答

相关问题