flume

0热度

1回答

我有一个使用Flume的摄入管道& Kafka，使用CSV文件，在Flume Interceptor中将事件转换为JSON并在Kafka中推送它。当我在发送给Kafka之前记录消息时，这是一个正常的，有效的JSON。但是，当从Kafka消费相同的消息时，我在尝试序列化它时收到错误，并说它不是有效的JSON。事实上，我有无法识别的字符在我的消息的开头：例如我认为它代表水槽试图在张贴到卡夫卡时

0热度

1回答

Flume不接受Twitter流的关键字

这里有一位Hadoop新手，使用本教程：https://acadgild.com/blog/streaming-twitter-data-using-flume/来捕获推文。这里是我的flume.conf文件： TwitterAgent.sources = Twitter TwitterAgent.channels = MemChannel TwitterAgent.sinks = HDFS

1热度

1回答

使用FLUME将数据存储在Hadoop中

我已经按照教程中的hadoop安装和Flume的所有步骤进行了操作。我在大数据工具中很无聊。我收到以下错误。我不明白，问题在哪里？我也读了很多关于安装的帖子，但我仍然面临这个问题。我的最终目标是使用R执行Twitter情绪分析。 17/09/29 02:25:39 INFO node.PollingPropertiesFileConfigurationProvider: Configurati

0热度

1回答

从边缘设备到HDFS获取平面数据文件和过程

我有一个用例，车辆上的设备必须将平面二进制文件发送到云服务器，在它们进入并处理数据时将它们存储到Hbase 。我想知道哪些数据提取框架支持从远程设备上传平面二进制文件，以及需要使用哪种数据处理框架来解析这些文件并将数据存储到HBase中。请提出适合我的应用的设计。

0热度

1回答

如何计算吞吐量的Hadoop

水槽如何计算水槽的吞吐量在我的Hadoop集群？我是第一次这样做。所有这一切都写入到HDFS我的数据是通过水槽。我看了一些图表HDFS中发现：在整个写的DataNodes总字节似乎是围绕2.2MB/s的平均为1 d周期。这是正确的和走的路？

0热度

1回答

使用流畅和水槽无限增加的文件描述符的数量

我使用Docker容器内的流利插件水槽运行流利的代理。了一段时间后，我的容器里面的一些程序失败，下一个错误： Check failed: _s.ok() Bad status: Runtime error: Could not create thread: Resource temporarily unavailable (error 11) 我发现号泊坞容器内的文件描述符增加无限： sud

0热度

2回答

当数据从卡夫卡流向HDFS时，Flume没有足够的空间错误

我们正在努力处理从Kafka到由Flume管理的HDFS的数据流。由于下面描述的例外情况，数据未完全传输到hdfs。但是这个错误对我们来说看起来有些误导，我们在数据目录和hdfs中都有足够的空间。我们认为这可能是通道配置的问题，但我们对于其他来源具有类似的配置，并且对于它们来说工作正常。如果有人不得不处理这个问题，我会很感激提示。 17 Aug 2017 14:15:24,335 ERROR

1热度

1回答

如何使用增长文件作为Apache Kafka制作者并只读取新添加的数据

我正在尝试将文件用作我的制作人。源文件连续增长（例如每秒记录20条记录）。下面是类似我的问题后： How to write a file to Kafka Producer 但是，在这种情况下，整个文件被读取并添加到卡夫卡的话题每一个新行插入文件的时间。我只需要将新添加的行发送到主题（即，如果该文件已包含10行，并且附加了4行，则只需将这4行发送到该主题）。有没有办法实现这个？其它的解决方案的

0热度

1回答

水槽错误：通道hdfschannel不活跃集

我得到以下错误消息，当我开始我的水槽剂： 17/10/15 14:40:47 WARN conf.FlumeConfiguration: Could not configure sink hdfssink due to: Channel hdfschannel not in active set. org.apache.flume.conf.ConfigurationException: Cha

0热度

1回答

来自Kafka在Flume中的EOFException

我正在尝试设置从控制台Kafka生产者到Hadoop文件系统（HDFS）的简单数据管道。我正在开发一款64位的Ubuntu虚拟机，并按照我所遵循的指南的建议，为Hadoop和Kafka创建了单独的用户。使用控制台消费者在卡夫卡消费生产的输入，并且HDFS似乎正在运行。现在我想使用Flume将输入传送到HDFS。我使用下面的配置文件： tier1.sources = source1 tier1.