0
我正在使用flume-ng及其HDFS接收器。现在，如果我将一些文件添加到给定的文件夹中，它也会自动存储在HDFS中。它工作正常;但是我注意到HDFS中文件的大小非常小。因此，如果我将1GB文件放入指定文件夹，它将以数百个文件存储在HDFS中。我可以让HDFS中的文件更大吗？我如何在flume-conf.properties中配置它？Apache Flume文件大小
A
回答
0
您是否尝试增加hdfs.rollSize。
有一个开放的jira，将有助于增加hdfs块大小https://issues.apache.org/jira/browse/FLUME-2003
相关问题
- 1. 配置flume写文件〜100mb（接近120mb hdfs文件大小）
- 2. Apache Flume - 只发送新文件内容
- 3. 用Apache Flume摄取bzip2文件
- 4. Apache Flume的好处
- 5. Apache Flume POC问题
- 6. 如何在Apache Flume中传输文件时保留文件名？
- 7. Flume-ng尾文件
- 8. Flume流gz文件
- 9. Flume - HiveSink：java.lang.NoClassDefFoundError：org/apache/hive/hcatalog/streaming/RecordWriter
- 10. 如何测量Apache Flume EPS？
- 11. Apache Flume设置复杂性
- 12. 如何分发Apache Flume 1.4
- 13. 没有hadoop的Apache Flume
- 14. Apache Flume多重代理
- 15. Apache Flume与Apache Flink的区别
- 16. Apache Flume无法将文件从源文件复制到目标文件
- 17. Apache Flume为每一行写入新文件
- 18. Apache Flume HDFS sink文件写入有什么保证？
- 19. 获取文件大小 - Apache Commons文件上传
- 20. Apache Flume /var/log/flume-ng/flume.log（权限被拒绝）
- 21. PHP文件大小报告旧大小
- 22. apache和gunicorn的最大（限制）上传文件大小
- 23. Flume配置文件_滚动
- 24. Flume传输gzip文件
- 25. 文件大小
- 26. Apache grep大日志文件
- 27. Apache Flume Kafka Producer - 动态生成partition_id/key
- 28. Apache Flume卡住后执行flu-ng
- 29. 在Apache Flume JMS 1.6.0中配置SSL
- 30. 在Apache Flume中压缩数据