0
我想使用火花流监控s3目录并返回添加到该目录的任何新文件的路径。 textFileStream和fileStream似乎都无法做到这一点。实际上有办法完成我想要做的事吗？从火花传输中读取新的s3文件路径
编辑：Spark ver。 2.1.0
A
回答
0
它使用s3a：//执行此操作;我有测试证明它。
- 设置了一个足够大的窗口来处理延迟扫描目录，并清理它。
- 你可以直接写入目的地“目录”;无需编写然后重命名。如果你这样做：文件被复制并拿起窗口。
- 不要在那里设置检查点
相关问题
- 1. 火花，输入文件的路径
- 2. newHadoopAPI中的多个输入路径以供火花读取Lzo文件
- 3. 得到火花hdfs文件路径
- 4. 在火花中读取Avro文件
- 5. 从文本文件中读取路径？
- 6. 从mongodb读取火花
- 7. 火花阶读取配置文件
- 8. 从文本文件读取路径％username％
- 9. 使用火花结构化流式读取s3中的avro文件
- 10. 文件传输路径
- 11. 空文件输出火花
- 12. 从文件路径读取变量值
- 13. SpringBoot - 从application.properties读取文件，路径
- 14. 从相对路径读取文件
- 15. 从s3或本地文件系统的火花从子目录递归读取文件
- 16. Maxscript文件路径读取？
- 17. 火花：如何从火花外壳运行火花文件
- 18. 从apache中读取数据并将数据写入S3中的火花
- 19. 的jQuery/JavaScript的路径，从文件中读取图像/文件
- 20. 火花流stdin输入/从unix实用程序输出读取
- 21. 获取S3完整路径文件
- 22. 从javascript中的文件路径读取本地文件
- 23. 从批处理文件中的.txt文件读取路径
- 24. 从火花斯卡拉的多行文件中读取JSON文件
- 25. 为火花输出文件设置S3输出文件承兑人
- 26. 从文本文件中提到的路径中读取图像
- 27. 火花传输可视化
- 28. `input_file_name`上的过滤器火花路径
- 29. 星火使用sc.textFile从S3读取文件（“S3N：// ...）
- 30. 火花传输中的广播
Spark版本？ – mrsrinivas
@mrsrinivas spark 2.1.0 – foboi1122
你可以添加你试过的代码吗？确保您已正确配置访问密钥和密钥，以访问s3文件系统。 – mrsrinivas