如何提及flink的readFile方法中的FileInputFormat？

Question

我正在使用flink从定期追加数据的文件中连续读取数据。我试图在flink中使用readFile方法。但与如何在此方法的参数中提及FileInputFormat混淆。我的文件格式是json。任何人都可以帮助我吗？。谢谢

Answer 1

Flink的InputFormat不适合从同时写入的文件读取。

鉴于此要求，我假设您正在寻找一种将文件作为流使用并使用Flink的DataStream API进行处理的方式。在这种情况下，您需要实现一个跟踪文件大小和进度的SourceFunction，并不断读取文件。

但是，我不会推荐这种设计。我宁愿定期启动一个新文件，并将其移至一个专用文件夹中，待其完成并下一个文件启动后使用。