如何使用火花从文件系统输入

我想用火花流，并给从文件系统（HDFS说）的输入流我。怎么会做如何使用火花从文件系统输入

2016-05-25 rajeev aggarwal

您可以同时使用cp和mv命令来传输filesRefer：http://stackoverflow.com/questions/36350336/is-spark-streaming-works-with-both-cp-and-mv/36888900#36888900 –

did你检查文档？ http://spark.apache.org/docs/latest/streaming-programming-guide.html#basic-sources – maasg

例如，使用JavaStreamingContext当有适当的方法方法，例如textFileStream()可读取任何文本文件，fileStream()可从Hadoop兼容文件系统读取文件。您将通过作为API参数传递的目录来监视更改。如果您要移动任何文件，它将根据批处理间隔由Streaming应用程序拾取。

请查看我的简单样本github以从Twitter或文件系统读取数据。

希望这会有所帮助。

来源

2016-05-25 11:25:13

如何使用火花从文件系统输入

回答

相关问题