从本地机器读取文本文件

-2

我正在尝试使用spark从本地路径读取文本文件。但它抛出了一个例外。 Error image 从本地机器读取文本文件

我用来读取文件的代码是这样的：

val assetFile = sc.textFile(assetFilePath)

assestFilePath是一个变量whichrepresent的路径，在我的本地机器somehere。

val adFile = sc.textFile(adFilePath)

adFilePath是一个变量，它表示在本地机器上的某个路径。

来源

2017-03-04 Akhil Choudhari

我强烈建议您发布错误堆栈并删除图像的链接。 – dbustosp

你检查了这个链接：[http://stackoverflow.com/questions/27299923/how-to-load-local-file-in-sc-textfile-instead-of-hdfs](http://stackoverflow.com /问题/ 27299923 /如何对负载本地文件中-SC-文本文件，INSTEAD-OF-HDFS） – dbustosp

sc.textFile将默认从HDFS中读取而不是从本地文件系统中读取，但Spark支持HDFS之外的多个文件系统，如LocalFileSyetem，Amazon S3，Azure，Swift FS。

因此，为了从本地文件系统读取，您需要在文件路径中指定为协议。例如：

sc.textFile("file:///tmp/myfile.txt")

这将读取存在于本地文件系统tmp目录，其中火花驱动程序代码运行一个名为myfile.txt的文件。

来源

2017-03-04 07:34:21 RBanerjee

从本地机器读取文本文件

回答

相关问题