Spark Read.json无法找到文件

嘿，我所有我在AWS上有1个主站和1个从站节点独立Spark集群。我有一个文件夹我的主目录叫〜/笔记本。这是我启动jupyter笔记本并在浏览器中连接jupyter。我也有一个名为people.json的文件（简单的json文件）。Spark Read.json无法找到文件

我尝试运行这段代码

from pyspark import SparkContext, SparkConf 
from pyspark.sql import SQLContext 

conf = SparkConf().setAppName('Practice').setMaster('spark://ip-172-31-2-186:7077') 
sc = SparkContext(conf=conf) 

sqlContext = SQLContext(sc) 

df = sqlContext.read.json("people.json")

当我运行最后一行我得到这个错误。我没有得到它的文件是在那里...任何想法？ -

Py4JJavaError：调用o238.json时发生错误。：org.apache.spark.SparkException：由于阶段失败导致作业中止：阶段4.0中的任务1失败4次，最近失败：阶段4.0中丢失的任务1.3（TID 37，ip-172-31-7-160。 us-west-2.compute.internal）：java.io.FileNotFoundException：文件文件：/home/ubuntu/Notebooks/people.json不存在

来源

2016-01-16 Neil

是否确定该文件也在所有工作节点上？ –

哦，废话，我没有意识到它需要在工作节点上......它是否甚至需要在主节点上呢？ – Neil

不一定 –

确保文件在工作节点上可用。最好的方法是使用共享文件系统（NFS，HDFS）。阅读External Datasets documentation

来源

2016-01-17 02:25:19

Spark Read.json无法找到文件

回答

相关问题