异常线程“main”产生java.io.IOException：不完全HDFS URI，没有主持人：HDFS星火RDD

Question

我想保存的文本文件在HDFS与星火内容：

import org.apache.spark.{SparkContext, SparkConf} 

    object FormatTlfHdfs { def main(args : Array[String]) { 
    val conf = new SparkConf().setAppName("Clean data") 
        .setMaster("local").setSparkHome("/usr/lib/spark") 

    val sc = new SparkContext(conf) 

    var vertices = sc.textFile("hdfs:///user/cloudera/dstlf.txt").flatMap{ 
     line => line.split("\\s+") }.distinct() 

我“M收到错误：

异常在线程 “主” java.io.IOException的：不完全HDFS URI， 没有主机：HDFS：///用户/ Cloudera的/元数据查对TLF

个做HDFS DFS -ls看起来这是正确的

cloudera@quickstart grafoTelefonos]$ hdfs dfs -ls /user/cloudera 
Found 6 items 
drwx------ - cloudera cloudera   0 2016-02-04 18:37 /user/cloudera/.Trash 
drwxr-xr-x - cloudera cloudera   0 2016-05-02 13:38 /user/cloudera/.sparkStaging 
-rw-r--r-- 1 cloudera cloudera  1294 2016-05-02 13:34 /user/cloudera /dstlf.txt 

Answer 1

错误似乎是显而易见的......

不完整的HDFS URI，没有主持人：HDFS：///用户/ Cloudera的/元数据查找，TLF

没有指定像

hdfs://quickstart:<hdfs_port>/user/cloudera... 

一台主机，您可能不需要<hdfs_port>一块，但它并没有伤害。我认为正确的端口是8020，那么你会有

hdfs://quickstart:8020/user/cloudera...