问题与火花1.6.1

与当我想读的CSV文件。我用中号1.6.1火花在这里的错误击中火花CSV阅读是我的代码问题与火花1.6.1

val reftable_df = sqlContext.read 
    .format("com.databricks.spark.csv") 
    .option("header", "true") 
    .option("inferSchema", "true") 
    .load("/home/hadoop1/Reference_Currencyctoff.csv") 
    reftable_df.show() 

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/csv/CSVFormat 
     at com.databricks.spark.csv.package$.<init>(package.scala:27) 
     at com.databricks.spark.csv.package$.<clinit>(package.scala) 
     at com.databricks.spark.csv.CsvRelation.inferSchema(CsvRelation.scala:218) 
     at com.databricks.spark.csv.CsvRelation.<init>(CsvRelation.scala:72) 
     at com.databricks.spark.csv.DefaultSource.createRelation(DefaultSource.scala:157) 
     at com.databricks.spark.csv.DefaultSource.createRelation(DefaultSource.scala:44) 
     at org.apache.spark.sql.execution.datasources.ResolvedDataSource$.apply(ResolvedDataSource.scala:158) 
     at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:119) 
     at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:109) 
     at scb.HBaseBroadcast$.main(HBaseBroadcast.scala:138) 
     at scb.HBaseBroadcast.main(HBaseBroadcast.scala)

注：我已经累有以下CSV依赖

星火的CSV»1.3.0 星火的CSV»1.3.1 星火的CSV»1.4.0 星火的CSV»1.5.0

谢谢！

来源

2016-11-21 senthil kumar p

我面临同样的问题

--jars /path/to/spark-csv.jar,/path/to/commons-csv.jar

解决的问题。

公地csv.jar具有该类

你可以看到使用jar -tvf commons-csv.jar | grep CSVFormat

来源

2016-11-21 12:41:17

类试试这个，同时启动火花外壳

bin/spark-shell --packages com.databricks:spark-csv_2.10:1.5.0

包括这个包

来源

2016-11-21 14:27:37 aravinth

问题与火花1.6.1

回答

相关问题