我们是否需要任何外部jar来在Spark中进行xml解析？

我想解析Spark中的XML。我正在低于错误。你可以帮我吗？我们是否需要任何外部jar来在Spark中进行xml解析？

import org.apache.spark.sql.SQLContext 
import org.apache.spark.SparkContext 
import org.apache.spark.SparkConf 

object TestSpark{ 
def main(args:Array[String}) 
{ 
val conf = new SparkConf().setAppName("Test") 
val sc = new SparkContext(conf) 
val sqlContext = new SQLContext(sc) 
val df = sqlContext.read 
.format("com.databricks.spark.xml") 
.option("rootTag", "book") 
load("c:\\sample.xml") 
} 
}`

错误： Exception in thread "main" java.lang.ClassNotFoundException: Failed to load class for data source: com.databricks.spark.xml.

来源

2017-05-10 Newbie_Bigdata

比赛斯卡拉版本火花的。从2.0版开始，Spark默认使用Scala 2.11构建。 Scala 2.10用户应该需要Spark源代码包并使用Scala 2.10支持构建。这可能有助于

Compatibility issue with Scala and Spark for compiled jars
spark-xml

来源

2017-05-10 17:43:05

没有其他的外部jar需要除databricks spark xml。您需要为2.0+添加依赖项。如果您使用较旧的Spark，则不需要使用this。

您需要使用

groupId: com.databricks 
artifactId: spark-xml_2.11 
version: 0.4.1

来源

2017-05-10 17:43:26

我们是否需要任何外部jar来在Spark中进行xml解析？

回答

相关问题