星火斯卡拉API：在正式例如没有在spark.createDataFrame可用typeTag

我刚开始与MLIB为星火工作，并试图运行提供的例子，更具体https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/ml/DCTExample.scala 星火斯卡拉API：在正式例如没有在spark.createDataFrame可用typeTag

但是，使用的IntelliJ IDE编译失败消息

Error:(41, 35) No TypeTag available for (org.apache.spark.ml.linalg.Vector,) 
    val df = spark.createDataFrame(data.map(Tuple1.apply)).toDF("features")

项目设置使用jdk1.8.0_121，spark2.11-2.1.0和Scala 2.10.6。

为什么例子无法运行任何想法？我跟着安装过程中下面的教程：https://www.supergloo.com/fieldnotes/intellij-scala-spark/

来源

2017-02-12 Zahlii

你不能使用Scala 2.10斯卡拉2.11火花（这就是_2.11的名字的意思），虽然此特定错误看起来很奇怪。切换到Scala 2.11.8。

来源

2017-02-12 16:53:20

谢谢，这实际上解决了这个问题。随着标准的当前版本（2.12），代码也被打破了，这就是为什么我用2.10来试用它的原因。我下载并安装了2.11.8版本并且项目编译正确。 – Zahlii

有关更多信息，请参阅http://www.scala-sbt.org/0.13/docs/Cross-Build.html。 –

星火斯卡拉API：在正式例如没有在spark.createDataFrame可用typeTag

回答

相关问题