Unresolve依赖星火库

我跟着这个链接：http://blog.miz.space/tutorial/2016/08/30/how-to-integrate-spark-intellij-idea-and-scala-install-setup-ubuntu-windows-mac/Unresolve依赖星火库

当我尝试编译我的IntelliJ与项目，SBT是抱怨未解决的依赖

[Warn（警告）] ===公众：试图[警告] https://repol.maven.org/maven2/org/apache/spark/spark-core/2.1.1/spark-core-2.1.1.pom [警告]未解决的依赖性路径：org.apache.spark：火花芯：2.1.1

我的阶版本是2.12.2和sparkVersion是2.1 0.1

这里是我的build.sbt样子：

name := "test" version := "1.0" scalaVersion := "2.12.2"

val sparkVersion = "2.1.1"

libraryDependencies ++= Seq("org.apache.spark" % "spark-core" & sparkVersion)`

谢谢

来源

2017-05-29 Tyron Ferreira

必须使用Scala的2.10.x或2.11.x为2.12阶不被火花尚未 – Nonontb

星火社区正在斯卡拉2.12 support.Please遵循https://issues.apache.org/jira支持/ browse/SPARK-14220 – hadooper

你的最后一行应该是

libraryDependencies += "org.apache.spark" % "spark-core_2.10" % sparkVersion

或者

libraryDependencies ++= Seq("org.apache.spark" % "spark-core_2.10" % sparkVersion)

最好不要使用scalaVersion := "2.12.2"正如@Nonontb和@Cyrelle所提到的那样。请减少spark支持的版本以获得更好的性能并避免意外错误。

以下行是从Spark docs

对于Scala的API，火花2.1.1使用的Scala 2.11。您将需要使用兼容的Scala版本（2.11.x）。

来源

2017-05-29 14:19:54

实际上，由于OP使用的是scala 2.12，它们应该使用'“spark-core_2.12”'，或者更好地使用''org.apache.spark“%%”spark-core“％sparkVersion'自动获取给定scala版本的相关jar。 –

Unresolve依赖星火库

回答

相关问题