scala 2.10.4到2.11的火花

我需要使用SparkSQL和超过22列的表。scala 2.10.4到2.11的火花

Scala 2.11似乎解决了这个问题。

有关如何升级和可能的工作跨版本的任何帮助？我在eclipse中使用Scala IDE，但是由于SchemaRDD的问题，我可以转向Intellij IDEA。

任何帮助表示赞赏。

2015-02-09 Irene

为什么不尝试一下，看看是否有东西坏了？从2.10到2.11的变化相对较小。如果你使用的是SBT，这可能只是在你的构建文件中改变'scalaVersion'的值。如果您需要使用内置序列化功能读取先前解组的序列化兼容性，则序列化兼容性会受到破坏。但是如果不知道你在项目中使用的所有库和功能，其他任何人都无法为你回答。 – acjay 2015-02-09 12:11:01

我真的不认为Spark会与Scala 2.11一起工作。这就是为什么...... Spark团队明确建议使用Scala 2.10。首先...你将需要编译Spark对Scala 2.11 ...如果这个工程...（有一些奇迹）..那么你可以在你的Scala 2.11项目中使用它。 – 2015-02-09 14:17:53

在Spark building documentation中有关于用Scala 2.11构建Spark的部分。但是，该指令可能会错过一步 - 请看another StackOverflow question。

无论如何，根据文档的Scala 2.11尚不完全支持：

星火还不支持它的JDBC组件斯卡拉2.11。

来源

2015-11-04 13:23:30

scala 2.10.4到2.11的火花

回答

相关问题