是否可以在sbt控制台中创建RDD？

我在SBT控制台工作，并已导入以下是否可以在sbt控制台中创建RDD？

scala> import org.apache.spark._ 
scala> val sc = new SparkContext("local", "shell") 
scala> import org.apache.spark.rdd._

我想作一个RDD[Myclass]在控制台中。那可能吗？

scala> case class MyClass(foobar: String, something: String)

我想这样做的原因是为了与周围RDD发挥和创造，我可以测试样本数据。而不是读取文本文件或从HDFS或S3中读取大量数据。

2016-09-29 Anthony

这是火花外壳，而不是“sbt控制台” –

是否尝试过“并行化” 'sc.parallelize（List（MyClass（“a”，“b”），MyClass（“c”，“d”）））'？ –

@ cricket_007我有一个build.sbt项目。在这个项目中，我执行'sbt console'并进入这个shell – Anthony

您可以使用sc.parallelize并为该对象指定一个List。

2016-09-29 12:24:29

回答