阿帕奇星火从字符串

Question

创建顶点给定一个字符串

val s = "My-Spark-App" 

如何顶点与星火以下方式产生的呢？

“我 - ”， “伊苏”， “SP”， “温泉”， “平价”， “方舟”， “RK-”， “千”， “-Ap”， “应用”

这个问题可以并行吗？

Answer 1

这仅仅是一个简单的滑动在一个字符串的事：

val n: Int = 3 

val vertices: Seq[(VertexId, String)] = s.sliding(n) 
    .zipWithIndex 
    .map{case (s, i) => (i.toLong, s)} 
    .toSeq 

sc.parallelize(vertices) 

可以在问题被并行化？

是的，但是如果它是单个字符串，它很可能没有意义。如果你想要：

import org.apache.spark.rdd.RDD 

val vertices: RDD[(VertexId, String)] = sc.parallelize(s) 
    .sliding(n) 
    .zipWithIndex 
    .map{case (cs, i) => (i, cs.mkString)}