如何使用spark在HDFS上生成随机矩阵文件

Question

我正在研究如何使用spark。

在斯卡拉我哈瓦这样的一段代码：

object GeneMatrixFile { 

    def main (args: Array[String]) { 

    val out = new FileWriter("matrix.txt") 
    val order = 20000 
    for(i<- 1 to order){ 
    for(j <- 1 to order){  
    out.write((scala.util.Random.nextDouble()*100).formatted("%3.1f")+"\t") 
    } 
    out.write("\n") 
    } 

    println("over") 
    out.close() 
    } 
} 

现在我想产生的火花HDFS这样的文件，我不知道怎么写代码，任何人帮助我？

Answer 1

您可能最好从apache spark guide开始。

星火确实有一个内置的功能，可用于创建随机RDDS：

val matrix: RDD[Vector] = RandomRDDs.uniformVectorRDD(sc, 10, 10)