Spark graphX：如何加载大数据以创建图形

Question

我看到很多使用数组创建顶点的示例，然后并行化它以使其成为RDD，但是如果我有大量数据，那么我将如何处理它？我不认为我可以创建一个包含100万行顶点的数组。

还有一个帖子，Spark GraphX - How can I read from a JSON file in Spark and create a graph from the data?，也建议使用数组，如果我错了，纠正我，但我不认为它会工作。

在此先感谢。

Answer 1

如果你在一个文件中的数据，那么你可以直接在它上面RDD：

val rdd : RDD[String] = sparkContext.textFile("/path/to/file") 

，然后你把它转换为VertexRDD或EdgeRDD。