2014-04-03 58 views
1

我必须做一个项目,我有一个动态图,每个节点执行我的算法来计算网页排名。 我的问题是:有一个框架允许我在每个节点同时运行一个算法(算法不是集中的)?分布式算法框架

回答

2

是的,Giraph可能是最常见的例子,它可以做你正在寻找的东西。然而,它是不平凡的成立,有从昨天起SO有关材料问题要问Giraph:从火花和GraphLab(http://graphlab.org/projects/index.htmlhttps://stackoverflow.com/questions/22817423/material-related-to-giraph/

另一个例子是GraphX(http://amplab.github.io/graphx/),但我没有任何与这些经验。但是,所有这些框架都可以为节点编写代码,并为图中的每个节点执行它。它们还允许您将算法分布到多个服务器上以获得大图,但如果图形足够小,则不需要。

+0

有没有关于在Python中使用这些工具的教程? Giraph是基于Java的,GraphX似乎是用Scala和Java编写的。 Spark现在应该是Python兼容的(pyspark),所以推测GraphX和Giraph也是如此。任何提示/链接? –

+0

@Gleen,对于Giraph我不知道也无法想象用其他语言实现代码的任何方式,但Java。我虽然没有使用其他人。 – peter