2013-04-29 17 views
0

我会写一个巨大的图形到neo4j。使用我的代码将花费略少于两个月的时间。py2neo:创建图形时最小化写入时间

我把数据从Kaggle's events recommendation challenge,该user_friends.csv文件我使用看起来像

user,friends 
3197468391,1346449342 3873244116 4226080662, ... 

我用py2neo batch设施产生的代码。这是我能做的最好的,还是有另一种显着缩短运行时间的方法?

这里的代码

#!/usr/bin/env python 

from __future__ import division 
from time import time 
import sqlite3 
from py2neo import neo4j 

graph = neo4j.GraphDatabaseService("http://localhost:7474/db/data/") 
batch = neo4j.WriteBatch(graph) 

people = graph.get_or_create_index(neo4j.Node,"people") 
friends = graph.get_or_create_index(neo4j.Relationship,"friends") 

con = sqlite3.connect("test.db") 
c = con.cursor() 
c.execute("SELECT user, friends FROM user_friends LIMIT 2;") 

t=time() 
for u_f in c: 
    u_node = graph.get_or_create_indexed_node("people",'name',u_f[0]) 

    for f in u_f[1].split(" "): 
     f_node = graph.get_or_create_indexed_node("people",'name', f) 

     if not f_node.is_related_to(u_node, neo4j.Direction.BOTH,"friends"): 
      batch.create((u_node,'friends',f_node)) 

    batch.submit() 
print time()-t 

我也无法找到一个方法来创建一个使用高级别py2neo设施无向图?我知道cypher可以做这个有点像create (node(1) -[:friends]-node(2))

在此先感谢。

回答

1

YOu应该创建连接,而不是Direction.BOTH。选择一个方向,然后在遍历时忽略使用Direction.BOTH - 它没有性能影响,但关系方向是确定性的。当你说a--b时,塞普尔确实如此。