如何将第一个网站添加到网络爬虫中的图形中？

我正在尝试编写一个网络爬虫程序，但无法理解关于字典的一个非常简单的概念。我想制作一个网站链接的图表（词典）。这里是我的代码：如何将第一个网站添加到网络爬虫中的图形中？

def crawl(site, graph, dist): 
    links = analyze(site) 
    graph.add(site)    ##graph[site].add(site)? but site isn't yet a key.. 
    for link in links: 
     parsedurl = urlparse(link) 
     desc = parsedurl.netloc 
     if parsedurl.scheme != 'http' or parsedurl.scheme != 'https': 
      continue 
     else: 
      if link in site: 
       continue 
      else: 
       graph[site].add(link) 
    return graph

我无法弄清楚如何将网站添加到图表，因为我需要有图形（否则我得到错误信息的关键“字典对象没有属性'add'“），但图表是空的，所以网站还不是关键。

任何想法将不胜感激。谢谢！

来源

2014-03-03 user3345626

只是删除'graph.add（网站）'。为什么你需要它？ – Stormvirux

，因为我需要将网站添加到字典中......并且如果我在代码 – user3345626

之前不以某种方式使网站成为密钥，那么图表[网站]不会在下面工作，一旦我得到这个工作， m希望它递归调用自己的网站上的每个链接，所以我不认为这将解决我的问题 – user3345626

使双方的密钥的网站以及数据 graph[site]=site

来源

2014-03-03 03:43:33 Stormvirux

如何将第一个网站添加到网络爬虫中的图形中？

回答

相关问题