在Scrapy链接收获

Question

我对Scrapy感到惊讶和沮丧。看起来引擎盖下的功率太大了，使它成为一个非常陡峭的学习曲线。显然，Scrapy可以完成我自己编程所需的所有工作，但问题在于如何让它做我想做的事情。

现在，我正在写一个简单的链接收割机。我想导出两个文件：一个带有内部链接和链接文本，另一个带有外部链接和链接文本。

我一直在试图给我们-o file.csv命令，但它将每个页面url作为一个列表存储到一个单元中，并且它包含重复项。

另一种方法是在'parse'中编写我自己的代码并手动创建一个链接列表，然后在添加它们之前查看它们是否存在于列表中，然后手动解析url以查看如果域名在内部或外部。

看来Scrapy应该用一些命令来做到这一点。有没有一个内置的方法呢？

下面是我正在使用的代码。我评论了标题部分BC我想我需要为这些制作另一个项目对象。现在我已经放弃了这部分。

def parse_items(self, response): 
    item = WebconnectItem() 
    sel = Selector(response) 
    items = [] 
# item["title"] = sel.xpath('//title/text()').extract() 
# item["current_url"] = response.url 
    item["link_url"] = sel.xpath('//a/@href').extract() 
    item["link_text"] = sel.xpath('//a/text()').extract() 
    items.append(item) 
    return items 

Answer 1

使用实施请求& BS4
注意到这不是最佳的解决方案，但它显示了如何则可以使用请求和BS4来完成。
goto为我设置。

import requests 
from bs4 import BeautifulSoup 
URL = "http://www.cnn.com/" 

# get request 
r = requests.get(URL) 
# turn into bs instance 
soup = BeautifulSoup(r.text) 
# get all links 
links = soup.findAll('a') 

internal_unique = [] 
external_unique = [] 
internal_links = [] 
external_links = [] 

for link in links: 
    if 'ccn.com' in link['href'] or link['href'].startswith('/'): 
     if link['href'] not in internal_unique: 
      internal_links.append({'link':link['href'],'text':link.get_text()}) 
      internal_unique.append(link['href']) 
    else: 
     if link['href'] not in external_unique: 
      external_links.append({'link':link['href'],'text':link.get_text()}) 
      external_unique.append(link['href']) 
print internal_links 
print external_links 

Answer 2

Scrapy有extensive documentation和the tutorial是一个很好的介绍。

它建立在Twisted之上，所以你必须考虑异步请求和响应，这与你通常用python-requests和BS4做的很不一样。 python-requests在发出HTTP请求时会阻塞你的线程。 Scrapy没有，它可以让你处理响应，而其他请求可能会通过线路。

您可以在scrapy回调中使用BS4（例如在您的parse_items方法中）。

您说得对，Scrapy会在其输出中输出每行1项。它不会对URL进行任何重复数据删除，因为项目只是Scrapy的项目。他们碰巧包含你的案例中的URL。 Scrapy不基于它们包含的内容对项目进行重复数据删除。你不得不指示它这样做（与item pipeline例如）

至于表示为您link_url和link_text领域列表中的URL，这是因为sel.xpath('//a/@href').extract()returns lists

Scrapy 1.0（即将发布）增加了一个.extract_first()方法，这将有助于你的情况。

Answer 3

所以，你对scrapy的想法在很大程度上是准确的。非常强大，陡峭的学习曲线，但是如果你可以超越那部分的话，它会有很多的承诺。甚至有一些像ScrapingHub这样的顶级增值服务可以处理旋转的IP地址，保持作业运行等。

区别在于scrapy使用物品管线而不是传统模型。他们有很好的代码来解决你所遇到的问题。任何结果处理应该在这些项目管道中发生，而不是在刮板本身中。该文档是here，这是为了去除重复和写入JSON的例子管道：

class DuplicatesPipeline(object): 

    def __init__(self): 
     self.ids_seen = set() 

    def process_item(self, item, spider): 
     if item['id'] in self.ids_seen: 
      raise DropItem("Duplicate item found: %s" % item) 
     else: 
      self.ids_seen.add(item['id']) 
      return item 

class JsonWriterPipeline(object): 

    def __init__(self): 
     self.file = open('items.jl', 'wb') 

    def process_item(self, item, spider): 
     line = json.dumps(dict(item)) + "\n" 
     self.file.write(line) 
     return item