2012-02-06 31 views
0

我已经回到这个项目(网页抓取动态内容),我跟着本教程,但我无法完成它。通过Scrapy下载动态webcontent(python 2.7)

我使用Python 2.7与scrapy框架0.14

随着我的项目,获得的数据显然是最重要的一点,我来了解技术来刮即拉下使用Ajax动态数据的网站,但是在这个例子中,我无法真正下载图像。

刮刀与命令运行(输入cmd.exe在Windows 7):

scrapy runspider nasa.py

,但它实际上并没有下载任何东西(只解析数据)

我错过了什么吗?这是我第一次进入非初学者领域的真正的编程项目,我当然迷了路。

这是教程:

Scraping ajax with Scrapy

上正确的代码的任何意见,允许脚本将图像下载到本地存储?

谢谢:)

回答

1
在setting.py

在您的项目添加

IMAGES_STORE = 'you dir path where you want to download images' 
ITEM_PIPELINES = ['scrapy.contrib.pipeline.images.ImagesPipeline'] #enable image pipline 

限定image_urls

添加图片网址,您在image_urls#应该是视为您的程序

012中的列表

suggested study

+0

干杯,这是一个很好的正确方向。 :) – Joseph 2012-02-07 01:13:00