Python网络爬行和存储到MySQL

我需要用Python编写的好网络爬虫将完整页面存储到mysql数据库。我正在试验的小型系统现在使用PHP Sphider来抓取并存储到数据库中。我需要的东西几乎与sphider完全一样，但是用Python编写。所以只需将数据库存储到其他脚本中，从其他脚本获取内容并完成我需要的其余工作。 Sphider很慢，并且想要替换它。Python网络爬行和存储到MySQL

所以，我看scrapy和一些其他项目，但任何东西都没有在我的需求脚，这是我开始编码自己之前的最后一次尝试，所以如果有人知道什么可以解决我这个问题，请告诉我。

来源

2010-10-25 Sam

是有一个原因不能使用scrapy，然后重写save函数将数据存入mysql数据库。您甚至可以使用SQLAlchemy等ORM来更轻松地保存和检索信息。也许如果你告诉我们为什么scrapy不足，那么我们可以有更多的帮助。 – JudoWill 2010-10-26 14:50:01

http://scrapy.org/应该做你正在寻找的东西 – ScraperWiki 2010-10-26 10:08:38

乞丐！

这个答案是为初学者量身定制的，它不是最优的还是最聪明的。我们强烈推荐scrapy。尝试教程。而记得使用Firefox + Firebug扩展，为您导航和学习的内路径，的XPath和为HTML解析器后您的数据位置。

检查类似的答案“Going from Ruby to Python crawlers”和“Python read my outlook email mailbox and parse messages”

节省您的时间，并使用Firefox的萤火虫扩展（使inspect）

来源

2012-10-15 08:22:28

Python网络爬行和存储到MySQL

回答

相关问题