如何有效地运行python web爬虫

我有一个python web爬虫获取信息并将其放入SQL中。现在我也有php页面，它从SQL中读取这些信息并表示它。问题是：为了让爬虫程序正常工作，我的电脑必须保持24/7的工作状态。我有简单的家用电脑 - 所以它是一个问题。是否有不同的方式来运行网络爬虫？或者我必须在我的电脑上运行它？如何有效地运行python web爬虫

来源

2015-12-08 jaldk

如果您正在监控不断更新的页面，那么您需要在的一些计算机上运行它。您可以使用cron作业或连续循环（有一些监控）。如果您不想在您的家用机器上运行它，我会建议您获得一个免费的AWS账户。你可以得到一个EC2微型实例，它将允许你运行你的python脚本和一个S3数据库实例，它将允许你存储信息。

这是一个link to AWS

来源

2015-12-09 07:24:41 dstudeba

如何有效地运行python web爬虫

回答

相关问题