刮成千上万的网页

Question

我正在研究一个项目，该项目需要cron在一次运行中删除数千个网页。 我发现了Google上的很多链接，但找不到任何合适的解决方案。我已经使用file_get_contents，cURL等，但脚本总是在执行过程中失败。我在共享服务器上托管了我的网站。

而且我也想每天抓取网页的数据。如果有人能够为我的问题找到正确的解决方案，那将会非常有帮助。

Answer 1

根据您选择的语言。你可以使用

1. 硒
2. file_get_content或同等功能的lanugaue

Answer 2

你应该上的cron分裂您的要求。 它不会使用wget或curl。由于时间或内存限制，您的脚本将失败。 例如，您可以分割你的cron作业：

wget http://yoursite.com/yourCrawler.php?group=0 
wget http://yoursite.com/yourCrawler.php?group=1 
wget http://yoursite.com/yourCrawler.php?group=2 

等，并且还你应该让你的履带式变革，以支持分裂。