如何抓取整个网站，如果数据在滚动后用Javascript追加

Question

我需要抓取一个网站，但问题是，底部没有链接分页。如果您滚动到底部，数据会附加。现在我怎样才能让我的履带工具发生这种情况？有什么想法吗？

Answer 1

尝试检查在向下滚动时执行以追加数据的脚本。它必须以某种方式检索附加数据 - 只要看看它在做什么，并让你的爬虫做同样的事情。

Answer 2

使用像Selenium这样的机器人可以工作，您可以在真实的导航器中模拟真实的用户。我曾经在facebook上做过的一件事是在C++/Qt中使用JavaScript解释器，然后通过它发送请求。比Selenium快得多。

我相信Google比你拥有更多的处理能力，网站管理员可以尽其所能解决问题。