如何从js动态网页中抓取Python或Php中的内容？

Question

我是新的Php和报废，所以... 有一个问题在那里：How to scrape contents from dynamic webpage in PHP? 我试过这样的方式，杰夫Gortmaker建议，但我有一个问题。我想分析的那些网页包含js生成的文本的大部分，我无法得到它。例如，here。 谢谢。

Answer 1

您将无法仅使用PHP来完成此操作，因为在HTTP GET请求完成后，会在DOM中生成JavaScript动态网页。 This answer更详细地介绍了Web环境中的执行顺序。

考虑使用像PhantomJS这样的无头浏览器。

你将不得不用JS库来刮取内容。请参阅Web Scraping with Node.js以开始使用教程。然而，在Node.js之上还有一些库专门用于通过特定的CSS选择器来抓取动态网页。以下是Node.JS scraping libraries的列表。