使用Selenium检索反向链接，HTTP代码和IP地址

Question

我正在使用Selenium'废弃'寻找反向链接到我的网站的页面。我一直在使用普通卷曲来刮擦，但是，对于JavaScript来说，卷曲不会很好（事实上他们根本不会玩）。

我的问题是，我需要HTTP头响应（200,301,404,503等）代码从我刮的网页。理想情况下，我喜欢获取我所刮取域名的IP地址。

我在下面的链接使用PHP的PHP PHP webdriver的PHP，我无法找到我如何检索任何头信息。

https://github.com/facebook/php-webdriver

我的问题是，有没有办法让硒返回头信息和或IP地址？

如果你不知道这个问题的答案，那么你知道更好的方法来刮和/或获得HTTP头？

在此先感谢。

Answer 1

Selenium不执行HTTP状态码或标题。我从来没有使用它，但通常建议的工具是由Selenium提交者之一创建的BrowserMob proxy。它捕获请求和响应，包括标题，状态代码和时间信息。