浏览器模拟技巧

Question

我试图模拟一个网页浏览器，以便登录到一个安全的网站，其中该网站的后端似乎是在一些PHP和ASP.NET的混合编写，并检索一些用户的详细信息。

为了适合我自己的项目，模拟结果（即用户详细信息）必须返回到PHP脚本进行处理。

到目前为止，我一直在使用PHP中的CURL来做到这一点，并意识到该网站太复杂以至于无法有效地使用CURL，而且这种方法发展太慢。我想是某种浏览器模拟器能：

• 执行JavaScript
• 提交表单
• 点击链接
• 处理Cookie
• 使用ASP.NET回发
• 可以访问DOM

基本上，它的行为完全像一个真正的br owser，并且可以返回页面源码给我。

我已经探索了PHP中的Snoopy类和Ruby中的Capybara。如果我没有得到更好的选择，我将被迫执行其中的一个。

Answer 1

你有两个选择：

1. 使用模拟浏览器。这基本上是没有任何图形输出的浏览器，可以通过它来控制。码。您可以查看Selenium和PhantomJS，可能存在您选择的语言的绑定。

2. 扭转他们的网站。执行登录流程和操作以获取所需的资源，并查看网络流量，例如使用Chrome的开发人员工具。查看有问题的端点所需的请求，标题和表单数据，并在代码中对其进行模拟。