刮下页XHR请求

Question

我想刮这个用户的第二页reviews。

但是，下一个按钮执行XHR请求，虽然我可以使用Chrome开发人员工具查看它，但我无法复制它。

Answer 1

这不是那么容易的任务。首先你应该安装这个 extension。 它可以帮助您根据捕获的数据测试自己的请求，即捕获和模拟捕获数据的请求。

正如我所看到的，他们在这个XHR请求中发送了一个令牌，所以您需要从html页面主体中获取它（存储在源代码中，js变量“taSecureToken”）。

接下来你需要做的四个步骤：用插件

更改令牌

1. 赶上POST请求保存之前
2. 在POST请求数据集limit和offset变量
3. 生成与导致请求body

注意：在这个请求服务器返回json数据（而不是下一页的html），其中包含关于下一页加载对象的信息。