以登录用户身份运行cronjob

Question

我目前正在运行一个php cronjob来抓取一些HTML。我已经到了必须登录才能访问某些数据的场景。这怎么能实现？

cronjob运行在我无法访问的服务器上。

基本上，我们只是说，我试图访问一些仅在用户登录后才可用的HTML数据。我有登录详细信息，但不知道如何使用cronjob实现它。

干杯！

Answer 1

通过“用户登录”，我想你的意思是“用户如果他使用浏览器登录”？

如果是，那是经过HTML爬行你的PHP脚本将需要：

• POST数据一样，如果它是在形式
• 从服务器得到的答案填写;大概提取会话的cookie
• 发送这些Cookie后续请求

您可能会感兴趣使用一些已经存在的库，以方便这一点。
举例来说，你可以看看Zend_Http_Client（see also;约Sending Multiple Requests With the Same Client部分可能会感兴趣你;-)）

你可能也想看看一些其他问题/答案，如：

• How would I go about writing a simple PHP bot?
• How to receive HTTP cookies from a web server in PHP?

Answer 2

你可以使用SimpleTest的SimpleBrowser进行自动爬网。它是SimpleTest框架的一部分，但它可以单独使用。