从网站获取数据

Question

我的公司使用在线CRM软件。我需要通过CRM获取所有客户的邮件地址。通常我登录CRM并点击几次，然后在客户名字段中输入“*”，最后点击“搜索”按钮。这给我带来了所有的客户和他们的邮件地址。我如何自动化所有步骤并获取邮件地址？我认为Javascript和DOM可以工作。但是列出所有客户，在网站的源代码中，我没有看到邮件数据。任何其他想法？

在此先感谢。

Answer 1

如果你想自动执行此任务（即数据抓取），我建议使用PhantomJS以及CasperJS。两者都是用于测试WebUI的工具 - 但是谁说，这是唯一的用例。这将是蛮力的方式来做到这一点。通过Casper，您可以导航到网站并从HTML获取数据。

根据您的CRM，更好的方法是使用某种Webservice或REST-API来获取您感兴趣的数据。检查CRM的文档/ WIKI。也许有一种比手动提取信息更简单的方法（例如指定URL上的$.getJSON()应该为您提供mailadresses）。