在网站上运行搜索并返回结果的脚本

Question

我对自动执行以下过程进行系统文献综述感兴趣。

我有一大堆致病因子，我想对医学文献进行批量搜索，并返回从每种类型的错误中得到的结果，然后将这些结果放在一个很好的CSV文件中，以便我可以阅读他们到R和紧缩一些统计/频率分布等

我可以做到这一切与Excel表和CTRL C + CTRL V，但它需要一些时间。

基本上我需要一些方法来与OvidSP交谈，这些方法托管我想要搜索的数据库，然后输入一个格式正确的字符串，以便进行我想要执行的确切搜索。然后让OvidSP为我搜索，并返回它获得的点击数。如果他们有可用的API，我想这很容易 - 我直接通过电子邮件向他们发送了这个消息。

我想知道是否有人认为这是所有可能的或者什么是最好的方式来编写脚本来完成这项任务。我有一些Java，C++和开始学习R的经验 - 我还想知道Python是否可以使用？

这是我希望达到

的错误，我想搜索的内容快速插图（通过CSV文件输入到程序让说）
*沙门氏菌
*大肠杆菌
*流感

此处插入看中程序，它连接到奥维我的凭据，运行以下搜索

1 - 沙门氏菌及发热医院 - 返回9342个结果
2 - 大肠杆菌及发热医院 - 返回93821个结果
3 - 流感及发热医院 - 返回323个结果

程序，我可以使用一些统计一个很好的格式化的CSV文件中写入该数据

我希望有道理！提前致谢。

Answer 1

原则上可行的是，大问题将解析返回数据（可能很难，可能很容易）和身份验证（可能不难，但取决于其网站的结构）。

您要查看的python模块是urllib2（对于请求），csv（对于csv）和beautifulSoup。

在Python中编写这个东西的好处是你可以交互地浏览返回的html（在python shell中），所以有一个简单的时间来搞清楚如何从html中提取少量有趣的数据，我会回来的。