超快速刮屏技巧？

我经常发现自己需要为了内部目的而做一些简单的屏幕抓取（即，我仅使用通过HTML发布报告的第三方服务）。现在我至少有两三个例子。我可以使用Apache httpclient并创建所有必要的屏幕抓取代码，但需要一段时间。这是我平常的过程：超快速刮屏技巧？

在网站上打开Charles Proxy，看看发生了什么。
开始使用Apache HttpClient编写一些java代码，处理cookie，多个请求
使用Jericho HTML来处理HTML的解析。

我希望我能够快速记录我的会话，然后参数化每个会话之间不同的事情。设想一下，使用Charles抓取所有请求HTTP，然后参数化相关查询字符串或后参数。 Voila我有一个可重用的http脚本。

有什么可以做到这一点吗？我记得当我曾经在一家大公司工作时，曾经是我们使用的一个工具，我们称之为Mercury Interactive的Load Runner，它基本上有一个很好的方法来记录http会话并使其可重用（用于测试目的）。不幸的是，这个工具非常昂贵。

来源

2009-02-26 Ish

感谢您对所有的答案。我认为他们都很有价值，并会帮助其他面临同样困境的人。我决定尝试Twill，因为它看起来像一种非常简单的语言，因为它在Python中是跨平台的。建议的许多工具看起来都不错 - 虽然有些看起来像Windows特有的，其他人似乎有更陡峭的学习曲线。 – Ish 2009-04-22 23:07:53

我也想看看硒和/或BeautifulSoup如果您'愿意使用Python。还有一个不错的测试工具Twill用于自动网站测试，可以做你想做的事情。它也是用Python编写的，它有一个Python API，但是也可以使用简化的命令语言。这里是一个来自Twill文档的例子::

setlocal username <your username> 
setlocal password <your password> 

go http://www.slashdot.org/ 
formvalue 1 unickname $username 
formvalue 1 upasswd $password 
submit 

code 200  # make sure form submission is correct!

来源

2009-04-18 21:49:30

感谢您向我介绍Twill。我认为它解决了我需要的一点。尽管没有录音功能，但我认为其脚本语言的简单性将使我能够构建非常快速的屏幕抓取代码。所以我选择它作为赏金的答案。 – Ish 2009-04-22 23:05:37

我也选择了你的答案，因为它的快速代码示例告诉我它是多么容易使用。 – Ish 2009-04-22 23:06:20

你没有提到你想用什么;一种解决方案是，如果使用Web浏览器重复您的操作是一个可以接受的解决方案，则使用Selenium等工具简单地“编写”您的Web浏览器。您可以使用Selenium IDE来记录您的操作，然后更改参数。

来源

2009-02-26 11:37:13

HtmlUnit是用Java编写的脚本化的无头浏览器。我们使用它来处理一些极端错误，复杂的网页，并且通常做得非常好。

为了简化事情，您可以使用Jython运行它。由此产生的程序更像是一个人如何使用浏览器而不是努力工作的抄本。

来源

2009-02-26 11:40:47 toothygoose

我希望我能够快速记录我的会话，然后参数化每个会话之间不同的事情。

如果您有Visual Studio测试版，它的网络测试功能确实如此。如果你不使用VS或者想要一个独立的工具，我可以用OpenSpan获得很大的成功。它不仅仅是web，它还包含windows应用程序和java！

来源

2009-02-26 11:46:06

Selenium将是我的第一个选择，因为IDE可以通过为您录制会话轻松地完成许多事情。但是，如果您对它提供的内容不满意，也可以使用名为Beautiful Soup的Python模块以编程方式浏览网站。

来源

2009-04-16 20:25:04 ojrac

Coscripter

http://coscripter.research.ibm.com/coscripter

简化基于Web的过程。

CoScripter是记录，自动化系统和共享进程在Web浏览 R，进行诸如打印照片在线，请求假期搁置邮寄，或检查航班到达时间。过程说明记录和存储在CoScripter网站的易于阅读的文本，因此任何人都可以使用它们。如果您的在基于网络的过程中遇到问题，请检查是否有人为此编写了CoScript！！

Wget的

要迅速拉下内容，使用wget：

wget -r -n -k -w 2 foo.com

然后在本地解析HTML。

斜纹

除了硒，您可能还检查出斜纹布，在命令行中的伴侣：

http://twill.idyll.org/

来源

2009-04-18 07:11:35 ramanujan

我用DomInspector手动检查感兴趣的站点来参数化它的结构。然后简单的Apache HttpClient和使用这个参数化结构的手工解析器。基本上，我可以通过一些参数的调整来自动从任何站点提取任何信息。它与SAX解析器的工作方式类似，您需要告诉它的是您想要开始抓取数据的标签序列。例如，谷歌有相当标准的搜索结果格式。所以，你只是运行到第三次出现的'标签'，并开始从第一个'div'的文本直到结束'/ div'

来源

2009-04-18 22:03:10 Dima

iMacro脚本化，但仅适用于Firefox我认为它的性能并不好，但可以处理大多数复杂的情况，并且可以轻松地记录内容。

来源

2009-04-20 14:34:05

我已经使用iMacro。它可以很好地将页面放下，它会记住用户名，密码等等，就好像你正在手动完成一样。但是，它需要Firefox。所以如果你想在没有窗口管理器的无头（Gnome，KDE）服务器上运行你的scraper，那么你运气不好。 – un33k 2009-07-10 19:53:46

Internet Explorer支持浏览器助手对象（BHO）。他们可以访问IE'HWND（窗口句柄），并且很容易从那里刮取像素。该IWebBrowser2 COM接口还可以访问到的HTTP请求，并且你可以通过IWebBrowser2::Document = IHTMLDocument/IHTMLDocument2 /IHTMLDocument3

来源

2009-04-20 15:02:04 MSalters

使用Firefox找回解析HTML文档，它应该是可以实现很多的它与它的插件，并增强了强有力的支持，但是这并不意味着运行“无头”，但真的是一个真正的脚本浏览器。另外，我似乎还记得，读过谷歌的Chrome浏览器使用类似的技术来进行自动回归测试。

来源

2009-04-20 18:43:53 none