抓取基于表单身份验证的https网站

Question

您好我能够抓取使用html敏捷包无法保护的http网站。但是一些被https保护的网站需要认证（可能是表单认证）才能看到它的内容，因此我无法抓取。我看到IBM的omnifind爬虫插件可以用于.net。请你们提示一下如何处理这个问题。

Answer 1

您显然需要凭据，所以您应该理清认证位的工作方式。

假设它是基于表单的，你不应该在这个环节的底部实现的东西用的CookieContainer（http://msdn.microsoft.com/en-us/library/dd920298(v=vs.95).aspx）

样品任何麻烦演示了如何在被从网站返回的饼干迭代。

这里是一个存在的问题，应该帮助引导您还有：WebRequest class to post data to login form

干杯。