HttpBrowserCapabilities.Crawler属性.NET

Question

HttpBrowserCapabilities.Crawler属性（http://msdn.microsoft.com/en-us/library/aa332775(VS.71).aspx）如何工作？我需要检测合作伙伴的自定义爬虫，并且此属性返回false。

Where /如何添加他的用户代理，以便该属性返回true？除了创建我自己的用户代理检测机制之外的任何其他方式？

Answer 1

这一切都是由.NET框架的默认browsercaps声明驱动的。

要设置该特定的爬取器，您需要将一个自定义的browserCaps部分添加到您的web.config以将其识别为爬网程序。

如何去这个MSDN文档是相当有据可查，here is a link.

Answer 2

的HttpBrowserCapabilities是从一组* .browser文件填充在C：\ WINDOWS \ Microsoft.NET \框架\ V2.0.50727 \ CONFIG \浏览器。您可以在〜/ App_Browsers /中添加您自己的文件以及您的自定义爬虫的详细信息。该模式是here。基本上它包含一个正则表达式来匹配User-Agent头和一组属性值。