在我的网站上模拟一个爬虫程序

Question

我需要调试由asp.net编写的我的web应用程序，以了解它是如何为呈现内容的爬网程序提供动作，如Googlebot。我发现的第一件事是一些在线/离线工具，但没有人可以通过Request.Browser.IsCrawler标志。

然后我试图模拟一个手工制作的请求添加Googlebot的的UserAgent，但仍然没有机会。

Answer 1

我用Telerik的菲德勒和铬同时设定用户代理到的Googlebot/2.1（+ http://www.googlebot.com/bot.html），包括_escaped_fragment_在URI中，并成功地看到的网页从爬虫的角度来看。