2013-03-27 21 views
0

我目前正在构建一个网络爬虫,并且希望根据请求添加延迟,因此我不打网络服务器。在C中添加延迟的最佳方式

什么是最适合添加此延迟的方法?

此外,爬行器的延迟适量是多少?我在想.5-1秒。

感谢

+0

@CongLe怎么和这个问题有关?规则不是绝对的,有些问题不需要任何代码。 – 2013-03-27 16:38:43

回答

7

您可以使用

Thread.Sleep(TimeSpan.FromSeconds(1)) 

搜索引擎可以使用较大的10-15甚至60秒延迟。礼貌的抓取者会尊重该网站在robots.txt中提供的“抓取延迟”。详情请看http://en.wikipedia.org/wiki/Web_crawler#Politeness_policy

+0

简短而甜美。我喜欢它:) – feralin 2013-03-27 16:37:09

+1

'Thread.Sleep(TimeSpan.FromSeconds(1));'会是奇妙的 – 2013-03-27 16:38:12