2011-10-25 34 views
2

识别Googlebot抓取工具最可靠,最快捷的方式是什么? rDNS可能被欺骗,因此googlebot ip列表看起来是最可靠的方式。是否有任何网站/资源,可以获得实际的Googlebot ips?欢迎任何其他想法。识别googlebot的最佳方式

+2

为什么你需要确定呢?您应该像对待任何其他客户端一样对待GoogleBot。 – Quentin

+2

对于黑帽子seo,还有什么...; D。 –

回答

2

如果你真的想要IP硬编码(我不会推荐它,因为它可以随时更改,恕不另行通知),有一个列表here。我会推荐的(也是,建议on Goggle Webmaster's blog)是你做一个反向DNS,然后一个正向DNS来验证这一点。这应该始终有效,并且不能被欺骗。

0

谷歌机器人使用下列范围内 -

  • 203.208.60.0/24,
  • 66.249.64.0/20,
  • 2001:4860:4801:2:6b00:6006:1300: b075,
  • 2001:4860:4801:5:1000:6006:1300:b075,
  • 2001:4860:4801:6:E300:6006:1300:b075,
  • 2001:4860:4801:2001 :: 6006:1300:B0 75,
  • 2001:4860:4801:2002 :: 6006:1300:b075

更多的信息在这里 -

http://myip.ms/info/bots/Google_Bing_Yahoo_Facebook_etc_Bot_IP_Addresses.html