2011-10-01 30 views
3

我准备开放图发布。
开放图的特征之一是抓取网站的元数据,并为时间线提取相关信息。
我的sitemap.xml运行到演出,并受流行的爬虫,如Googlebot & Slurp速率限制和IP白名单保护。
有人可以通过我的机器人名称和IPS将爬行Facebook?这不仅适用于sitemap.xml,也适用于一般费率限制(全站)白名单。打开图:Facebook爬虫名称和IP的白名单

回答

5

当前用户代理是:facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)

出版的Facebook其IP范围here