Twitter上的用户代理共享

Question

当有人在某个页面上发布消息时，twitter会抓取该页面以查看Twitter卡片等数据，是否有人知道用户代理Twitter使用的是什么？

Answer 1

Twitter使用的Twitterbot用户代理（与版本，如Twitterbot/1.0）爬行网页时发现Twitter信息卡标记。如果您需要创建例外情况，则Twitter的抓取工具在扫描URL时会尊重robots.txt。

阅读更多关于Twitter Cards URL Crawling & Caching。