1. 首页
  2. 问答
  3. 如何使用robots.txt停止漫游器爬行分页？

如何使用robots.txt停止漫游器爬行分页？

2012-07-13 31 views
0

我在我的网站上有各种分页，我想停止谷歌和其他搜索引擎爬行我的分页索引。一个抓取的页面的如何使用robots.txt停止漫游器爬行分页？

例子：

http://www.mydomain.com/explore/recently-updated/index/12

我如何，使用robots.txt否认抓取包含/索引的网页机器人/？

来源

2012-07-13 masterharry

回答

1

我相信，如果你在你的根Web目录创建您的robots.txt文件有以下：

User-agent: * 
Disallow: /explore/recently-updated/index/

给一个尝试，然后用别人（可能是谷歌的）机器人检查，以确保它被停止。

来源

2012-07-13 19:52:57 Hermit

3 
Disallow: /*?page= 
Disallow: /*&page=

来源

2012-09-22 10:10:24 Pete

相关问题

 相关问题