搜索引擎抓取问题

Question

我的网站的主要页面/home.php 本页面有锚标签分页链接到同一页的许多其他查询， 例如

• /home.php ？开始= 4
• /home.php?start=8

等等...

我的问题是，当我包括在SI的home.php页面temap会抓取爬行者以往任何页面的home.php链接（例如。 /home.php?star=4）？或者我必须在网站地图上包含每个页面？

Answer 1

抓取工具通常会遵循他们在您的站点地图中找到的页面上的所有常规链接，但他们可能会以频率& c这样做，这可能不适合您的目的 - 完整的站点地图可为您提供更多控制权（例如避免浪费带宽没有变化的页面频繁重新抓取，等等），所以这是更明智的。毕竟，自动生成站点地图不应该很难。