我可以告诉网站爬虫访问某个页面吗？

Question

我有这个围绕文档数据库的drupal网站。通过设计，您只能通过搜索网站来查找这些文档。但我希望Googlebot和其他抓取工具将所有结果编入索引，所以我想，如果我制作一个列出所有文档的页面，然后告诉机器人访问该页面以索引我的所有文档，该怎么办？

这是可能的，还是有更好的方法来做到这一点？

Answer 1

也许Sitemap

谷歌推出谷歌网站地图因此Web开发人员可以从跨他们的网站上发布的链接列表。基本前提是有些网站有大量动态网页，只有通过使用表单和用户条目才能使用。然后，可以使用站点地图文件向网络爬虫指示如何找到这些页面。 Google，Bing，Yahoo和Ask现在共同支持Sitemaps协议。

Answer 2

Create a XML sitemap and submit it to Google。其他搜索引擎也支持这一点。

Answer 3

事实上，你可能会感兴趣的drupal sitemap builder plugin这个..

Answer 4

你应该做一个XML网站地图。还有被称为在Drupal它的模块XML sitemap（它由超过42.000的Drupal站点）：

从模块：

的XML网站地图模块，创建符合Sitemap站点地图.org规范。这有助于搜索引擎更智能地抓取网站并使其结果保持最新。该模块创建的站点地图可以自动提交给Ask，Google，Bing（以前称为Windows Live搜索）和Yahoo!搜索引擎。该模块还附带了几个子模块，可以为内容，菜单项，分类术语和用户配置文件添加站点地图链接。