搜索引擎优化和AJAX网站

Question

是否有可能通过向搜索引擎提供爬行列表来帮助搜索引擎？使用沉重的AJAX逻辑时，可能很难使网站搜索引擎友好。假设用户选择一个类别，然后选择一个子类别和一个产品。似乎没有必要给类别和子类别网址。但只给产品一个网址是有道理的。当我看到产品的网址时，我可以让应用程序导航到该产品。那么，是否可以使用robots.txt或其他方法将搜索引擎指向我指定的网址？

我接受其他建议，如果这种方式没有意义。

Answer 1

是的。您所描述的内容称为网站地图 - 它是您网站上的一系列网页，搜索引擎可用它来帮助他们抓取您的网站。

有几种格式化网站地图的方法，但最简单的方法是只列出网站上可用的文本文件中的所有网址（每行一个），然后像robots.txt那样引用它：

Sitemap: http://example.com/sitemap.txt 

下面是谷歌的话题文档：https://support.google.com/webmasters/answer/183668?hl=en