搜索引擎如何抓取网站？

我正在创建一个多语言网站，并使用每种语言的资源管理器。搜索引擎如何抓取网站？

当用户选择一种语言时，所有页面都使用选定的资源bondles。

由于整个站点只能以一种语言提供，因此搜索引擎如何抓取其他语言？还是搜索引擎抓取可选提供的语言？

你知道，当你有一个静态的多语种网站，有单独的页面为每种语言，您不必与搜索引擎的任何问题。而每个页面都有唯一的网址。

但是在动态应用程序中，每个语言都没有单独的页面，而必须使用资源，您可以添加新的语言或删除现有的语言等。

因此，我们必须使用URL重写器/路由来为每种语言生成唯一的URL。查看下面的例子。

假设我们在以下url中有一个webform，并且我们的应用程序支持两种语言（例如英语en-US，英国英国en-GB）。

www.domain.com/home.aspx

有一些问题，我们对所有的语言永久网址。因此，无论如何，搜索引擎将会索引默认语言。解决方案很简单，您必须使用Url重写器/路由为每种语言生成单独的url，如下所示。

www.domain.com/{country}/{language}/home.aspx

之后，你必须从上面的URL推断指定区域性名称并设置当前文化和UICulture属性。因此，请求的页面将以所需的语言显示。

在这种情况下，站点地图应该以编程方式生成并使用与上面相同的方式。

www.domain.com/{country}/{language}/sitemap.xml

你必须从上面的网址推论指定的区域性和生成网站地图依赖文化。为了向搜索引擎介绍可用的站点地图，您必须使用robots.txt，它们也应该以编程方式生成。

2010-02-20 10:39:18

我只有一个页面，所有的语言都使用这个页面来显示内容，这些方法让我有一个页面和无限的语言环境，所以我希望搜索引擎抓取我的所有当地人不仅是其中的一个。 –

@Nasser，我更新了我的帖子。请检查出来。 –

@Mahdi，对于所有语言，我只有一个页面，网站地图对于所有语言都是一样的。我也没有任何子域或任何其他虚拟目录每个语言，我只是设置文化和UICulture代码和用户看到翻译的页面。并且只有我的搜索引擎索引的默认语言。 –

您可能正在使用cookies /会话记忆所选语言，对吗？它们都不影响搜索引擎。他们只是忽略cookie。但是，如果您依靠会话变量记忆所选语言，那么在每次创建新会话时都会在没有Cookie的情况下取消语言选择。

2010-02-20 08:41:39 ankitjaininfo

回答