SEO - 如何避免搜索引擎爬虫无法读取整个网址

我有我的URL约7查询字符串参数：SEO - 如何避免搜索引擎爬虫无法读取整个网址

http://www.examplesitname.com/EN/en/tshirt-jeans.aspx?productid=324175730&documentid=295110&producttitle=Pyjama+Tshirt&categoryid=55479572&source=TreeStructureNavigation&numberpage=1&pos=TG_n_n

如果我打破它下面是查询字符串参数：
的productid
documentid
producttitle
类别ID
源
numberpage
POS

出的这些我只需要显示的productId和documentId到搜索引擎，什么是实现这一目标的最佳方法？

我可以容纳一个名为“extendedattributes”的查询字符串参数，该参数将包含一个逗号分隔的剩余参数列表，我可以将它们分开回去并相应地创建响应，但这是实现此目的的好方法吗？还有其他更好的方法吗？

感谢

来源

2010-09-07 Murtaza Mandvi

你为什么要隐藏你的URL的部分？ – 2010-09-07 16:35:11

由于这些额外的参数根本无助于SEO排名。 – 2010-09-07 16:43:14

我想到的第一件事：＃剩下的参数如下。然后使用JavaScript/Ajax检索其余参数并相应地加载内容。但是，此方法可能需要设计更改为anything after # does not reach to the web server。

http://www.examplesitname.com/EN/en/tshirt-jeans.aspx?productid=324175730&documentid=295110#producttitle=Pyjama+Tshirt&categoryid=55479572&source=TreeStructureNavigation&numberpage=1&pos=TG_n_n

来源

2010-09-07 16:02:52 ankitjaininfo

听起来像一个很好的方法，但我只是倾向于思考这种方法的响应时间？ – 2010-09-07 16:20:58

差不多。因为该页面将只加载一次。随后的请求仅用于数据。 – ankitjaininfo 2010-09-08 14:47:32

使用robots.txt或其他技术来去除所有的替代品，并加入到一个网站地图，只需要你的URL。搜索引擎只会索引你想要的。

来源

2010-09-07 16:00:18 cripox

我们有超过一百万个动态网址，不确定这是否可行？ – 2010-09-07 16:22:10

我不是专家，但也许有一种方法可以使用通配符值或正则表达式，因此您可以在想要的之后定义任何url。我确信这可以是自动的，但我不确定它是否是最好的方法。我只是给了我的想法，寻找更多。 – cripox 2010-09-07 16:48:52

谷歌网站管理员工具将让你designate URL-string parameters to ignore or not ignore当他们索引你的网站。（查看“网站配置”，然后选择“设置”。）当然，对于其他抓取工具无助，所以这只是部分解决方案。

来源

2010-09-07 16:06:52 pjmorse

SEO - 如何避免搜索引擎爬虫无法读取整个网址

回答

相关问题