googlebot抓取webservice

有没有办法让googlebot不抓取用于webservice的链接？当我尝试在url上访问我的webservice时，如果没有参数传递，它将返回500错误。或者当我尝试在不带参数的url中访问我的webservice时，还有一些方法可以防止发生http 500错误？googlebot抓取webservice

THanks。

来源

2012-12-20 Paulo Brian Samson

你可以看看here创建一个robots.txt。

来源

2012-12-20 16:10:51 bartlaarhoven

感谢您的快速回复。此外，我通过jquery ajax调用webservice，只是想知道如果我把web服务放在robots.txt中，它是否也会阻止googlebot抓取脚本上的链接？对不起，我对这件事很不满意。 –

使用robots.txt您可以决定应该抓取哪个网址。因此，如果你有一个页面index.php，它会对webservice.php执行ajax调用？param1 = 123＆param2 = 456，并且你放入robots.txt不应该抓取webservice.php，那么它将抓取index.php而不是webservice。 PHP。 – bartlaarhoven

很酷，再次感谢。 –

googlebot抓取webservice

回答

相关问题