Magento robots.txt 404s

2014-03-24 55 views 0 likes

我有一个Magento多站点安装。我想禁止我的一家店，但不是其他店。我试图利用Magento配置中的“默认机器人”选项，因此我将所有商店的默认机器人都设置为“索引，关注”，除了我想禁止的商店之外，我将其更改为“Noindex，Nofollow” 。但是，当我去我的URL/robots.txt，我得到一个404错误。Magento robots.txt 404s

任何想法为什么这可能404？

有人能指出我的方向，我可能会做一个robots.txt，只允许一个网站？

来源

2014-03-24 Jimmy Pelton

回答

此设置只会将meta robots标记添加到您的网页，例如，

<meta name="robots" content="INDEX,FOLLOW" />

参见：http://www.robotstxt.org/meta.html

Magento的应用程序不与接口的robots.txt

来源

2014-03-25 00:40:09

你认为这是保持机器人离你的网站满意吗？还是有一个robots.txt文件更好？ –

另外，有没有办法禁止robots.txt中只有一个商店？ –

@JimmyPelton如果它们共享相同的文档根目录，则不行。 –

Magento robots.txt 404s

回答

相关问题