没有扩展

Question

不允许文件我目前做这与htaccess的

RewriteRule ^view$ view.php [L] 

我链接到/view没有扩展名，它工作正常。 但是，如何从索引/view禁用机器人？在robots.txt我把

Disallow: /view.php 
Disallow: /view 

当我进入网站管理员工具，我抓取谷歌。我可以获取mydomain.com/view，但这不会发生，但是当我尝试获取mydomain.com/view.php时，它说被robots.txt阻止，这很好。

如何禁止从机器人访问/view？

Answer 1

线

Disallow: /view 

应该阻止像URL：

• example.com/view
• example.com/view/
• example.com/view/foobar
• example.com/view.php
• example.com/viewer

如您所见，根本不需要Disallow: /view.php。

所以似乎有一个不同的问题。这是最近的变化吗？也许Google会缓存一个较旧的robots.txt版本。我不知道这个抓取工具，但也许这个问题与重定向有关？我猜想Google抓取工具应该重定向到/view.php。