Wordpress Robots.txt是/饲料的问题？

Question

我有一个关于搜索引擎优化，robots.txt的和WordPress

这里是我的robots.txt看起来这是什么问题的问题，如：

User-agent: * 
Disallow: /cgi-bin 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /feed 
Disallow: /*/feed 
Disallow: /wp-login.php 
Disallow: /tag 
Disallow: /trackback 
Disallow: /*?* 
Disallow: /archive/ 
Disallow: /rss/ 
Disallow: /about/trackback/ 
Disallow: /wp-register.php 

在谷歌网站管理员工具，我看到这样的URL被限制：

http://www.domain.com/date/article-title/feed/

这是因为Disallow/feed我假设现在真正的文章标题是与'/ feed /'相同的网址 http://www.domain.com/date/article-title/

我的问题是，正确的URL仍然会被搜索引擎索引？或者我应该从robots.txt中删除它？你对robots.txt有什么看法？我找了一些关于添加什么内容的提示，并提出了一些建议，但是当我看到更大的WordPress网站时，他们没有我的机器人中的一半物品txt文件。

Answer 1

Feed本身不会被编入索引，但其中包含的URL可以被索引，如果它们的URL未在robots.txt文件中被明确阻止的话。

只要您的所有博客文章都被编入索引，其他内容就可以被封锁而不会出现问题。看起来某些被阻止的页面对用户和搜索引擎（即登录页面，引用页面）或潜在的重复内容问题（即档案，标签页）没有用处。无用的页面应该被彻底阻止。我会让档案和标签页被抓取，但没有编入索引。这样搜索引擎可以按照这些页面上的链接来帮助他们找到你的所有内容。这不会使用robots.txt完成，但可以使用meta tag or HTTP header。