我在Rails 3.2应用程序中通过ajax将表单加载到页面上。这些观点正在被Google收集,而这些网站只是呈现空白页面。当我试图从我的应用程序(http引用程序或类似的东西)之外查看时,或者只是使用robots.txt文件时,是否应该以某种方式阻止访问这些页面?仅通过ajax加载的视图的最佳实践
因此,我的问题是:什么是最好的事情,当你有一个视图,只有通过AJAX加载。这是一个编程问题,因为我很高兴能够对我的控制器文件等进行任何最佳实践编码。但是,它也是从SEO和我的应用程序的性能角度来看的。
我不希望谷歌索引这些网页 - 然而 - 我不知道是否阻止访问直接是最好的选择(例如,在这样一个问题:How deny access direct URL to my partial views? < - 错误的环境,或这一个https://stackoverflow.com/questions/11522307/prevent-direct-access-to-certain-urls-only-rails-app-can-load-them < - 相关但没有回答。)
当然,我可以在我的robots.txt中定义这些页面,并阻止它们被索引,但是,也许有更好的解决方案。
我认为这是一个非常普遍的问题。 因为我将要显示这些页面会有一个关联的服务器负载等。我最后添加了部分的url到我的robots.txt,但认为可能有更多的'railsy'。非常感谢回复。 您是否知道 - 在尝试抓取之前,请务必先检查robots.txt - 或者 - 抓取的网页在事后没有编入索引? 最后 - 感谢您的答案。我都是自学成才,尽管我大部分时间都没有掌握所有最常见的最佳实践知识。 – LpLrich
NP。我不确定漫游器是否爬行取决于您的robotx.txt。但如果你告诉他们不要索引,那么他们不会。 –