ASP.Net身份验证和Googlebot

我有一个启用了表单身份验证的ASP.Net 3.5网站。是否可以让Googlebot抓取我的网站而不提示用户名/密码？ASP.Net身份验证和Googlebot

2011-06-28 John81

你为什么要这么做？如果页面需要认证，那么进行搜索的人无论如何都无法看到他们。如果可以的话，您必须查找可能被欺骗的用户代理，从而使您的身份验证毫无意义。 – ScottE

我们有要求在网站的密码保护部分下移动一些内容，但他们仍然希望它被抓取并显示在网站索引中。我非常肯定，如果没有将认证渲染为无意义的，但是确实想证实这一点，就没有办法做到这一点。 – John81

我有更新我的答案 - 最后你不能。 – Aristos

谷歌称，不惯于索引页，并将它们显示为可用不属于用户，因为实际上他们要求的用户名和密码。

它可以给选项只对AdSense抓取保护页，这样他就可以知道什么做广告展示他们

，入住

其他的解决方案，如果是BOT或谷歌机器人电脑未来不安全，因为它们可能容易被用户欺骗，并且也可能无法显示页面的预览或缓存。

所以，你需要认为你的网站结构，什么是非常重要的，什么不是，显示一些页面的一部分，如果用户没有注册隐藏其他一些，这样谷歌有索引即使是它没有进入。

2011-06-28 14:08:23 Aristos

非常有趣，谢谢。我想我找到的链接是过时的。 – ScottE

这是一个可能的解决方案。问题是网站中的帐户需要每90天更换一次密码，因此有人负责手动更改该帐户的密码。另外，安全机构必须签署为爬虫创建的特殊帐户，并且还会打开安全后门，因为许多人会知道该帐户的用户名/密码。 – John81

@ScottE我犯了一个错误，请再看我的回答。 – Aristos

这里是一个文章：

这将看是否有谷歌地图会导致显示在谷歌书页是有趣的 - 但我怀疑，要么工作，因为网页将有可能无论如何都需要被抓取。

这里其他一些有趣的评论：

2011-06-28 14:08:05 ScottE

回答