我已经发布了一个网站,并且由于误解不依赖于我,我不得不在索引之前封锁所有网页。有些页面已被链接已经在社交网络上,这样能避免糟糕的用户体验,我决定将以下代码插入到可能不允许robots.txt上的整个网站在删除后有后果吗?
User-agent: *
Disallow: *
我收到一个“严重的问题“的robots.txt” “对网站站长工具的警觉,我有点担心。根据你的经验,是否足够(尽可能)恢复原始的“robots.txt”?如果目前的情况持续很长时间(如果确实如此,我该如何解决这个问题),那么现在的情况可能会在网站上留下后果(惩罚或类似情况)?如果问题听起来有点泛泛,我很抱歉,但我无法找到具体的答案。提前致谢。
给定的代码是您当前的robots.txt?你打算使用哪种意思(即应该允许做什么或不做什么)? – unor
@unor是的,这是我目前的“robots.txt”。我的目标(暂时)是阻止所有漫游器,但允许用户点击外部链接而不会收到空白页面。简而言之,我希望网站只能从人类访问,而不能从机器人访问。我担心的是,即使在Disallow删除后,如果持续很长时间,这种情况也会在搜索引擎中损害网站信誉。希望现在更清楚一点。 – Giorgio