2014-04-12 27 views
2

我已经发布了一个网站,并且由于误解不依赖于我,我不得不在索引之前封锁所有网页。有些页面已被链接已经在社交网络上,这样能避免糟糕的用户体验,我决定将以下代码插入到可能不允许robots.txt上的整个网站在删除后有后果吗?

User-agent: * 
Disallow: * 

我收到一个“严重的问题“的robots.txt” “对网站站长工具的警觉,我有点担心。根据你的经验,是否足够(尽可能)恢复原始的“robots.txt”?如果目前的情况持续很长时间(如果确实如此,我该如何解决这个问题),那么现在的情况可能会在网站上留下后果(惩罚或类似情况)?如果问题听起来有点泛泛,我很抱歉,但我无法找到具体的答案。提前致谢。

+0

给定的代码是您当前的robots.txt?你打算使用哪种意思(即应该允许做什么或不做什么)? – unor

+0

@unor是的,这是我目前的“robots.txt”。我的目标(暂时)是阻止所有漫游器,但允许用户点击外部链接而不会收到空白页面。简而言之,我希望网站只能从人类访问,而不能从机器人访问。我担心的是,即使在Disallow删除后,如果持续很长时间,这种情况也会在搜索引擎中损害网站信誉。希望现在更清楚一点。 – Giorgio

回答

1

的“关键问题”,是因为谷歌无法在网站上使用您的robots.txt配置索引页。如果您仍在开发该网站,则使用此robots.txt配置是标准程序。网站管理员工具会将您的网站看作是在制作中,但听起来您仍在开发,因此在这种情况下,这是一种误报错误信息。

有了这个robots.txt设定对搜索引擎排名没有长期的负面影响,但时间越长,搜索引擎能够访问你的网站的排名会更好。对于Google来说,像3个月的稳定抓取将会赢得某种可信的状态。所以这真的取决于域名,以及它是否曾经被Google索引过多久,但仍然没有长期影响,因此最多只能再等3个月才能“赢得Google的信任” “再次。

大多数社交网络会在用户分享时读取robots.txt文件,另一方面,搜索引擎的索引率会有所不同,并会花费几个小时到几周的时间来检测您的变化robots.txt文件并更新索引。

希望这会有所帮助,如果你能提供有关您的情况详细信息,我可能能够进一步帮助,但至少应该回答你的问题。

+0

嗨@tpbapp,谢谢你的回答。该域从未被索引过。当我结束开发时,我购买了一个域名,发布了所有页面,并通过其形式将域名网址添加到Google。我还在社交网络上创建了公司简介,并发布了一些包含网站链接的帖子。不幸的是,过了几天,我需要阻止Google索引,直到解决了一些问题。通过在robots.txt中禁用,我允许用户在点击链接时查看页面,但禁用索引。我希望在几个星期内删除这个块,所以我希望它不会留下后果。 – Giorgio

+0

没问题。如果这是一个新鲜的领域,我可以向你保证没有任何后果。这种情况正是robots.txt协议的设计目的。请注意,正如我所说的,搜索引擎可能需要一段时间才能适应robots.txt文件中的更改。祝你好运。 – tpbapp

1

我(目前)的目标是阻止所有机器人

您目前的robots.txt不块中的所有机器人。

在原来的robots.txt规范,Disallow: *指:禁止抓取与*开始的所有URL,例如:

  • http://example.com/*
  • http://example.com/****
  • http://example.com/*p
  • http://example.com/*.html
  • ...

有些解析器不遵循原有的规范和解释*作为通配符。对于他们(并且仅限他们),这可能意味着阻止所有URL(其中*表示:“任何字符”)。

简而言之,我希望网站只能从人类访问,而不能从机器人访问。

那么你应该使用:

User-agent: * 
Disallow:/
+0

有用的说明,谢谢@unor。 – Giorgio

+0

这是一个很好的观点,我同意'Disallow:/'是一个更好的选择,但值得指出的是,所有主要的搜索引擎都可以理解通配符。使用'不允许:*'可能会混淆一些较旧的机器人,但它仍然可以在Google,Bing和Ask上运行。 – plasticinsect

相关问题