我期待隐藏一个网站,以便它不会出现在任何搜索引擎中,只是想知道我会如何去做这件事?如何从搜索引擎隐藏网站?
回答
密码保护整个网站。 – Chirag
根据该链接,“您不应该使用robots.txt作为隐藏您的网页与Google搜索结果的方式,这是因为其他网页可能指向您的网页,并且您的网页可能会以这种方式获得索引,从而避免机器人.txt文件,如果您想阻止搜索结果中的页面,请使用其他方法,如密码保护或noindex标签或指令。“请参阅https://developers.google.com/search/reference/robots_meta_tag –
除了密码保护你的网站,你可以添加这些行robots.txt
:
User-agent: *
Disallow:/
这不隐藏网站,而是指示机器人不要蜘蛛的内容。
您使用robots.txt
文件。在网站的根目录下的文件放在与此内容:
User-agent: *
Disallow:/
看一看nofollow
Wikipedia
可以莫名其妙降低你的网站正在使用robots.txt上市。请注意,这取决于搜寻器的“善意”,尽管(有些垃圾邮件会明确查看您禁止的位置)。
不幸的是,没有列出网站的唯一安全可靠的方式就是不把它放在互联网上。
只是不链接到您的网站将无法正常工作。爬虫从很多来源获取他们的信息,包括浏览器推荐人和域名注册商。因此,为了“不可见”,您不得不访问您的站点并且不注册域名(只能通过IP地址访问它)。
然后,如果您运行基于IP地址的Web服务器,则仍然有所有垃圾邮件探测随机地址。这将需要一段时间,但他们会找到你。
密码保护您的网站应该工作,有效地使其无法访问。尽管(并且这超出了我的理解,那是怎么回事)例如,谷歌列出了数千个ACM论文,如果没有账户和登录,您就无法看到这些论文。但他们在那里。
您需要阅读关于robots.txt文件,您应该在您网站的webroot中复制 - http://www.robotstxt.org/robotstxt.html。
使用robots.txt,拒绝所有搜索引擎。 他们不都尊敬的robots.txt所以定期检查你的服务器日志,并从嫌疑机器人/爬虫的范围否认:
最合适的搜索引擎使用机器人或爬虫网站和索引他们。你可以Robot File method
- 1. 如何从搜索引擎中完全隐藏网站?
- 2. 如何从搜索引擎中隐藏网站
- 3. 如何从搜索引擎中隐藏特定的网站页面URL?
- 4. 从搜索引擎隐藏cname
- 5. .htaccess密码保护网站隐藏搜索引擎?
- 6. ASP.NET网站搜索引擎
- 7. 网站搜索引擎
- 8. 网站搜索引擎
- 9. 网站搜索引擎
- 10. 搜索引擎如何抓取网站?
- 11. 阻止从搜索引擎网站 - DuckDuckGo
- 12. 搜索引擎索引Flash网站?
- 13. 如何从搜索引擎使用htaccess隐藏文件夹
- 14. wordpress如何隐藏所有帖子从搜索引擎或不
- 15. 如何使用元标记从搜索引擎隐藏页面?
- 16. 如何使网站能够搜索不同的搜索引擎
- 17. 搜索引擎如何识别网站上的搜索框?
- 18. 如何从sharepoint网站隐藏右上角高级搜索框
- 19. 搜索引擎优化和AJAX网站
- 20. 搜索引擎的多语言网站
- 21. 搜索引擎为asp.net网站
- 22. 多语言网站和搜索引擎
- 23. 搜索引擎和XML网站地图
- 24. 搜索引擎优化技术网站
- 25. 创建内部网站搜索引擎
- 26. 网站搜索引擎非mysql
- 27. 搜索引擎的网站地图
- 28. 搜索引擎网站地图Asp.Net
- 29. 搜索引擎如何通过互联网找到网站
- 30. 如何在搜索引擎结果中隐藏Robots.txt?
这应该是“通过默默无闻的安全”,或者你在做什么恶意? –