0
如果我有一个具有noindex标记<meta name="robots" content="noindex" />的页面，我知道该页面不会显示在搜索结果中。noindex标签是否阻止漫游器爬取页面上的链接？
但是页面上的链接仍然会被抓取吗？
如果我想让它们被抓取，我可以设置类似<meta name="robots" content="noindex, follow" />的东西。它会起作用吗？
A
回答
0
noindex标记<meta name="robots" content="noindex" />用于阻止大多数搜索引擎Web爬虫将您网站上的页面编入索引。
抓取工具将不会使用content="noindex, follow"标记为页面编制索引，而是会抓取其余页面。
您可以在此处找到更多详细信息：http://www.robotstxt.org/meta.html
+0
你的链接已经死机 – aleclarson
+1
我改变了链接。你现在可以检查。 –
相关问题
- 1. 该代码是否阻止漫游器爬取我的页面？
- 2. 阻止谷歌爬取每个页面上的特定链接
- 3. 什么是阻止漫游器/抓取器击中链接/页面的正确方法？
- 4. 如何使用robots.txt停止漫游器爬行分页？
- 5. 如何阻止坏的未识别的漫游器爬行我的网站？
- 6. Noindex页面是否需要元描述和关键字标签？
- 7. 如何阻止漫游器抓取我的基于AJAX的URL？
- 8. 如果href页面包含含有noindex和nofollow的漫游器元标记，我是否需要将nofollow rel属性添加到链接？
- 9. 如何判断一个页面是否允许漫游器？
- 10. 电子邮件链接被阻止的网页爬虫
- 11. 如何禁止单个页面或文件中的漫游器
- 12. 链接到Facebook页面上的页面标签页应用
- 13. 网络爬虫是否仅依靠主页上的链接来进行爬网？
- 14. Struts标签是否阻止XSS
- 15. 返回false - 阻止页面上的所有链接
- 16. 如何阻止漫游器和垃圾邮件提交评论？
- 17. 如何阻止漫游器发布和引起异常
- 18. 链接到不同页面的标签
- 19. asp.net：防止漫游器中的文件
- 20. Netsuite如何链接主页上的子标签页面/类别？
- 21. 单击空白链接时是否阻止页面重新加载？
- 22. 如何直接链接到Facebook页面上的标签？
- 23. Github页面阻止与Google的直接链接？
- 24. Shopify链接到主页上的标签
- 25. 从Pelican页面链接到标签
- 26. jQuery UI标签链接_blank页面
- 27. 链接标签破坏页面设计
- 28. 制作浏览网页的漫游器
- 29. 抓取基于链接的网页爬虫/蜘蛛链接
- 30. 阻止链接中的锚标签滚动
以下是默认设置。你不需要指定它。 – user29671