搜索引擎如何获取未链接的页面？

Question

我注意到，相当多的Dropbox网页是由谷歌，必应等索引，并想知道这些搜索引擎是如何获得这样的实例链接：

https://dl.dropboxusercontent.com/s/85cdji4d5pl5qym/37-71.pdf 

https://dl.dropboxusercontent.com/u/11421929/larin2014.pdf 

由于有上没有链接dl.dropboxusercontent.com，并且路径结构不容易猜测，搜索引擎如何获得这样的链接？

一个解决方案可能是它发布在论坛上并被搜索引擎提取，但是我查了很多链接并检查了反向链接而没有成功。我还注意到，Bing和雅虎显示出比Google多得多的结果，这意味着Bing在提取这些对我来说不太可能的链接方面做得更好。

Answer 1

即使文件是真的断开链接（在其网站上没有链接，就有人等的​​网站没有链接，没有sitemap，从获取文档等在链接的网站没有Referer日志），它仍然有可能搜索引擎找到链接。

的两种方法：

• 可能有人提交的URL，搜索引擎（无论是通过一个公共的工具，或通过该网站的网站管理员帐户）。

• 搜索引擎可以获取某些用户在其浏览器中访问的所有网址。例如，这可以在用户从该搜索引擎安装工具栏时发生。这与冰的情况下，看到我related answer on Webmasters SE：

  微软已经确认，他们发现，他们通过上网用户安装了Bing工具栏网上找的索引中的网址。

而且可能有更多的方式，当然。