启用搜索引擎从Web应用程序索引数据

Question

我正在使用Java和Cassandra DB构建社交Web应用程序。我希望我的数据库中的一些数据对搜索引擎可见。 由于我的应用程序是完全动态的，&仅包含数据库中的数据而不包含静态页面中的数据，因此抓取工具如何读取此数据？

1.）如何确保存储在我的服务器上的数据可以被搜索引擎看到？我的应用程序包含用户特定的数据

2.）搜索引擎如何访问该数据？

3.）我怎样才能限制搜索引擎只抓取一些特定的数据？

Answer 1

1）您需要将用户特定的信息与公共信息分开，或者您应该有公共和专用页面 - 或者您可以通过基于会话的Ajax调用来修饰您的公共页面。

含义：浏览器只是加载页面的公共版本，而javascript会加载用户的具体信息并将它们注入页面。

2和3可以通过向Google上传站点地图解决。

还是要Google直接与Cassendra交谈......？然后忽略以上所有 - 我想。

Answer 2

阅读the explanations from Google。

搜索引擎像访问您网站的任何其他用户一样访问您的数据：通过浏览并点击他们找到的所有链接。只能通过AJAX访问的内容将更难以通过搜索引擎访问。

使用robots.txt文件可以限制访问。解释在上面给出的链接中给出。