如何查看网页并使用Java将数据保存到数据库？

Question

我正在从网站收集数据并尝试将其保存到数据库（或类似的非常容易访问的数据），而不是在我的桌面或文件夹中有一堆文件。

我需要看很多页面（准确的说是1900）。我想节省获取这些数据的时间，并决定让Java程序来做到这一点。

这基本上是我想要做的。

1. 访问网页：www.TestWebsite.com/items/0
2. 保存（名称，描述，图像（PNG））转换成一个阵列/类到数据库。
3. 重复，直到我起床：www.TestWebsite.com/items/1899

我希望能够不必需要去网上查看访问此离线数据。

任何想法，我应该如何开始。我做了一个基本的网页浏览器，我只是错过了将字符串和图像保存到数据库之间的步骤。

我感谢任何帮助！

Answer 1

其实刚刚在前些日子做过。我使用jsoup来取消我需要的网页并写入我的本地数据库。非常简单的网页解析框架。

Answer 2

这很简单，但如果你还没有学过一点SQL，那就需要学习一点。

你还必须选择一个数据库平台 - 我建议SQLite出于这样的目的，因为这些数据是供个人使用的，而且它的重量轻且易于设置。

以下是使用JDBC（Java数据库连接）与SQLite数据库交谈的教程：http://en.wikibooks.org/wiki/Java_JDBC_using_SQLite。它从设置到插入数据，所以一旦你完成了，它应该很简单，修改你的网页查看代码，以获取你需要的数据并将其推入到数据库中。

祝你好运！