从网站提取数据的方法？

Question

我想从网站上获取数据（例如，某人正在使用的姓名，身份证号码和资源列表）并将其发布到其他网站。

我在想的是使用cURL从一个网站上的现有REST api获取信息。然后，我想要做的是编写一个程序或一个API来将该信息发布到另一个网站上。

在使用cURL时，如何/在哪里可以存储该信息以便我可以通过其他程序使用它？编写一个能够从第一个网站提取信息并将其发布到另一个网站的程序会更容易吗？如果是这样，那么可以使用Java来做到这一点/给出一个关于如何这样做的想法？我没有要求代码，只是一个方法来做到这一点。我正在使用Eclipse for Java Web EE开发人员的IDE。

Answer 1

我会把它写成2-3个程序。一个提取数据，一个格式化数据（如有必要），一个发布数据。

我的直觉告诉我做到这一点最简单的方法是纯粹的bash脚本。但是如果你想为此使用Java，你可以。

我会将输出保存在一个文件中以供读者阅读。这有利于让您在没有其他2个程序的情况下编写/测试海报。也就是说，我建议你先写get-er程序。这样你就知道你真正处理的是什么数据。

现在，如果你碰巧在java中编写格式化程序和后处理程序，我会把它写成一个程序而不是它们之间的“管道”文件。格式化程序将读取文件，将其转换为数据结构/类，后者将读取此数据结构/类。

这只是表面上不同于我的上一段。重点是每个“部分”是相互独立的。这可以让你测试一个零件而不用运行整个事情。这是重要的事情。

至于如何/从哪里存储来自get-er的信息，只是将其重定向到一个文件。 Here's a tutorial on how.

事实被告知，我不能告诉你是否使用linux cURL程序或java implementation like this one。根据这个我的答案会非常不同。