使用桌面工具从REST API加载和刷新JSON数据集

Question

当前，我查询WebTrends API以将数据下载到Excel中。但是，现在我正在寻找一种更可靠的方法/工具来获取JSON/XML格式的数据，然后将其转换为CSV以便在各种数据存储和分析工具中使用它。

如果该工具可以通过将新数据附加到现有数据集来定期自动更新Feed，那将是一项奖励。

哦，它需要是自由/开源。

我的研究将我引向了像Talend，JaspersoftETL和CloverETL等ETL工具。但我正在努力确定他们是否可以完成这项工作，哪一个更容易！有没有人知道如何以1-free 2-easy 3-lightweight方式实现上述工作？

WebTrends的API URL看起来像这样：http://ws.webtrends.com/v2_1/ReportService/profiles/dnGpm8jbgl7/reports/1RxjilSo4n7/?totals=none&period=2017m02d27 * 26 &格式= JSON & suppress_error_codes =真

感谢，

Answer 1

如果你能使用Ruby，然后Kiba ETL是一个轻量级的免费的OSS解决方案，您可以使用为那种情况。

通常情况下，代码如下：

source YourJSONHTTPDownloadSource, urls: [url_1, url_2] 

transform do |row| 
    # remap the fields as needed 
    row 
end 

destination YourCSVDestination, filename: my_filename 

而且你会使用木叶的命令行运行它。

您需要编写YourJSONHTTPDownloadSource（一个Kiba源代码获取url中的数据并生成每个JSON/XML元素）和YourCSVDestination（关于此更多细节，请查看readme）。

PS：您提供的URL需要验证，这意味着我们什么都看不到。