使用GNU并行进行分页

我喜欢GNU并行，并尝试使用它的分页，但需要帮助得到它成功地工作。基本上，我下面就Quickblox API指南的使用情况来获取数据：使用GNU并行进行分页

http://quickblox.com/developers/Custom_Objects#Get_related_records

一个可以检索的最大记录数为100个页面，和一个只可以一次检索页面。这些通过-d参数指定。我想用GNU Parallel来获取1..79页。

我发现一个线程，解释了如何使用GNU并行时，你有采取许多不同的值，但一直没能成功地使其适应我的情况的参数。

GNU Parallel - parallelize serial command line programs without changing them

您的帮助将不胜感激！

curl -X GET -H "QB-Token: 7de49c25f44e557aeed1b635" -d "page=3" -d "per_page=100" https://api.quickblox.com/users.xml > qblox_users_page3_100perpage

来源

2014-01-23 Tjb LaMac

你通过教程走// WWW .gnu.org/software/parallel/parallel_tutorial.html –

谢谢！将再次通读本教程。 –

如果你想在不同的文件输出：

parallel 'curl -X GET -H "QB-Token: 7de49c25f44e557aeed1b635" -d "page={}" -d "per_page=100" https://api.quickblox.com/users.xml > qblox_users_page{}_100perpage' ::: {1..79}

如果你想在一个大的文件：http：

parallel -k 'curl -X GET -H "QB-Token: 7de49c25f44e557aeed1b635" -d "page={}" -d "per_page=100" https://api.quickblox.com/users.xml' ::: {1..79} > qblox_users

来源

2014-01-24 07:54:58

使用GNU并行进行分页

回答

相关问题