GNU平行嵌套for循环和多个命令

我试图运行BASH函数的10个实例同时GNU并行GNU平行嵌套for循环和多个命令

从图像bash的功能下载瓷砖并且将它们缝合在一起 - 第一单排，然后每个列 - 到单个图像文件。

function DOWNLOAD_PAGE { 
for PAGE in {0041..0100} 
do 
       for COLUMN in {0..1} 
         do 
           for ROW in {0..2} 
           do wget -O "$PAGE"_"$COLUMN"_"$ROW".jpg "http://www.webb$PAGE$COLUMN$ROW" 
         done 
       convert "$PAGE"_"$COLUMN"_*.jpg -append "$PAGE"__"$COLUMN".jpg 
       done 
       convert "$PAGE"__*.jpg +append "$PAGE"_done.jpg 
     done 
}

遗憾的是，显然obviuous解决方案 - 第一个是

export -f DOWNLOAD_PAGE 
parallel -j10 DOWNLOAD_PAGE

不起作用。

有没有办法使用GNU并行？

来源

2014-02-11 uvett

你的函数的部分可以被并列化，而其他的不可以：例如，在下载图像之前，您无法追加图像。

function DOWNLOAD_PAGE { 
    export PAGE=$1 
    for COLUMN in {0..1} 
    do 
     parallel wget -O "$PAGE"_"$COLUMN"_{}.jpg "http://www.webb$PAGE$COLUMN{}" ::: {0..2} 
     convert "$PAGE"_"$COLUMN"_*.jpg -append "$PAGE"__"$COLUMN".jpg 
    done 
    convert "$PAGE"__*.jpg +append "$PAGE"_done.jpg 
} 

export -f DOWNLOAD_PAGE 
parallel -j10 DOWNLOAD_PAGE ::: {0041..0100}

更并行的版本（但更难读）：

function DOWNLOAD_PAGE { 
    export PAGE=$1 
    parallel -I // --arg-sep /// parallel wget -O "$PAGE"_//_{}.jpg "http://www.webb$PAGE//{}"\; convert "$PAGE"_"//"_\*.jpg -append "$PAGE"__"//".jpg ::: {0..2} /// {0..1} 
    convert "$PAGE"__*.jpg +append "$PAGE"_done.jpg 
} 

export -f DOWNLOAD_PAGE 
parallel -j10 DOWNLOAD_PAGE ::: {0041..0100}

你什么GNU并行确实是有点误导的认识。考虑参考教程http://www.gnu.org/software/parallel/parallel_tutorial.html，然后尝试了解示例的工作方式：n1_argument_appending“> http://www.gnu.org/software/parallel/man.html#example__working_as_xargs_ n1 _argument_appending

来源

2014-02-11 23:18:49

GNU平行嵌套for循环和多个命令

回答

相关问题