bash脚本优化

Question

我有下面这个脚本将被守护进程并触发可能数百，如果不是不同的用户数千次。

该脚本使用inotifywait观看上传文件夹，然后将上传的文件移动到其最终目的地以进行演示，在旋转（备份/移动）之前的上传之后。该代码将针对不同的上传文件夹运行。

#!/bin/bash 

db="$VAR1"/path/to/upload/folder/ 
s3="$VAR2"/path/to/remote/folder 

inotifywait -m -r -e attrib "$db" | 
while read dir ev file; 
do 

     for dirnum in $(cd "$s3"; ls */*.png | sed 's%/.*%%' | sort -nr) 
     do 
       next=$(($dirnum + 1));      
       mv "$s3/$dirnum/post$dirnum.png" "$s3/$next/post$next.png"; 
     done 

     mv "$db"/"$file" "$s3"/1/post1.png 

done 

我能做些什么来优化它？还是应该重写一个更快的编程语言？另外，如何在一定的负载下测试脚本？

Answer 1

这不会给相同的行为，但它避免了排序：

#!/bin/bash 

db="$VAR1"/path/to/upload/folder/ 
s3="$VAR2"/path/to/remote/folder 

inotifywait -m -r -e attrib "$db" | 
while read dir ev file; 
do 
    dirnum=1 
    while test -e "$s3/$dirnum"; do : $((dirnum += 1)); done 
    while test $dirnum -gt 0; do 
     next=$((dirnum + 1));  
     mkdir -p $s3/$next     
     mv "$s3/$dirnum/post$dirnum.png" "$s3/$next/post$next.png" 
     : $((dirnum -= 1)) 
    done 
    mv "$db/$file" "$s3"/1/post1.png 
done 

如果跟踪存储到$s3数量最多的，你可以避免第一个 循环。如果其他进程在$s3中创建文件 ，则这样做会稍微脆弱一些，但在这种情况下，即使在这种简单化的解决方案中，也存在争用条件。 不重命名文件会简单很多，但是将第一个文件上传到 $s3/1，然后将第一个文件上传到$s3/2。在这种情况下，脚本可以写成：

#!/bin/bash 

db="$VAR1"/path/to/upload/folder/ 
s3="$VAR2"/path/to/remote/folder 
dirnum=1 
while test -e "$s3/$dirnum"; do : $((dirnum += 1)); done 
inotifywait -m -r -e attrib "$db" | 
while read dir ev file; 
do 
    mkdir -p "$s3"/$dirnum 
    mv "$db/$file" "$s3"/$dirnum/post$dirnum.png 
    : $((dirnum += 1)) 
done 

Answer 2

你可以重构你的脚本是这样的：

!/bin/bash 

db="$VAR1"/path/to/upload/folder/ 
s3="$VAR2"/path/to/remote/folder 

while read dir ev file 
do 
    while read dirnum 
    do 
     next=$(($dirnum + 1)) 
     mv "$s3/$dirnum/post$dirnum.png" "$s3/$next/post$next.png" 
    done < <(find "$s3" -depth 2 -name "*.png" -exec dirname {} \; | sort -unr) 

    mv "$db"/"$file" "$s3"/1/post1.png 

done < <(inotifywait -m -r -e attrib "$db") 

Answer 3

你应该避免走动这么多的文件，通过将新的文件在新的目录，并只留下旧文件旧目录。您可能需要反转您的演示逻辑，因此会显示最新的文件（最大编号），而不是每次都显示post1.png。但是，通过让事情少得多，你可以加快速度 - 并且通过让事情保持原有状态，让事情更轻松。

如果速度不够快，加快速度的最好方法之一是退后一步，看看算法，看看是否有一个可以使用的基本上更快的算法。如果您已经在使用最佳算法，那么您可以查看如何加快速度的细节，但有时您可以通过重新评估算法来获得数量级的提高，其中调整可能会使速度提高一倍。