2010-02-19 36 views
0

我有一个一对bash脚本,1个转储mysql dbs,第二个清除旧备份从查找和抓取子集(bash)排序结果

我一直依赖日期,因此任何超过7天的文件都将被清除,并且每天创建新的备份。结果是7天前的一组备份。

那么现在,我已经有20+ dbs 我已经把每天的工作分成每天和每周的工作。如果我继续使用查找和日期方法,我会在过去一周失去。

问题

我如何可以按日期查找的输出,然后清除所有,但最近7(因此,即使最近的是2个月大,但它仍然)

这是我得到的,但它不是预期的。也许使用LS可能是更好的选择9find是使用日期为净化的唯一标准)

OLDFILES=`find -regex .*sql.*` 

set -- $OLDFILES 

if [ -z $1 ] 
then 
    printf "\tNo files matching purge criteria\n" | tee -a $LOGFILE 
else 
    printf "\tSQL Files being Delete from $HERE\n" | tee -a $LOGFILE 
    printf "\t\t%s\n" $OLDFILES | tee -a $LOGFILE 
fi 
# $RETAIN is the # of recent to keep 
# so I want to grab a subset from 0 to (total - retain), and purge them 
TOBURN=$(($# - $RETAIN)) 
printf " grab first %s files. %s - %s" $TOBURN $# $RETAIN 
if [ $TOBURN -gt 0 ] 
then 
    TOPURGE=("[email protected]:0:$TOBURN") 
    printf "\n\nREMOVING..\n\t\t%s\n" $TOPURGE 
fi 

现有文件

  ./webbmaster_bellarose_joomla_01-09-2010.sql.gz 
      ./webbmaster_bellarose_joomla_12-25-2009.sql.gz 
      ./webbmaster_bellarose_joomla_01-10-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-04-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-25-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-29-2010.sql.gz 
      ./webbmaster_bellarose_joomla_12-30-2009.sql.gz 
      ./webbmaster_bellarose_joomla_12-28-2009.sql.gz 
      ./webbmaster_bellarose_joomla_01-06-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-13-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-24-2010.sql.gz 
      ./webbmaster_bellarose_joomla_12-21-2009.sql.gz 
      ./webbmaster_bellarose_joomla_12-24-2009.sql.gz 
      ./webbmaster_bellarose_joomla_12-27-2009.sql.gz 
      ./webbmaster_bellarose_joomla_01-26-2010.sql.gz 
      ./webbmaster_bellarose_joomla_12-17-2009.sql.gz 
      ./webbmaster_bellarose_joomla_01-03-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-21-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-20-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-16-2010.sql.gz 
      ./webbmaster_bellarose_joomla_12-31-2009.sql.gz 
      ./webbmaster_bellarose_joomla_01-11-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-05-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-14-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-22-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-12-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-17-2010.sql.gz 
      ./webbmaster_bellarose_joomla_12-18-2009.sql.gz 
      ./webbmaster_bellarose_joomla_12-20-2009.sql.gz 
      ./webbmaster_bellarose_joomla_01-08-2010.sql.gz 
      ./webbmaster_bellarose_joomla_12-22-2009.sql.gz 
      ./webbmaster_bellarose_joomla_01-27-2010.sql.gz 
      ./webbmaster_bellarose_joomla_12-23-2009.sql.gz 
      ./webbmaster_bellarose_joomla_01-07-2010.sql.gz 
      ./webbmaster_bellarose_joomla_12-26-2009.sql.gz 
      ./webbmaster_bellarose_joomla_01-19-2010.sql.gz 
      ./webbmaster_bellarose_joomla_12-29-2009.sql.gz 
      ./webbmaster_bellarose_joomla_01-15-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-28-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-01-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-18-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-02-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-23-2010.sql.gz 
      ./webbmaster_bellarose_joomla_12-19-2009.sql.gz 

目标吹扫残余(我想要在变量中设置简单的rm -f $ var)

  ./webbmaster_bellarose_joomla_01-09-2010.sql.gz 
      ./webbmaster_bellarose_joomla_12-25-2009.sql.gz 
      ./webbmaster_bellarose_joomla_01-10-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-04-2010.sql.gz 
      ./webbmaster_bellarose_joomla_12-30-2009.sql.gz 
      ./webbmaster_bellarose_joomla_12-28-2009.sql.gz 
      ./webbmaster_bellarose_joomla_01-06-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-13-2010.sql.gz 
      ./webbmaster_bellarose_joomla_12-21-2009.sql.gz 
      ./webbmaster_bellarose_joomla_12-24-2009.sql.gz 
      ./webbmaster_bellarose_joomla_12-27-2009.sql.gz 
      ./webbmaster_bellarose_joomla_12-17-2009.sql.gz 
      ./webbmaster_bellarose_joomla_01-03-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-21-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-20-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-16-2010.sql.gz 
      ./webbmaster_bellarose_joomla_12-31-2009.sql.gz 
      ./webbmaster_bellarose_joomla_01-11-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-05-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-14-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-22-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-12-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-17-2010.sql.gz 
      ./webbmaster_bellarose_joomla_12-18-2009.sql.gz 
      ./webbmaster_bellarose_joomla_12-20-2009.sql.gz 
      ./webbmaster_bellarose_joomla_01-08-2010.sql.gz 
      ./webbmaster_bellarose_joomla_12-22-2009.sql.gz 
      ./webbmaster_bellarose_joomla_12-23-2009.sql.gz 
      ./webbmaster_bellarose_joomla_01-07-2010.sql.gz 
      ./webbmaster_bellarose_joomla_12-26-2009.sql.gz 
      ./webbmaster_bellarose_joomla_01-19-2010.sql.gz 
      ./webbmaster_bellarose_joomla_12-29-2009.sql.gz 
      ./webbmaster_bellarose_joomla_01-15-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-01-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-18-2010.sql.gz 
      ./webbmaster_bellarose_joomla_01-02-2010.sql.gz 
      ./webbmaster_bellarose_joomla_12-19-2009.sql.gz 

(日期1/23 - 1/29是原封不动)

回答

4

请您自己(和其他人)大张大事,并以ISO-8601格式(即YYYY-MM-DD)开始写作日期。

E.g.而不是

./webbmaster_bellarose_joomla_12-29-2009.sql.gz 

你会

./webbmaster_bellarose_joomla_2009-12-29.sql.gz 

这样做有many benefits最重要的是在这里,时间和字母顺序变得相同。无需查找,只列出文件,倒序,删除第7行,并删除任何剩余文件:

ls *sql* | tac | sed 1,7d | tr '\012' '\000' | xargs -0 --no-run-if-empty rm 

更新:你说的“前进”是什么意思?由于FAS我可以告诉我的解决方案解决您的问题100%:

/tmp/so>cat existing_files 
./webbmaster_bellarose_joomla-2009-12-17.sql.gz 
./webbmaster_bellarose_joomla-2009-12-18.sql.gz 
./webbmaster_bellarose_joomla-2009-12-19.sql.gz 
./webbmaster_bellarose_joomla-2009-12-20.sql.gz 
./webbmaster_bellarose_joomla-2009-12-21.sql.gz 
./webbmaster_bellarose_joomla-2009-12-22.sql.gz 
./webbmaster_bellarose_joomla-2009-12-23.sql.gz 
./webbmaster_bellarose_joomla-2009-12-24.sql.gz 
./webbmaster_bellarose_joomla-2009-12-25.sql.gz 
./webbmaster_bellarose_joomla-2009-12-26.sql.gz 
./webbmaster_bellarose_joomla-2009-12-27.sql.gz 
./webbmaster_bellarose_joomla-2009-12-28.sql.gz 
./webbmaster_bellarose_joomla-2009-12-29.sql.gz 
./webbmaster_bellarose_joomla-2009-12-30.sql.gz 
./webbmaster_bellarose_joomla-2009-12-31.sql.gz 
./webbmaster_bellarose_joomla-2010-01-01.sql.gz 
./webbmaster_bellarose_joomla-2010-01-02.sql.gz 
./webbmaster_bellarose_joomla-2010-01-03.sql.gz 
./webbmaster_bellarose_joomla-2010-01-04.sql.gz 
./webbmaster_bellarose_joomla-2010-01-05.sql.gz 
./webbmaster_bellarose_joomla-2010-01-06.sql.gz 
./webbmaster_bellarose_joomla-2010-01-07.sql.gz 
./webbmaster_bellarose_joomla-2010-01-08.sql.gz 
./webbmaster_bellarose_joomla-2010-01-09.sql.gz 
./webbmaster_bellarose_joomla-2010-01-10.sql.gz 
./webbmaster_bellarose_joomla-2010-01-11.sql.gz 
./webbmaster_bellarose_joomla-2010-01-12.sql.gz 
./webbmaster_bellarose_joomla-2010-01-13.sql.gz 
./webbmaster_bellarose_joomla-2010-01-14.sql.gz 
./webbmaster_bellarose_joomla-2010-01-15.sql.gz 
./webbmaster_bellarose_joomla-2010-01-16.sql.gz 
./webbmaster_bellarose_joomla-2010-01-17.sql.gz 
./webbmaster_bellarose_joomla-2010-01-18.sql.gz 
./webbmaster_bellarose_joomla-2010-01-19.sql.gz 
./webbmaster_bellarose_joomla-2010-01-20.sql.gz 
./webbmaster_bellarose_joomla-2010-01-21.sql.gz 
./webbmaster_bellarose_joomla-2010-01-22.sql.gz 
./webbmaster_bellarose_joomla-2010-01-23.sql.gz 
./webbmaster_bellarose_joomla-2010-01-24.sql.gz 
./webbmaster_bellarose_joomla-2010-01-25.sql.gz 
./webbmaster_bellarose_joomla-2010-01-26.sql.gz 
./webbmaster_bellarose_joomla-2010-01-27.sql.gz 
./webbmaster_bellarose_joomla-2010-01-28.sql.gz 
./webbmaster_bellarose_joomla-2010-01-29.sql.gz 
/tmp/so>cat targets_for_purging 
./webbmaster_bellarose_joomla-2009-12-17.sql.gz 
./webbmaster_bellarose_joomla-2009-12-18.sql.gz 
./webbmaster_bellarose_joomla-2009-12-19.sql.gz 
./webbmaster_bellarose_joomla-2009-12-20.sql.gz 
./webbmaster_bellarose_joomla-2009-12-21.sql.gz 
./webbmaster_bellarose_joomla-2009-12-22.sql.gz 
./webbmaster_bellarose_joomla-2009-12-23.sql.gz 
./webbmaster_bellarose_joomla-2009-12-24.sql.gz 
./webbmaster_bellarose_joomla-2009-12-25.sql.gz 
./webbmaster_bellarose_joomla-2009-12-26.sql.gz 
./webbmaster_bellarose_joomla-2009-12-27.sql.gz 
./webbmaster_bellarose_joomla-2009-12-28.sql.gz 
./webbmaster_bellarose_joomla-2009-12-29.sql.gz 
./webbmaster_bellarose_joomla-2009-12-30.sql.gz 
./webbmaster_bellarose_joomla-2009-12-31.sql.gz 
./webbmaster_bellarose_joomla-2010-01-01.sql.gz 
./webbmaster_bellarose_joomla-2010-01-02.sql.gz 
./webbmaster_bellarose_joomla-2010-01-03.sql.gz 
./webbmaster_bellarose_joomla-2010-01-04.sql.gz 
./webbmaster_bellarose_joomla-2010-01-05.sql.gz 
./webbmaster_bellarose_joomla-2010-01-06.sql.gz 
./webbmaster_bellarose_joomla-2010-01-07.sql.gz 
./webbmaster_bellarose_joomla-2010-01-08.sql.gz 
./webbmaster_bellarose_joomla-2010-01-09.sql.gz 
./webbmaster_bellarose_joomla-2010-01-10.sql.gz 
./webbmaster_bellarose_joomla-2010-01-11.sql.gz 
./webbmaster_bellarose_joomla-2010-01-12.sql.gz 
./webbmaster_bellarose_joomla-2010-01-13.sql.gz 
./webbmaster_bellarose_joomla-2010-01-14.sql.gz 
./webbmaster_bellarose_joomla-2010-01-15.sql.gz 
./webbmaster_bellarose_joomla-2010-01-16.sql.gz 
./webbmaster_bellarose_joomla-2010-01-17.sql.gz 
./webbmaster_bellarose_joomla-2010-01-18.sql.gz 
./webbmaster_bellarose_joomla-2010-01-19.sql.gz 
./webbmaster_bellarose_joomla-2010-01-20.sql.gz 
./webbmaster_bellarose_joomla-2010-01-21.sql.gz 
./webbmaster_bellarose_joomla-2010-01-22.sql.gz 
/tmp/so>sed 's/\(.\{29\}\)_\(..-..\)-\(....\)/\1-\3-\2/' existing_files | sort > existing_files.8601 
/tmp/so>sed 's/\(.\{29\}\)_\(..-..\)-\(....\)/\1-\3-\2/' targets_for_purging | sort > targets_for_purging.8601 
/tmp/so>mkdir files 
/tmp/so>cd files 
/tmp/so/files>xargs touch < ../existing_files.8601 
/tmp/so/files>ls -1 
webbmaster_bellarose_joomla-2009-12-17.sql.gz 
webbmaster_bellarose_joomla-2009-12-18.sql.gz 
webbmaster_bellarose_joomla-2009-12-19.sql.gz 
webbmaster_bellarose_joomla-2009-12-20.sql.gz 
webbmaster_bellarose_joomla-2009-12-21.sql.gz 
webbmaster_bellarose_joomla-2009-12-22.sql.gz 
webbmaster_bellarose_joomla-2009-12-23.sql.gz 
webbmaster_bellarose_joomla-2009-12-24.sql.gz 
webbmaster_bellarose_joomla-2009-12-25.sql.gz 
webbmaster_bellarose_joomla-2009-12-26.sql.gz 
webbmaster_bellarose_joomla-2009-12-27.sql.gz 
webbmaster_bellarose_joomla-2009-12-28.sql.gz 
webbmaster_bellarose_joomla-2009-12-29.sql.gz 
webbmaster_bellarose_joomla-2009-12-30.sql.gz 
webbmaster_bellarose_joomla-2009-12-31.sql.gz 
webbmaster_bellarose_joomla-2010-01-01.sql.gz 
webbmaster_bellarose_joomla-2010-01-02.sql.gz 
webbmaster_bellarose_joomla-2010-01-03.sql.gz 
webbmaster_bellarose_joomla-2010-01-04.sql.gz 
webbmaster_bellarose_joomla-2010-01-05.sql.gz 
webbmaster_bellarose_joomla-2010-01-06.sql.gz 
webbmaster_bellarose_joomla-2010-01-07.sql.gz 
webbmaster_bellarose_joomla-2010-01-08.sql.gz 
webbmaster_bellarose_joomla-2010-01-09.sql.gz 
webbmaster_bellarose_joomla-2010-01-10.sql.gz 
webbmaster_bellarose_joomla-2010-01-11.sql.gz 
webbmaster_bellarose_joomla-2010-01-12.sql.gz 
webbmaster_bellarose_joomla-2010-01-13.sql.gz 
webbmaster_bellarose_joomla-2010-01-14.sql.gz 
webbmaster_bellarose_joomla-2010-01-15.sql.gz 
webbmaster_bellarose_joomla-2010-01-16.sql.gz 
webbmaster_bellarose_joomla-2010-01-17.sql.gz 
webbmaster_bellarose_joomla-2010-01-18.sql.gz 
webbmaster_bellarose_joomla-2010-01-19.sql.gz 
webbmaster_bellarose_joomla-2010-01-20.sql.gz 
webbmaster_bellarose_joomla-2010-01-21.sql.gz 
webbmaster_bellarose_joomla-2010-01-22.sql.gz 
webbmaster_bellarose_joomla-2010-01-23.sql.gz 
webbmaster_bellarose_joomla-2010-01-24.sql.gz 
webbmaster_bellarose_joomla-2010-01-25.sql.gz 
webbmaster_bellarose_joomla-2010-01-26.sql.gz 
webbmaster_bellarose_joomla-2010-01-27.sql.gz 
webbmaster_bellarose_joomla-2010-01-28.sql.gz 
webbmaster_bellarose_joomla-2010-01-29.sql.gz 
/tmp/so/files>ls *sql* | tac | sed 1,7d | tr '\012' '\000' | xargs -0 --no-run-if-empty rm 
/tmp/so/files>ls -1 ./* 
./webbmaster_bellarose_joomla-2010-01-23.sql.gz 
./webbmaster_bellarose_joomla-2010-01-24.sql.gz 
./webbmaster_bellarose_joomla-2010-01-25.sql.gz 
./webbmaster_bellarose_joomla-2010-01-26.sql.gz 
./webbmaster_bellarose_joomla-2010-01-27.sql.gz 
./webbmaster_bellarose_joomla-2010-01-28.sql.gz 
./webbmaster_bellarose_joomla-2010-01-29.sql.gz 
/tmp/so/files>comm -3 ../existing_files.8601 ../targets_for_purging.8601 
./webbmaster_bellarose_joomla-2010-01-23.sql.gz 
./webbmaster_bellarose_joomla-2010-01-24.sql.gz 
./webbmaster_bellarose_joomla-2010-01-25.sql.gz 
./webbmaster_bellarose_joomla-2010-01-26.sql.gz 
./webbmaster_bellarose_joomla-2010-01-27.sql.gz 
./webbmaster_bellarose_joomla-2010-01-28.sql.gz 
./webbmaster_bellarose_joomla-2010-01-29.sql.gz 
/tmp/so/files> 
+0

伟大的技巧前进。 – Eddie 2010-02-20 03:30:52

0
OLDIFS="$IFS" 
IFS=$'\n' 
topurge=($(find -mindepth 1 -printf "%[email protected] %P\n" | sort -n -r | cut -d' ' -f 2- | tail -n +7)) 
IFS="$OLDIFS" 
+0

这版画最多1个文件在我的测试中,它似乎并没有是最古老的或最新的,从一堆只是一个随机文件。 – Eddie 2010-02-20 01:06:51

+0

这将是因为它会创建一个数组。在“$ {topurge [@]}”中尝试使用f;做回声“$ f”;完成'而不是。 – 2010-02-20 01:10:43

0

这里有一个想法:

oldest_to_keep=`find . -name \*.sql | xargs \ls -1rc | tail -7 | head -1` 
find . -name \*.sql -not -samefile $oldest_to_keep -not -newer $oldest_to_keep 

当第二个find应该有-exec rm \{\} ;如果你说服自己这个是理智的。 :)

+0

这是列出我最近的7个测试。 ..但一个好的开始,我可以与/可以合作。 – Eddie 2010-02-20 01:06:12

2

如果这些文件都在一个目录中(即,您不需要使用find来递归子目录),则可以使用ls(1)的-t参数按顺序排序文件列表,然后删除尾部的前7个条目(1)。

rm -f $(ls -t *sql* | tail -n +8) 

[编辑:我的情况下,加入在-f空列表取代产生]

或在环...

ls -t *sql* | tail -n +8 | while read file 
    echo "Purging: $file" 
    rm "$file" 
done 

至尾的参数是8,因为你希望它从第8行开始拖尾(即放弃第7行)。

删除文件后,您可以烧掉剩下的东西。

+0

是的,我想保存最近的7个,不能删除。对于任何可能意味着删除0或63个文件的提供n目录。 – Eddie 2010-02-20 01:13:45

+0

这是保留最新的7.它删除了最近的一次7.关于删除前七个条目的注释是将它们从要清除的文件列表中删除(即保留它们)。 – camh 2010-02-20 01:20:12