Bash脚本批量转换IP地址到CIDR？

Question

好的，这是问题所在。

我有IP的明文地址列表，我堵在我的服务器，越来越大，越来越臃肿，每天（加3000+今天条目单独）。

它已经被分类为重复所以这不是一个问题。我想要做的就是编写一个脚本来完成它，并将条目合并为一个更好的质量块。

例如，借此：

2.132.35.104 
2.132.79.240 
2.132.99.87 
2.132.236.34 
2.132.245.30 

，把它变成这样：

2.132.0.0/16 

如何代码在bash脚本有什么建议？

更新：我已经制定了部分路该怎么做我需要。将其转换为/ 24很容易，如下所示：

cat /usr/local/blocks/blocks.txt | while read line; do 
    oc1=`echo "$line" | cut -d '.' -f 1` 
    oc2=`echo "$line" | cut -d '.' -f 2` 
    oc3=`echo "$line" | cut -d '.' -f 3` 
    oc4=`echo "$line" | cut -d '.' -f 4` 
    echo "$oc1.$oc2.$oc3.0/24" >> twentyfour.srt 
done 

sort -u twentyfour.srt > twentyfour.txt 
rm -f twentyfour.srt 
ori=`cat /usr/local/blocks/blocks.txt | wc -l` 
new=`cat twentyfour.txt | wc -l` 
echo "$ori" 
echo "$new" 

将其从4,452个条目减少到4,148个条目。

而是具有：

109.86.9.93 
109.86.26.77 
109.86.55.225 
109.86.70.224 
109.86.87.199 
109.86.89.202 
109.86.95.248 
109.86.100.19 
109.86.110.43 
109.86.145.216 
109.86.152.86 
109.86.155.238 
109.86.156.54 
109.86.187.91 
109.86.228.86 
109.86.234.51 
109.86.239.61 

我现在有：

109.86.100.0/24 
109.86.110.0/24 
109.86.145.0/24 
109.86.152.0/24 
109.86.155.0/24 
109.86.156.0/24 
109.86.187.0/24 
109.86.228.0/24 
109.86.234.0/24 
109.86.239.0/24 
109.86.26.0/24 
109.86.55.0/24 
109.86.70.0/24 
109.86.87.0/24 
109.86.89.0/24 
109.86.9.0/24 
109.86.95.0/24 

一切都很好。但是，从109.86开始有17个参赛作品。 。地区。在前24个字节中匹配5个以上的前2个字节的情况下，我想将其减少到/ 16。

这就是我卡住的地方。

更新2：

对于史蒂夫：Here's the block list for today.而这里的result so far.显然它不是去除二十四是在十六近乎重复的条目。

Answer 1

我希望我能告诉你，这是一个简单的过滤器。但是，所有2.0.0.0/8网络都已注册到RIPE NCC。有太多不同范围的阻塞IP地址，它更容易缩小你想要的访问者的范围而不是你不想要的范围。

您还可以使用各种工具来自动阻止攻击。

地图，以确定哪个是哪个。 https://www.iana.org/numbers 这里我只为你做了一个脚本。然后，您可以为每个主注册表创建主要阻止列表。 Afrinic，Lacnic，Apnic，Ripe和Arin。 create_tables_by_registry.sh

只要运行该脚本...然后运行以下registry.sh文件。 （E.g; ripe.sh）

#!/bin/bash 
# Author: Steve Kline 
# Date: 03-04-2014 
# Designed and tested to run on properly on CentOS 6.5 
#Grab Updated IANA Address Space Assignments only if Newer Version 
    wget -N https://www.iana.org/assignments/ipv4-address-space/ipv4-address-space.txt 
assigned=ipv4-address-space.txt 
arrayregistry=(afrinic apnic arin lacnic ripe) 
for registry in "${arrayregistry[@]}" 
do 
#Clean up the ipv4-address-space.txt file and keep useable IPs 
grep "$registry" $assigned | sed 's/\/8/\.0\.0\.0\/8/g'| colrm 15 > $registry-tmp1.txt 
ip=($(cat $registry-tmp1.txt)) 
echo "#!/bin/bash" > $registry.sh 
for ip in "${ip[@]}" 
    do 
    echo $ip | sed -e 's/" "//g' > $registry-tmp2.txt 
    #INSERT OR MODIFY YOUR COMPATIBLE FIREWALL RULES HERE 
    #This section creates the country to block. 
    echo "iptables -A INPUT -s $ip -j DROP" >> $registry.sh 
    chmod +x $registry.sh 
done 
    rm $registry-tmp1.txt -f 
    rm $registry-tmp2.txt -f 
done 

好的！好吧，我回来了，这里有点疯狂，有点疯狂......我想我帮你弄清楚了这一点。我相信你可以拼凑出一个修改来更好地满足你的需求。

#MODIFY FOR YOUR LIST OF IP ADDRESSES 
BADIPS=block.ip 
twentyfour=./twentyfour.ips #temp file for all IPs converted to twentyfour net ids 
sixteen=./sixteen.ips #temp file for sixteen bit 
twentyfourlst1=./twentyfour1.txt #temp file for 24 bit IDs 
twentyfourlst2=./twentyfour2.txt #temp file for 24 bit IDs filtered by 16 bit IDs that match 
sixteenlst=./sixteen.txt #temp file for parsed sixteenbit 
#MODIFY FOR YOUR OUTPUT OF CIDR ADDRESSES 
finalfile=./blockips.list #Final file post-merge 

cat $BADIPS | while read line; do 
oc1=`echo "$line" | cut -d '.' -f 1` 
oc2=`echo "$line" | cut -d '.' -f 2` 
oc3=`echo "$line" | cut -d '.' -f 3` 
oc4=`echo "$line" | cut -d '.' -f 4` 
echo "$oc1.$oc2.$oc3.0/24" >> $twentyfour 
echo "$oc1.$oc2.0.0/16" >> $sixteen 
done 
awk '{i=1;while(i <= NF){a[$(i++)]++}}END{for(i in a){if(a[i]>4){print i,a[i]}}}' $sixteen | sed 's/ [0-9]\| [0-9][0-9]\| [0-9][0-9][0-9]//g' > $sixteenlst 
sort -u $twentyfour > twentyfour.txt 
# THIS FINDS NEAR DUPLICATES MATCHING FIRST TWO OCTETS 
cat $sixteenlst | while read line; do 
    oc1=`echo "$line" | cut -d '.' -f 1` 
    oc2=`echo "$line" | cut -d '.' -f 2` 
    oc3=`echo "$line" | cut -d '.' -f 3` 
    oc4=`echo "$line" | cut -d '.' -f 4` 
    grep "\b$oc1.$oc2\b" twentyfour.txt >> duplicates.txt  
done 
#THIS REMOVES THE NEAR DUPLICATES FROM THE TWENTYFOUR FILE 
fgrep -vw -f duplicates.txt twentyfour.txt > twentyfourfinal.txt 
#THIS MERGES BOTH RESULTS 
cat twentyfourfinal.txt $sixteenlst > $finalfile 
sort -u $finalfile 
ori=`cat $BADIPS | wc -l` 
new=`cat $finalfile | wc -l` 
echo "$ori" 
echo "$new" 
#LAST MIN CLEANUP 
rm -f $twentyfour $twentyfourlst $sixteen $sixteenlst duplicates.txt twentyfourfinal.txt 

回去修复：我注意到一个问题......最初不成功。 `grep的“ $ OC1 $ OC1” twentyfour.txt> duplicates.txt

例如：旧脚本曾与该测试IP范围......现在上面的更新版本不好的结果......不正是如其预期的那样。完全匹配八位字节......而不是类似的。

192.168.1.1 
192.168.2.50 
192.168.5.23 
192.168.14.10 
192.168.10.5 
192.168.24.25 
192.165.20.10 
10.192.168.30 
5.76.10.20 
5.76.20.30 
5.76.250.10 
5.76.34.10 
5.76.50.30 
95.76.30.1 - Old script matched this to 5.76 
20.20.5.5 
20.20.10.10 
20.20.16.50 
20.20.205.20 
20.20.60.20 
205.20.16.20 - not a problem 
20.205.150.150 - Old script matched this to 20.20 
220.20.16.0 - Also failed without adding -w parameter to the last grep to only match exact strings.