2013-01-22 74 views
-1

我需要帮助才能从文件中提取巧合。Shell脚本linux减法参数grep

我捕获网络流量使用tcpdump命令

tcpdump的-Xvv -i eth0的> captureFile.txt

鉴于指定找到的所有值的IP报头,TCP和以太网的任何领域捕获的流量并计算该域的值多少倍。例如,如果假设TTL = 128 TTL = 64,则指示具有每个这些值的字段有多少个数据包。

文件的内容:

09:26:13.245546 IP (tos 0x0, ttl 1, id 3439, offset 0, flags [none], proto UDP (17), length 1018) 
10.0.0.226.58935 > 239.255.255.250.3702: UDP, length 990 
    0x0000: 4500 03fa 0d6f 0000 0111 ada8 0a00 00e2 E....o.......... 
    0x0010: efff fffa e637 0e76 03e6 7ec0 3c3f 786d .....7.v..~.<?xm 
    0x0020: 6c20 7665 7273 696f 6e3d 2231 2e30 2220 l.version="1.0". 
    0x0030: 656e 636f 6469 6e67 3d22 7574 662d 3822 encoding="utf-8" 
    0x0040: 3f3e 3c73 6f61 703a 456e 7665   ?><soap:Enve 
09:26:13.339173 IP6 (hlim 1, next-header UDP (17) payload length: 998) fe80::21e9:f54b:9ae7:6383.58936 > ff02::c.3702: UDP, length 990 
    0x0000: 6000 0000 03e6 1101 fe80 0000 0000 0000 `............... 
    0x0010: 21e9 f54b 9ae7 6383 ff02 0000 0000 0000 !..K..c......... 
    0x0020: 0000 0000 0000 000c e638 0e76 03e6 666c .........8.v..fl 
    0x0030: 3c3f 786d 6c20 7665 7273 696f 6e3d 2231 <?xml.version="1 
    0x0040: 2e30 2220 656e 636f 6469 6e67   .0".encoding 
09:26:13.407313 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 10.0.3.118 tell 10.0.1.215, length 46 
    0x0000: 0001 0800 0604 0001 0009 0fcb 0a0c 0a00 ................ 
    0x0010: 01d7 0000 0000 0000 0a00 0376 0000 0000 ...........v.... 
    0x0020: 0000 0000 0000 0000 0000 d9c4 62a8  ............b. 
09:26:13.525954 IP (tos 0x0, ttl 128, id 3441, offset 0, flags [none], proto UDP (17), length 161) 
10.0.0.226.59131 > 239.255.255.250.1900: UDP, length 133 
    0x0000: 4500 00a1 0d71 0000 0111 b0ff 0a00 00e2 E....q.......... 
    0x0010: efff fffa e6fb 076c 008d 6fa6 4d2d 5345 .......l..o.M-SE 
    0x0020: 4152 4348 202a 2048 5454 502f 312e 310d ARCH.*.HTTP/1.1. 
    0x0030: 0a48 6f73 743a 3233 392e 3235 352e 3235 .Host:239.255.25 
    0x0040: 352e 3235 303a 3139 3030 0d0a   5.250:1900.. 
09:26:13.557002 IP (tos 0x0, ttl 1, id 3442, offset 0, flags [none], proto UDP (17), length 161) 
10.0.0.226.59131 > 239.255.255.250.1900: UDP, length 133 
    0x0000: 4500 00a1 0d72 0000 0111 b0fe 0a00 00e2 E....r.......... 
    0x0010: efff fffa e6fb 076c 008d 6fa6 4d2d 5345 .......l..o.M-SE 
    0x0020: 4152 4348 202a 2048 5454 502f 312e 310d ARCH.*.HTTP/1.1. 
    0x0030: 0a48 6f73 743a 3233 392e 3235 352e 3235 .Host:239.255.25 
    0x0040: 352e 3235 303a 3139 3030 0d0a   5.250:1900.. 
09:26:13.642734 IP (tos 0x0, ttl 1, id 21767, offset 0, flags [none], proto UDP (17), length 684) 
10.0.0.237.58882 > 239.255.255.250.3702: UDP, length 656 
    0x0000: 4500 02ac 5507 0000 0111 6753 0a00 00ed E...U.....gS.... 
    0x0010: efff fffa e602 0e76 0298 5568 3c3f 786d .......v..Uh<?xm 
    0x0020: 6c20 7665 7273 696f 6e3d 2231 2e30 2220 l.version="1.0". 
    0x0030: 656e 636f 6469 6e67 3d22 7574 662d 3822 encoding="utf-8" 
    0x0040: 3f3e 3c73 6f61 703a 456e 7665   ?><soap:Enve 
09:26:13.642960 IP6 (hlim 1, next-header UDP (17) payload length: 664) fe80::b8a2:bd0:4e0b:1bb5.58883 > ff02::c.3702: UDP, length 656 
    0x0000: 6000 0000 0298 1101 fe80 0000 0000 0000 `............... 
    0x0010: b8a2 0bd0 4e0b 1bb5 ff02 0000 0000 0000 ....N........... 
    0x0020: 0000 0000 0000 000c e603 0e76 0298 248c ...........v..$. 
    0x0030: 3c3f 786d 6c20 7665 7273 696f 6e3d 2231 <?xml.version=" 
09:26:13.642999 IP (tos 0x0, ttl 64, id 21767, offset 0, flags [none], proto UDP (17), length 684) 
10.0.0.237.58882 > 239.255.255.250.3702: UDP, length 656 
    0x0000: 4500 02ac 5507 0000 0111 6753 0a00 00ed E...U.....gS.... 
    0x0010: efff fffa e602 0e76 0298 5568 3c3f 786d .......v..Uh<?xm 
    0x0020: 6c20 7665 7273 696f 6e3d 2231 2e30 2220 l.version="1.0". 
    0x0030: 656e 636f 6469 6e67 3d22 7574 662d 3822 encoding="utf-8" 
    0x0040: 3f3e 3c73 6f61 703a 456e 7665   ?><soap:Enve 

的结果必然是:

ttl 64 - 1 time 
ttl 128 - 1 time 
ttl 1 - 3 times 
+0

'grep“whatyouwanttosearch”captureFile.txt | wc -l'就够了? –

+1

@DavideBerra你不需要这个,grep有-c选项 – Kent

+0

事实上,有时我会忘记明显;) –

回答

2

我认为这将是与您的预期产出完全相同。

grep -ioP 'ttl \d+' file|awk '{a[$0]++}END{for(x in a)print x" - "a[x]" times"}' 

输出为:

ttl 1 - 3 times 
ttl 64 - 1 times 
ttl 128 - 1 times 

以及不准确一样,因为我没有检查时间和次数..你真的需要吗?它可以轻松完成。

编辑

为OP要求,输出时间/时间取决于计数:

grep -ioP 'ttl \d+' file|awk '{a[$0]++}END{for(x in a)print x" - "a[x]" time"(a[x]>1?"s":"")}' 

输出:

ttl 1 - 3 times 
ttl 64 - 1 time 
ttl 128 - 1 time 
+0

如果是可行的检查时间和时间将是伟大的:) – Litox

+0

@CarlosLensGrela请参阅编辑,时间(s)在那里。 – Kent

+0

非常感谢很多人!你是上帝!如果可能的话,你可以帮我这个 - > http://stackoverflow.com/questions/14461964/get-information-from-a-file-shell-script-linux-grep-command – Litox

0

两种方法:

如果你有perl

captureFile.txt | 
perl -ne '/ttl (\d+),/ and $TTL{$1}++; 
    END { for my $ttl (keys %TTL) {print "* ttl $1 - $TTL{$ttl} time\n"}}' 

应该做的它。但我认为uniq -c还可以与grep工作...

captureFile.txt | egrep -o 'ttl ([0-9]+)' | uniq -c 

而且得到你要求的确切输出格式,只需添加这之后uniq -c

| awk '{print "* ttl "$3" - "$1" time"}' 
0
grep "ttl [0-9]*" captureFile.txt -o 

仅会得到有关文本文件的一部分。

grep "ttl [0-9]*" captureFile.txt -o | 
awk 'NF{ count[ toupper($0) ]++} 
END{ for (name in count) { print "*" name " - " count[ name ] " times" 
}; 
}' 

会得到你想要的格式。

0

这是一个有点长,我敢肯定,它可以进行重构了不少,但如果你不这样做它的工作原理|无法安装perl

grep ttl captureFile.txt | awk '{print $5,$6}' | sed 's/,//' | sort | uniq -c | awk '{print $2,$3,"-",$1,"times"}'

+0

cat | grep | awk | sed | sort | uniq | awk ...哪里是连接,粘贴...? – Kent

+0

它工作正常。但是,如果我需要其他标题,如偏移量或ID? – Litox

+0

@Kent我知道它非常冗长,但我在记住调用'perl -ne'的特定语法时相当不好。我敢肯定,如果我仔细考虑一下,我会设法加入并粘贴到那里:) –

0

简单awk脚本:

$ awk -F, '/ttl/{u[$2]++}END{for(k in u)print k" - "u[k]" time"(u[k]>1?"s":"")}' 
ttl 128 - 1 time 
ttl 64 - 1 time 
ttl 1 - 3 times 

无需浪费子流程。

+0

很好的答案。两条评论。 1)better/ttl [0-9] + /因为文本可以“解决”2)OP已经评论了其他人的答案,他也想得到一些其他参数。 ID,偏移量,这就是为什么我认为grep | awk对他更容易。当然你的线也可以工作,但是人必须改变/.../和字段索引。 awk是一个强大的核武器,我不能同意更多,如果有其他工具的帮助,它可以使生活更轻松,为什么不呢?你知道我不是指sed | awk | grep | sed | sed | awk .. :) – Kent