如何解析日志文件中的行？

Question

我需要提取以下的输出的值：

Oct 6 17:29:52 FW kernel: [ 5470.058450] ipTables: IN= OUT=eth0 SRC=192.168.1.116 DST=192.168.1.110 LEN=516 TOS=0x10 PREC=0x00 TTL=64 ID=4949 DF PROTO=TCP SPT=22 DPT=46216 WINDOW=446 RES=0x00 ACK PSH URGP=0 

我需要例如存储在值PROTO的值。尝试shellscripting，我的问题是，它只有在日志条目每次都是相同的顺序。

所以这好好尝试一下工作：

while read line 
do 
     in_if=`echo $line | cut -d ' ' -f 10 | cut -d '=' -f 2`; 
     out_if=`echo $line | cut -d ' ' -f 11 | cut -d '=' -f 2`; 
     src_ip=`echo $line | cut -d ' ' -f 12 | cut -d '=' -f 2`; 
     dst_ip=`echo $line | cut -d ' ' -f 13 | cut -d '=' -f 2`; 
     pro=`echo $line | cut -d ' ' -f 20 | cut -d '=' -f 2`; 
     echo "$in_if,$out_if,$src_ip,$dst_ip,$pro" >> output.csv; 
done < $tmp_file 

Answer 1

你可以这样做不接触的Perl。你在正确的轨道上，但用正则表达式，你可以按名称搜索，而不是位置。

此外，你应该把报价放在$ line附近，这样你就不会被任何管道或分号挂在身边。

pro=`echo "$line" | grep -o 'PROTO=\w+\+' | cut -d '=' -f 2`; 

当然，如果你没有要使用Perl，你可以做一个多雨衣的解决方案：

#!/usr/bin/perl 
while(<>) { 
    /IN=(\S*) .*OUT=(\S*) .*SRC=(\S*) .*DST=(\S*) .*PROTO=(\S*)/ 
     and print "$1,$2,$3,$4,$5\n"; 
} 

然后调用：

./thatScript.pl logFile.txt >>output.csv 

Answer 2

你甚至不需要剪切：

grep -Po "(?<=PROTO=)\w+" yourFile 

OR

sed -r 's/.*PROTO=(\w+).*/\1/' yourFile 

OR

awk -F'PROTO=' '{split($2,a," ");print a[1]}' yourfile 

测试：

kent$ echo "Oct 6 17:29:52 FW kernel: [ 5470.058450] ipTables: IN= OUT=eth0 SRC=192.168.1.116 DST=192.168.1.110 LEN=516 TOS=0x10 PREC=0x00 TTL=64 ID=4949 DF PROTO=TCP SPT=22 DPT=46216 WINDOW=446 RES=0x00 ACK PSH URGP=0"|grep -Po "(?<=PROTO=)\w+" 
TCP 

kent$ echo "Oct 6 17:29:52 FW kernel: [ 5470.058450] ipTables: IN= OUT=eth0 SRC=192.168.1.116 DST=192.168.1.110 LEN=516 TOS=0x10 PREC=0x00 TTL=64 ID=4949 DF PROTO=TCP SPT=22 DPT=46216 WINDOW=446 RES=0x00 ACK PSH URGP=0"|sed -r 's/.*PROTO=(\w+).*/\1/' 
TCP 

kent$ echo "Oct 6 17:29:52 FW kernel: [ 5470.058450] ipTables: IN= OUT=eth0 SRC=192.168.1.116 DST=192.168.1.110 LEN=516 TOS=0x10 PREC=0x00 TTL=64 ID=4949 DF PROTO=TCP SPT=22 DPT=46216 WINDOW=446 RES=0x00 ACK PSH URGP=0"|awk -F'PROTO=' '{split($2,a," ");print a[1]}' 
TCP 

Answer 3

在Perl中这应该做到这一点

#consider the $a variable has the log file my 
$a = <<log file>>; 
my $desired_answer; 
#regex 
if ($a =~ m/PROTO=(.*?) /ig) 
{ $desired_answer=$1; } 

Answer 4

Python做这个方便。获得所有KEY =值对的一般解决方案是：

import re 
import fileinput 

pair_re = re.compile('([^ ]+)=([^ ]+)') # Matches KEY=value pair 

for line in fileinput.input(): # The script accepts both data from stdin or a filename 

    line = line.rstrip() # Removes final spaces and newlines 
    data = dict(pair_re.findall(line)) # Fetches all the KEY=value pairs and puts them in a dictionary 

    # Example of usage: 
    print "PROTO =", data['PROTO'], "SRC =", data['SRC'] # Easy access to any value 

这可以说比shell脚本更清晰，更灵活和更方便。

Answer 5

一个简单的Perl的解决方案可能是最可读的一个：

#!/usr/bin/env perl 

use strict; use warnings; 

my $s = q{Oct 6 17:29:52 FW kernel: [ 5470.058450] ipTables: IN= OUT=eth0 
SRC=192.168.1.116 DST=192.168.1.110 LEN=516 TOS=0x10 PREC=0x00 TTL=64 
ID=4949 DF PROTO=TCP SPT=22 DPT=46216 WINDOW=446 RES=0x00 ACK PSH URGP=0}; 

while ($s =~ /(?<k> [A-Z]+) = (?<v> \S*)/xg) { 
    print "'$+{k}' = '$+{v}'\n"; 
} 

C:\Temp> z 
'IN' = '' 
'OUT' = 'eth0' 
'SRC' = '192.168.1.116' 
'DST' = '192.168.1.110' 
'LEN' = '516' 
'TOS' = '0x10' 
'PREC' = '0x00' 
'TTL' = '64' 
'ID' = '4949' 
'PROTO' = 'TCP' 
'SPT' = '22' 
'DPT' = '46216' 
'WINDOW' = '446' 
'RES' = '0x00' 
'URGP' = '0'

，您还可以在日志行指定信息的哈希：

my %entry = ($s =~ /(?<k> [A-Z]+) = (?<v> \S*)/xg); 

Answer 6

感谢所有答复！

我选择使用egrep的正则表达式和的shellscripting的方式......

in_if=`echo "$line" | egrep -Eo 'IN=eth[0-9]*\b' | cut -d '=' -f 2`; 
out_if=`echo "$line" | egrep -Eo 'OUT=eth[0-9]*\b' | cut -d '=' -f 2`; 
src_ip=`echo "$line" | egrep -Eo 'SRC=[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}' | cut -d '=' -f 2`; 
dst_ip=`echo "$line" | egrep -Eo 'DST=[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}' | cut -d '=' -f 2`; 
pro=`echo "$line" | grep -o 'PROTO=[A-Z]*\b' | cut -d '=' -f 2`;