比较两个CSV文件，并获得差异

Question

我有两个csv文件，我需要比较，然后吐出differnces：

CSV格式：

Name Produce Number 
Adam Apple  5 
Tom Orange 4 
Adam Orange 11 

我需要比较两个CSV文件，然后告诉我，在表格和表格2上是否存在亚当斯苹果之间的差异，并为所有名字和数字做这些事情。两个CSV文件都将被格式化。

任何指针将不胜感激

Answer 1

一个最好的工具，用于比较两个不同的文件是diff。

见Python实现在这里：Comparing two .txt files using difflib in Python

Answer 2

这里不使用difflib一个开始。这只是建立起来的一点，因为也许亚当和苹果在纸上出现两次;你能确保不是这样吗？苹果应该总结还是错误​​？

import csv 
fsock = open('sheet.csv','rU') 
rdr = csv.reader(fsock) 
sheet1 = {} 
for row in rdr: 
    name, produce, amount = row 
    sheet1[(name, produce)] = int(amount) # always an integer? 
fsock.close() 
# repeat the above for the second sheet, then compare 

你明白了吗？

Answer 3

import csv 

def load_csv_to_dict(fname, get_key, get_data): 
    with open(fname, 'rb') as inf: 
     incsv = csv.reader(inf) 
     incsv.next() # skip header 
     return {get_key(row):get_data(row) for row in incsv} 

def main(): 
    key = lambda r: tuple(r[0:2]) 
    data = lambda r: int(r[2]) 
    f1 = load_csv_to_dict('file1.csv', key, data) 
    f2 = load_csv_to_dict('file2.csv', key, data) 

    f1keys = set(f1.iterkeys()) 
    f2keys = set(f2.iterkeys()) 

    print("Keys in file1 but not file2:") 
    print(", ".join(str(a)+":"+str(b) for a,b in (f1keys-f2keys))) 

    print("Keys in file2 but not file1:") 
    print(", ".join(str(a)+":"+str(b) for a,b in (f2keys-f1keys))) 

    print("Differing values:") 
    for k in (f1keys & f2keys): 
     a,b = f1[k], f2[k] 
     if a != b: 
      print("{}:{} {} <> {}".format(k[0],k[1], a, b)) 

if __name__=="__main__": 
    main() 

Answer 4

如果您的CSV文件没有那么大，他们会带给你的机器瘫痪，如果将其加载到内存中，那么你可以尝试这样的：

import csv 
csv1 = list(csv.DictReader(open('file1.csv'))) 
csv2 = list(csv.DictReader(open('file2.csv'))) 
set1 = set(csv1) 
set2 = set(csv2) 
print set1 - set2 # in 1, not in 2 
print set2 - set1 # in 2, not in 1 
print set1 & set2 # in both 

对于大文件，你可以将它们加载到SQLite3数据库中，并使用SQL查询来完成相同的操作，或者通过相关键进行排序，然后进行匹配合并。

Answer 5

如果您想要将Python的csv模块和函数发生器一起使用，可以使用嵌套循环并比较大的.csv文件。

import csv 

def csv_lazy_get(csvfile): 
    with open(csvfile) as f: 
     r = csv.reader(f) 
     for row in r: 
      yield row 

def csv_cmp_lazy(csvfile1, csvfile2): 
    gen_2 = csv_lazy_get(csvfile2) 

    for row_1 in csv_lazy_get(csvfile1): 
     row_2 = gen_2.next() 

     print("row_1: ", row_1) 
     print("row_2: ", row_2) 

     if row_2 == row_1: 
      print("row_1 is equal to row_2.") 
     else: 
      print("row_1 is not equal to row_2.") 

    gen_2.close() 

Answer 6

我用csvdiff

$pip install csvdiff 
$csvdiff --style=compact col1 a.csv b.csv 

Link to package on pypi

I found this link useful