在Python中迭代时跳过CSV文件的最后一行

Question

我正在使用从datawarehouse（Cognos）获取的CSV文件进行数据分析。 CSV文件的最后一行总结了上面所有的行，但我不需要这一行来进行分析，所以我想跳过最后一行。

我在考虑添加“if”语句来检查我的“for”循环中的列名称，如下所示。

import CSV 

with open('COGNOS.csv', "rb") as f, open('New_COGNOS.csv', "wb") as w: 
    #Open 2 CSV files. One to read and the other to save. 
    CSV_raw = csv.reader(f) 
    CSV_new = csv.writer(w) 
    for row in CSV_raw: 
     item_num = row[3].split(" ")[0] 
     row.append(item_num) 
     if row[0] == "All Materials (By Collection)": break 
     CSV_new.writerow(row) 

但是，这看起来像浪费了大量资源。在迭代CSV文件时，有没有python的方法可以跳过最后一行？

Answer 1

你可以写一个生成器，会在输入迭代器返回的一切，但最后一个条目：

def skip_last(iterator): 
    prev = next(iterator) 
    for item in iterator: 
     yield prev 
     prev = item 

然后换你CSV_raw读者对象在于：

for row in skip_last(CSV_raw): 

发电机基本上采用第一个入口，然后开始循环，每次迭代产生前一个入口。当输入迭代器完成后，仍然有一行，这是永远不会返回。

的通用版本，让你跳过最后n元素，将是：

from collections import deque 
from itertools import islice 

def skip_last_n(iterator, n=1): 
    it = iter(iterator) 
    prev = deque(islice(it, n), n) 
    for item in it: 
     yield prev.popleft() 
     prev.append(item) 

Answer 2

广义 “跳过N” 发电机

from __future__ import print_function 
from StringIO import StringIO 
from itertools import tee 
s = '''\ 
1 
2 
3 
4 
5 
6 
7 
8 
''' 
def skip_last_n(iterator, n=1): 
    a, b = tee(iterator) 
    for x in xrange(n): 
      next(a) 
    for line in a: 
      yield next(b) 

i = StringIO(s) 
for x in skip_last_n(i, 1): 
    print(x, end='') 
1 
2 
3 
4 
5 
6 
7 

i = StringIO(s) 
for x in skip_last_n(i, 3): 
    print(x, end='') 
1 
2 
3 
4 
5