44
我的源数据是在一个TSV文件,6列和大于2个百万行。读取和解析的TSV文件,然后操纵它保存为CSV(*有效*)
这里就是我试图完成:
- 我需要在列3读取数据(3,4,5)在这个源文件
- 第五栏是一个整数。我需要使用此整数值来复制使用第三列和第四列中的数据(按整数次数)的行条目。
- 我想将#2的输出写入CSV格式的输出文件。
下面是我想出了。
我的问题:这是一种有效的方式做到这一点?在200万行上尝试时似乎可能是密集型的。
首先,我做了一个样本标签单独的文件的工作,并把它称为“sample.txt的”。这是基本的和只有四行:
Row1_Column1 Row1-Column2 Row1-Column3 Row1-Column4 2 Row1-Column6
Row2_Column1 Row2-Column2 Row2-Column3 Row2-Column4 3 Row2-Column6
Row3_Column1 Row3-Column2 Row3-Column3 Row3-Column4 1 Row3-Column6
Row4_Column1 Row4-Column2 Row4-Column3 Row4-Column4 2 Row4-Column6
然后我有这样的代码:
import csv
with open('sample.txt','r') as tsv:
AoA = [line.strip().split('\t') for line in tsv]
for a in AoA:
count = int(a[4])
while count > 0:
with open('sample_new.csv','ab') as csvfile:
csvwriter = csv.writer(csvfile, delimiter=',')
csvwriter.writerow([a[2], a[3]])
count = count - 1
谢谢你,这是完美的。我会投票答复,但不再有足够的代表点。这就是我所要求的一个愚蠢的问题,首先被投票。 – CJH
@CJH:NP,今天已经达到了代表帽,所以对于我的声誉来说,这不会有什么不同。 :-) –
对不起,我的无知,但在最后一行的下划线是什么意思/做什么? –