阅读python中的csv文件的问题

Question

我想读一个非常简单但在某种程度上使用python中的csv库的大型（800Mb）csv文件。分隔符是单个选项卡，每行包含一些数字。 每一行是一个记录，我有我的文件20681行。在使用此文件进行计算时，我遇到了一些问题，它总是停在某一行。我怀疑，在file.I使用下面的代码来算这个文件行的数目行数：

tfdf_Reader = csv.reader(open('v2-host_tfdf_en.txt'),delimiter=' ') 
c = 0 
for row in tfdf_Reader: 
    c = c + 1 
print c 

令我惊讶的c的印有61722的价值！这是为什么发生？我究竟做错了什么？

Answer 1

文件中的8亿字节和20681行意味着平均行大小超过38千字节。你确定吗？你预计每行有多少个数字？你怎么知道你有20681行？该文件是800 Mb？

61722行几乎是完全的3倍20681 - 是任何意义数3例如每条记录的3个逻辑子部分？

要了解您文件中的真实含义，请不要依赖它的外观。 Python的repr()函数是你的朋友。

你在Windows？即使不，总是open(filename, 'rb')。

如果这些字段是制表符分隔的，那么不要把delimeter=" "（不管是引号之间的任何内容都不是制表符）。把delimiter="\t"。

尝试把一些调试语句，在代码中，像这样的：

DEBUG = True 
f = open('v2-host_tfdf_en.txt', 'rb') 
if DEBUG: 
    rawdata = f.read(200) 
    f.seek(0) 
    print 'rawdata', repr(rawdata) 
    # what is the delimiter between fields? between rows? 
tfdf_Reader = csv.reader(f,delimiter=' ') 
c = 0 
for row in tfdf_Reader: 
    c = c + 1 
    if DEBUG and c <= 10: 
     print "row", c, repr(row) 
     # Are you getting rows like you expect? 
print "rowcount", c 

注意：如果你正在Error: field larger than field limit (131072)，这意味着你的文件有没有分隔符的数据为128Kb。

我会怀疑：

（一）你的文件有随机的垃圾或apppended它二进制0的一大块 - 这应该是显而易见的十六进制编辑器;它也应该在TEXT编辑器中显而易见。打印您所做的所有行，以帮助确定故障发生的位置。

或（b）分隔符是一个或多个空格字符（空格，制表符）的字符串，前几行有制表符，其余行有空格。如果是的话，这应该是一个十六进制编辑器明显（或记事本+ +，特别是如果你做View/Show Symbol/Show all characters）。如果是这种情况，你不能使用csv，你需要一些简单的东西：

f = open('v2-host_tfdf_en.txt', 'r') # NOT 'rb' 
rows = [line.split() for line in f] 

Answer 2

我的第一个猜测将是分隔符。你如何确保分隔符是一个制表符？ 什么是真正要传递的价值？ （你的代码列出了一个空格，但我相信你打算通过别的东西）。

如果您的文件是制表符分隔的，那么请专门查找'\ t'作为您的分隔符。寻找一个空间会搞砸你的数据中不存在空格的情况，而不是列分隔符。

此外，如果您的文件是一个excel选项卡，那么有一个特殊的“方言”。