Python标记化：标记位置

Question

Python的标记化将所有找到的标记的位置作为（startRow，startCol）和（endRow，endCol）的两个元组返回。

有没有办法将位置作为从字符串开始处的偏移量返回？也就是说，我想摆脱（行，列）而只是“偏移”。

Answer 1

没有一个内置到tokenize。

如果您有权访问由标记器使用的相同行集，则可以运行并将累积的“行X之前的行的总长度”存储到列表中，然后使用它来转换行值转换为附加偏移量。

例如：

import tokenize 

def tokens_with_offset(path): 
    line_offsets = [] 
    line_offset_accum = 0 
    with open(path) as f: 
     for line in f: 
      line_offsets.append(line_offset_accum) 
      line_offset_accum += len(line) 

    with open(path) as f: 
     for ttype, tstring, tbegin, tend, tline in tokenize.generate_tokens(f.readline): 
      offset_begin = line_offsets[tbegin[0]] + tbegin[1] 
      offset_end = line_offsets[tend[0]] + tend[1] 
      yield ttype, tstring, offset_begin, offset_end, tline 

（注：没有测试此代码，它更是一般概念的一个例子）