如何在二进制文件中打印可打印字符（等价于Linux下的字符串）？

Question

我正在从python 2开始将python应用程序转换为python 3.我使用的其中一个功能是从二进制文件中获取可打印字符。我刚才用下面的python 2的功能和它的伟大工作：

import string 

def strings(filename, min=4): 
    with open(filename, "rb") as f: 
     result = "" 
     for c in f.read(): 
      if c in string.printable: 
       result += c 
       continue 
      if len(result) >= min: 
       yield result 
      result = "" 
     if len(result) >= min: # catch result at EOF 
      yield result 

代码实际上是从Python equivalent of unix "strings" utility。当我运行与Python 2它产生的输出这样上面的代码是绝对OK对我来说：

+s 
^!1^ 
i*Q(
}"~ 
%lh!ghY 
#dh! 
!`,! 
mL#H 
o!<XXT0 
' < 
z !Uk 
% 
wS 
n` !wl 
*ty 

(Q 6 
!XPLO$ 
E#kF 

然而，函数给出的python 3.奇怪的结果它产生错误：

TypeError: 'in <string>' requires string as left operand, not int 

所以我由与此

更换此

if c in string.printable: 

转换的 'INT' 到 'STR'

（I也被转换，其中相同的错误消息被抛出的所有地方）

现在蟒3给出以下输出：

56700 
0000000000000000000000000000000000000000 
1236 
60000 
400234 
00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000 
2340 
0000 
5010 
5000 
17889 
2348 
23400000000 
5600 

我不能看到任何字符时我使用Python 3。赞赏获得代码工作或指向解决方案的任何帮助。我所需要的只是从二进制文件中提取字符串（非常小，几kb），并将其存储在一个变量中。

Answer 1

在Python 3中，以二进制模式打开文件会给出bytes结果。在bytes对象上执行迭代会给出整数，而不是字符，其范围为0到255（含）。从bytes documentation：

While bytes literals and representations are based on ASCII text, bytes objects actually behave like immutable sequences of integers, with each value in the sequence restricted such that 0 <= x < 256

转换string.printable一组和测试针对：

printable = {ord(c) for c in string.printable} 

和

if c in printable: 

接下来，您要附加到一个bytesarray()对象让事情变得合理并从ASCII解码产生str结果：

printable = {ord(c) for c in string.printable} 

with open(filename, "rb") as f: 
    result = bytearray() 
    for c in f.read(): 
     if c in printable: 
      result.append(c) 
      continue 
     if len(result) >= min: 
      yield result.decode('ASCII') 
      result.clear() 
    if len(result) >= min: # catch result at EOF 
     yield result 

而不是由一个遍历一个字节，你可以代替分裂的任何事情是不打印：

import re 

nonprintable = re.compile(b'[^%s]+' % re.escape(string.printable.encode('ascii'))) 

with open(filename, "rb") as f: 
    for result in nonprintable.split(f.read()): 
     if result: 
      yield result.decode('ASCII') 

我想探索读取文件中块而不是一个走;不要试图去适应一个大文件到内存中的一个去这里：

with open(filename, "rb") as f: 
    buffer = b'' 
    for chunk in iter(lambda: f.read(2048), b''): 
     splitresult = nonprintable.split(buffer + chunk)    
     buffer = splitresult.pop() 
     for string in splitresult: 
      if string: 
       yield string.decode('ascii') 
    if buffer: 
     yield buffer.decode('ascii') 

缓冲区进行过任何不完整的字，从一个块到下一个; re.split()分别在开始和结束时产生空值，如果输入以非打印字符开始或结束。

Answer 2

我相信这会奏效。

作为发电机：

import string, _io 
def getPrintablesFromBinaryFile(path, encoding='cp1252'): 
    global _io, string 
    buffer = _io.BufferedReader(open(path, 'rb')) 
    while True: 
     byte = buffer.read(1) 
     if byte == b'': 
      return #EOF 
     try: 
      d = byte.decode(encoding) 
     except: 
      continue 
     if d in string.printable: 
      yield d 

作为功能是仅仅收取getPrintablesFromBinaryFile（）的输出变换成一个可迭代。

说明：

1. 导入需要的模块
2. 定义功能
3. 加载模块
4. 创建缓冲区
5. 从缓冲区
6. 检查获得的一个字节，如果它是EOF
7. 如果是，请停止发电机
8. 尝试使用编码解码（如'\xef'不解码使用UTF-8）
9. 如果是不可能的，它不能是可印刷
10. 如果可打印，收率它

注：cp1252是许多文本文件的编码