协议缓冲区python - unicode解码错误

Question

我需要在我的python - 龙卷风服务器上接收协议缓冲区消息，并从二进制消息中获取内容。

postContent = self.request.body 
message = prototemp.ReqMessage() 
message.ParseFromString(postContent) 

它可以完美的使用测试工具。当我在沙箱环境中运行，并模拟从我的客户1000个请求，它工作在某些情况下，但在大多数的请求，它抛出一个异常 -

File "server1.py", line 21, in post 
    message.ParseFromString(postContent) 
    File "/usr/lib/python2.6/site-packages/protobuf-2.4.1-py2.6.egg/google/protobuf/message.py", line 179, in ParseFromString 
    self.MergeFromString(serialized) 
    File "/usr/lib/python2.6/site-packages/protobuf-2.4.1-py2.6.egg/google/protobuf/internal/python_message.py", line 755, in MergeFromString 
    if self._InternalParse(serialized, 0, length) != length: 
    File "/usr/lib/python2.6/site-packages/protobuf-2.4.1-py2.6.egg/google/protobuf/internal/python_message.py", line 782, in InternalParse 
    pos = field_decoder(buffer, new_pos, end, self, field_dict) 
    File "/usr/lib/python2.6/site-packages/protobuf-2.4.1-py2.6.egg/google/protobuf/internal/decoder.py", line 544, in DecodeField 
    if value._InternalParse(buffer, pos, new_pos) != new_pos: 
    File "/usr/lib/python2.6/site-packages/protobuf-2.4.1-py2.6.egg/google/protobuf/internal/python_message.py", line 782, in InternalParse 
    pos = field_decoder(buffer, new_pos, end, self, field_dict) 
    File "/usr/lib/python2.6/site-packages/protobuf-2.4.1-py2.6.egg/google/protobuf/internal/decoder.py", line 410, in DecodeField 
    field_dict[key] = local_unicode(buffer[pos:new_pos], 'utf-8') 
UnicodeDecodeError: 'utf8' codec can't decode byte 0xce in position 1: invalid continuation byte 

在另一些情况下，它给出了这些错误 -

UnicodeDecodeError: 'utf8' codec can't decode byte 0xbf in position 3: invalid start byte 

UnicodeDecodeError: 'utf8' codec can't decode byte 0xe7 in position 3: unexpected end of data 

可能是什么原因？

Answer 1

我和RabbitMQ和Protocol Buffers有完全相同的问题。问题是协议缓冲区假定输入是str类型，而在某些情况下（如果字节数组包含大于127的字节），RabbitMQ似乎将消息解码为unicode。龙卷风也可能发生同样的情况。到目前为止，似乎，该问题可以通过下面的代码段来解决：

body = self.request.body 
if type(body) == unicode: 
    data = bytearray(body, "utf-8") 
    body = bytes(data) 
message = whatever.FromString(body) 

此代码接通Unicode字符串到蟒字节对象，其可以通过协议缓存消息来愉快地解析。不知道是否有更好的方法来做到这一点，但至少这似乎工作。

Answer 2

我遇到同样的问题。

以下是参考文献[1]。

在这种情况下，我们应该使用字节。

谢谢。

[1] https://developers.google.com/protocol-buffers/docs/proto#scalar