如何URL转换编码字符串转换成合适的unicode字符串在python

我学习使用scrapinghub.com它运行在Python 2.x的我写它使用Scrapy一个剧本，我已经爬到一个字符串象下面这样：如何URL转换编码字符串转换成合适的unicode字符串在python

%3Ctable%20width%3D%22100%25%22%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3E%3Cp%20style%3D%22color%3A%23ff0000%3Bfont-size%3A20pt%3Btext-align%3Acenter%3Bfont-weight%3Abold%22%3E%0D%0A%09%E6%84%9B%E8%BF%AA%E9%81%94%20adidas%20Energy%20Boost%20%E8%B7%AF%E8%B7%91%20%E4%BD%8E%E7%AD%92%20%E9%81%8B%E5%8B%95%20%E4%BC%91%E9%96%92%20%E8%B7%91%E9%9E%8B%20%E8%B7%91%E6%AD%A5%20%E6%85%A2%E8%B7%91%20%E9%A6%AC%E6%8B%89%E6%9D%BE%20%E5%81%A5%E8%BA%AB%E6%88%BF%20%E6%B5%81%E8%A1%8C%20%E7%90%83%E9%9E%8B%20%E5%A5%B3%E8%A3%9D%20%E5%A5%B3%E6%AC%BE%20%E5%A5%B3%20%E5%A5%B3%E9%9E%8B%0D%0A%3C%2Fp%3E%0D%0A%3C%2Ftd%3E%3C%2Ftr%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3E%3Cp%20style%3D%22color%3A%23000000%3Bfont-size%3A14pt%3Btext-align%3Acenter%22%3E%0D%0A%09%EF%BC%8A%E9%9D%88%E6%B4%BB%E3%80%81%E8%BC%95%E9%87%8F%E3%80%81%E8%88%92%E9%81%A9%E5%85%BC%E5%85%B7%E7%9A%84%E9%81%B8%E6%93%87%3Cbr%20%2F%3E%EF%BC%8A%E7%B0%A1%E7%B4%84%E7%8F%BE%E4%BB%A3%E7%9A%84%E7%94%A2%E5%93%81%E8%A8%AD%E8%A8%88%2C%E5%B9%B4%E8%BC%95%E5%A4%9A%E6%A8%A3%E5%8C%96%E7%9A%84%E9%85%8D%E8%89%B2%E6%96%B9%E6%A1%88%2C%E6%9B%B4%E7%82%BA%E7%AC%A6%E5%90%88%E5%B9%B4%E8%BC%95%E6%B6%88%E8%B2%BB%E8%80%85%E7%9A%84%E5%AF%A9%E7%BE%8E%E5%81%8F%E5%A5%BD%3Cbr%20%2F%3E%EF%BC%8A%E7%B0%A1%E5%96%AE%E7%9A%84%E7%B7%9A%E6%A2%9D%E5%92%8C%E4%B9%BE%E6%B7%A8%E7%9A%84%E8%A8%AD%E8%A8%88%2C%E6%8F%90%E4%BE%9B%E4%BA%86%E7%8D%A8%E7%89%B9%E7%9A%84%E7%A9%BF%E6%90%AD%E7%B5%84%E5%90%88%3Cbr%20%2F%3E%EF%BC%8A%E9%80%8F%E6%B0%A3%E8%88%87%E4%BF%9D%E8%AD%B7%E6%80%A7%2C%E7%B5%90%E5%90%88%E4%BA%86ADIDAS%E7%9A%84%E5%89%B5%E6%96%B0%E7%A7%91%E6%8A%80%2C%E5%89%B5%E9%80%A0%E4%BA%86%E5%AE%8C%E7%BE%8E%E7%9A%84%E7%94%A2%E5%93%81%3Cbr%20%2F%3E%0D%0A%3C%2Fp%3E%0D%0A%3C%2Ftd%3E%3C%2Ftr%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3E%3Cdiv%20align%3D%22center%22%3E%3Cimg%20src%3D%22https%3A%2F%2Fs.yimg.com%2Fwb%2Fimages%2F2B558E585E39649599A9A266349EABD17A4ABC18%22%20%2F%3E%3C%2Fdiv%3E%3C%2Ftd%3E%3C%2Ftr%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ftable%3E%3Ctable%20width%3D%22100%25%22%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3E%3Cp%20style%3D%22color%3A%23000000%3Bfont-size%3A12pt%3Btext-align%3Aleft%3Bfont-weight%3A100%22%3E%0D%0A%09%0D%0A%3C%2Fp%3E%0D%0A%3C%2Ftd%3E%3C%2Ftr%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3E%3Cdiv%20align%3D%22center%22%3E%3Cimg%20src%3D%22https%3A%2F%2Fs.yimg.com%2Fwb%2Fimages%2F0F1A6CBFE6F6631189D491A17A2A2E7C388F194E%22%20%2F%3E%3Cdiv%3E%3C%2Ftd%3E%3C%2Ftr%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3E%3C%2Ftd%3E%3C%2Ftr%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ftable%3E%3Ctable%20width%3D%22100%25%22%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3E%3Cp%20style%3D%22color%3A%23000000%3Bfont-size%3A12pt%3Btext-align%3Aleft%3Bfont-weight%3A100%22%3E%0D%0A%09%0D%0A%3C%2Fp%3E%0D%0A%3C%2Ftd%3E%3C%2Ftr%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3E%3Cdiv%20align%3D%22center%22%3E%3Cimg%20src%3D%22https%3A%2F%2Fs.yimg.com%2Fwb%2Fimages%2FA0C9B09CAC784E2CA81A572E8F9F2E5721812607%22%20%2F%3E%3Cdiv%3E%3C%2Ftd%3E%3C%2Ftr%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3E%3C%2Ftd%3E%3C%2Ftr%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ftable%3E

它总是给我下面的：

<table width="100%"> <tr><td><p style="color:#fa6b81;font-size:18pt;text-align:center;font-weight:bold">(å¥³) æè¿ªé ADIDAD ENERGY CLOUD W éæ°£ç¶²å¸ ç¾æ é» èè·ç¶ ä¼éé æ¢è·é</p></td></tr> <tr><td><p style="color:#000000;font-size:12pt;text-align:center"><font color="BLUE">â»æ¬è³£å ´åççºYAHOOè³¼ç©ä¸å¿å°ç¨ï¼å¶å®å¹³å°è¥ä½¿ç¨æ¬ç«ç¸éåç~çå±¬ä¾µæ¬!!</font><BR><BR></p></td></tr> <tr><td><div align="center"><img src="https://s.yimg.com/wb/images/739F6D54CD0AA4440D67A8BF0E569B0229AB1B37" /></div></td></tr> </table><table width="100%"> <tr><td><p style="color:#000000;font-size:12pt;text-align:left;font-weight:100"></p></td></tr> <tr><td><div align="center"><img src="https://s.yimg.com/wb/images/91D28279378AF5E3C26740855775ECAD3A7F4A6B" /><div></td></tr> <tr><td></td></tr> </table><table width="100%"> <tr><td><p style="color:#000000;font-size:12pt;text-align:left;font-weight:100"></p></td></tr> <tr><td><div align="center"><img src="https://s.yimg.com/wb/images/B2237D69C0886CCF330AFA459E3C03BB4454D01B" /><div></td></tr> <tr><td></td></tr> </table><table width="100%"> <tr><td><p style="color:#000000;font-size:12pt;text-align:left;font-weight:100"></p></td></tr> <tr><td><div align="center"><img src="https://s.yimg.com/wb/images/B60D486A89EDBAFBFE824F00309D069517654050" /><div></td></tr> <tr><td></td></tr> </table><table width="100%"> <tr><td><p style="color:#000000;font-size:12pt;text-align:left;font-weight:100"></p></td></tr> <tr><td><div align="center"><img src="https://s.yimg.com/wb/images/57EAC1C8B09A019AC734F50FB51DB87D0B319002" /><div></td></tr> <tr><td></td></tr> </table><table width="100%"> <tr><td><p style="color:#000000;font-size:12pt;text-align:left;font-weight:100"></p></td></tr> <tr><td><div align="center"><img src="https://s.yimg.com/wb/images/CEC5C31984853968755AE7465BCB251C82676B0B" /><div></td></tr> <tr><td></td></tr> </table><table width="100%"> <tr><td><p style="color:#000000;font-size:12pt;text-align:left;font-weight:100"></p></td></tr> <tr><td><div align="center"><img src="https://s.yimg.com/wb/images/B065DFBACAEC5ABED898492265DEB710EA052358" /><div></td></tr> <tr><td></td></tr> </table>

我总是得到垃圾文（¥³）æè¿ªéADIDAD能源CLOUDW¯¯EAE°£ç¶²å¸

从URL编码的文本到Unicode转换代码像下面

  special_text = re.sub("<.*?>", "", special_text) 
      special_text = re.sub("<!--", "", special_text) 
      special_text = re.sub("-->", "", special_text) 
      special_text = re.sub("\n", "", special_text) 
      special_text = special_text.strip() 
      special_text = unquote(special_text) 
      special_text = re.sub("\n", "", special_text) 
      special_text = re.sub("\r", "", special_text) 
      special_text = re.sub("\t", "", special_text) 
      special_text = u' '.join((special_text, '')).encode('utf-8').strip()

我已经尝试了很多不同的代码像

special_text = special_text.encode('utf-8') 
special_text = special_text.decode('utf-8')

其或者给我错误或静止的垃圾文字

不知道转换为unicode的正确方法是什么？

-----编辑：启动-----

前：

# -*- coding: utf-8 -*- 
import scrapy 
import json 
import re 
from scrapy.selector import Selector 

#Python 3 
#from urllib.parse import unquote 

#Python 2 
from urlparse import unquote 

class TestSOSpider(scrapy.Spider): 
    name = "testso" 
    base_url = 'http://pastebin.com' 
    #allowed_domains = ["pastebin.com"] 
    #start_urls = ['http://pastebin.com/'] 

    def start_requests(self): 
     yield scrapy.Request('http://pastebin.com/kb33dEnd', self.parse) 

    def parse(self, response): 
     self.logger.info('Main parse request - %s', response.url) 

     txt = response.css(".paste_box_line1 > h1::text").extract_first() 
     bin = response.css("#paste_code::text").extract_first()  
     bin = unquote(bin) 

     yield { 
      'txt' : txt, 
      'bin' : bin 
     }

后：

# -*- coding: utf-8 -*- 
import scrapy 
import json 
import re 
from scrapy.selector import Selector 

#Python 3 
#from urllib.parse import unquote 

#Python 2 
from urlparse import unquote 

class TestSOSpider(scrapy.Spider): 
    name = "testso" 
    base_url = 'http://pastebin.com' 
    #allowed_domains = ["pastebin.com"] 
    #start_urls = ['http://pastebin.com/'] 

    def start_requests(self): 
     yield scrapy.Request('http://pastebin.com/kb33dEnd', self.parse) 

    def parse(self, response): 
     self.logger.info('Main parse request - %s', response.url) 

     txt = response.css(".paste_box_line1 > h1::text").extract_first() 
     bin = response.css("#paste_code::text").extract_first() 

     bin = u' '.join((bin, '')) 
     bin = bin.encode('ascii') 
     bin = unquote(bin) 

     yield { 
      'txt' : txt, 
      'bin' : bin 
     }

-----编辑：结束-----

来源

2017-02-06 forestclown

您似乎正在将有效的UTF-8数据打印到未配置为UTF-8的控制台或终端。 'unquote（special_text）'为我生成有效的UTF-8编码HTML。 –

你可能想[强制转换为ASCII]（http://stackoverflow.com/a/1207479/2689986）？ –

@AshishNitinPatil：那不会有帮助，因为内容是中文。 –

你的数据是完全有效的UTF-8，编码成一个URL（所以urlencoded进行）。您的输出表明您正在查看Mojibake，其中您自己的软件（控制台，终端，文本编辑器）正在使用不同的编解码器来解释UTF-8数据。我怀疑你的设置是用CP-1254：

>>> print text.encode('utf8').decode('sloppy-cp1254') # codec from the ftfy project 
æ„›è¿ªé” adidas Energy Boost è·¯è·‘ ä½ç’ é‹å‹• ä¼‘é–’ è·‘é‹ è·‘æ¥ æ…¢è·‘ é¦¬æ‹‰æ¾ å¥èº«æˆ¿ æµè¡Œ çƒé‹ å¥³è£ å¥³æ¬¾ å¥³ å¥³é‹ 
ï¼Šéˆæ´»ã€è¼•é‡ã€èˆ’é©å…¼å…·çš„é¸æ“‡ 
ï¼Šç°¡ç´„ç¾ä»£çš„ç”¢å“è¨è¨ˆ,å¹´è¼•å¤šæ¨£åŒ–çš„é…è‰²æ–¹æ¡ˆ,æ›´ç‚ºç¬¦åˆå¹´è¼•æ¶ˆè²»è€…çš„å¯©ç¾åå¥½ 
ï¼Šç°¡å–®çš„ç·šæ¢å’Œä¹¾æ·¨çš„è¨è¨ˆ,æä¾›äº†ç¨ç‰¹çš„ç©¿æçµ„åˆ 
ï¼Šé€æ°£èˆ‡ä¿è·æ€§,çµåˆäº†ADIDASçš„å‰µæ–°ç§‘æŠ€,å‰µé€ äº†å®Œç¾çš„ç”¢å“

如果你不知道如何解决你的终端，我建议你将数据写入一个文件，而不是和使用编辑器，你可以告诉编解码器使用读取数据：

import io 
with io.open('somefilename.txt', encoding='utf8') as f: 
    f.write(unicode_value)

我也强烈建议您使用一个实际的HTML解析器来处理数据，而不是依赖于正则表达式。对于Python 2和3下面的代码生成一个Unicode值从你的URL文本信息：

from bs4 import BeautifulSoup 
try: 
    from urllib import unquote 
except ImportError: 
    from urllib.parse import unquote 

soup = BeautifulSoup(unquote(special_text), 'html.parser') # consider installing lxml instead 
text = soup.get_text('\n', strip=True) # put newlines between sections 
print(text)

您的输入，我的Mac OSX终端上配置用于处理Unicode文本为UTF-8，我看到：

愛迪達 adidas Energy Boost 路跑 低筒 運動 休閒 跑鞋 跑步 慢跑 馬拉松 健身房 流行 球鞋 女裝 女款 女 女鞋 
＊靈活、輕量、舒適兼具的選擇 
＊簡約現代的產品設計,年輕多樣化的配色方案,更為符合年輕消費者的審美偏好 
＊簡單的線條和乾淨的設計,提供了獨特的穿搭組合 
＊透氣與保護性,結合了ADIDAS的創新科技,創造了完美的產品

来源

2017-02-06 13:00:51

我已经可以通过在Mac上运行的本地环境中进行取消引号来获得Unicode字符。问题是，当我在scrapinghub.com上运行它时，我猜是他们的环境问题？但是对于非引用的文本，它会显示正确的中文字符。 – forestclown

@forestclown：那么scrapinghub.com如何为您提供这些数据。在一个网页？在一个文件中？我不知道该网站的工作原理。它当然*不是Python问题*。 –

感谢您指出问题，我会尝试使用bs4（如果我可以安装），看看会发生什么。为了回答你的问题，scrapinghub允许你在浏览器上显示结果或者以文本文件的形式下载，如果从unquote（）转换，则显示乱码，但是对于其他未使用unquote的文本显示正常。 – forestclown

我不知道为什么，但出于某种原因，我得到它在像下面这样的scrapinghub.com上工作。

让说，我有一个HTML文本，如：

<html> 
<div class="a"> 
    Some chinese text 
</div> 
<div class="b"> 
    QUOTED text got chinese in it 
    %3Ctable%20width%3D%22100%25%22%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3E%3Cp%20style%3D%22color%3A%23ff0000%3Bfont-size%3A20pt%3Btext-align%3Acenter%3Bfont-weight%3Abold%22%3E%0D%0A%09%E6%84%9B%E8%BF%AA%E9%81%94%20adidas%20Energy%20Boost%20%E8%B7%AF%E8%B7%91%20%E4%BD%8E%E7%AD%92%20%E9%81%8B%E5%8B%95%20%E4%BC%91%E9%96%92%20%E8%B7%91%E9%9E%8B%20%E8%B7%91%E6%AD%A5%20%E6%85%A2%E8%B7%91%20%E9%A6%AC%E6%8B%89%E6%9D%BE%20%E5%81%A5%E8%BA%AB%E6%88%BF%20%E6%B5%81%E8%A1%8C%20%E7%90%83%E9%9E%8B%20%E5%A5%B3%E8%A3%9D%20%E5%A5%B3%E6%AC%BE%20%E5%A5%B3%20%E5%A5%B3%E9%9E%8B%0D%0A%3C%2Fp%3E%0D%0A%3C%2Ftd%3E%3C%2Ftr%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3E%3Cp%20style%3D%22color%3A%23000000%3Bfont-size%3A14pt%3Btext-align%3Acenter%22%3E%0D%0A%09%EF%BC%8A%E9%9D%88%E6%B4%BB%E3%80%81%E8%BC%95%E9%87%8F%E3%80%81%E8%88%92%E9%81%A9%E5%85%BC%E5%85%B7%E7%9A%84%E9%81%B8%E6%93%87%3Cbr%20%2F%3E%EF%BC%8A%E7%B0%A1%E7%B4%84%E7%8F%BE%E4%BB%A3%E7%9A%84%E7%94%A2%E5%93%81%E8%A8%AD%E8%A8%88%2C%E5%B9%B4%E8%BC%95%E5%A4%9A%E6%A8%A3%E5%8C%96%E7%9A%84%E9%85%8D%E8%89%B2%E6%96%B9%E6%A1%88%2C%E6%9B%B4%E7%82%BA%E7%AC%A6%E5%90%88%E5%B9%B4%E8%BC%95%E6%B6%88%E8%B2%BB%E8%80%85%E7%9A%84%E5%AF%A9%E7%BE%8E%E5%81%8F%E5%A5%BD%3Cbr%20%2F%3E%EF%BC%8A%E7%B0%A1%E5%96%AE%E7%9A%84%E7%B7%9A%E6%A2%9D%E5%92%8C%E4%B9%BE%E6%B7%A8%E7%9A%84%E8%A8%AD%E8%A8%88%2C%E6%8F%90%E4%BE%9B%E4%BA%86%E7%8D%A8%E7%89%B9%E7%9A%84%E7%A9%BF%E6%90%AD%E7%B5%84%E5%90%88%3Cbr%20%2F%3E%EF%BC%8A%E9%80%8F%E6%B0%A3%E8%88%87%E4%BF%9D%E8%AD%B7%E6%80%A7%2C%E7%B5%90%E5%90%88%E4%BA%86ADIDAS%E7%9A%84%E5%89%B5%E6%96%B0%E7%A7%91%E6%8A%80%2C%E5%89%B5%E9%80%A0%E4%BA%86%E5%AE%8C%E7%BE%8E%E7%9A%84%E7%94%A2%E5%93%81%3Cbr%20%2F%3E%0D%0A%3C%2Fp%3E%0D%0A%3C%2Ftd%3E%3C%2Ftr%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3E%3Cdiv%20align%3D%22center%22%3E%3Cimg%20src%3D%22https%3A%2F%2Fs.yimg.com%2Fwb%2Fimages%2F2B558E585E39649599A9A266349EABD17A4ABC18%22%20%2F%3E%3C%2Fdiv%3E%3C%2Ftd%3E%3C%2Ftr%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ftable%3E%3Ctable%20width%3D%22100%25%22%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3E%3Cp%20style%3D%22color%3A%23000000%3Bfont-size%3A12pt%3Btext-align%3Aleft%3Bfont-weight%3A100%22%3E%0D%0A%09%0D%0A%3C%2Fp%3E%0D%0A%3C%2Ftd%3E%3C%2Ftr%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3E%3Cdiv%20align%3D%22center%22%3E%3Cimg%20src%3D%22https%3A%2F%2Fs.yimg.com%2Fwb%2Fimages%2F0F1A6CBFE6F6631189D491A17A2A2E7C388F194E%22%20%2F%3E%3Cdiv%3E%3C%2Ftd%3E%3C%2Ftr%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3E%3C%2Ftd%3E%3C%2Ftr%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ftable%3E%3Ctable%20width%3D%22100%25%22%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3E%3Cp%20style%3D%22color%3A%23000000%3Bfont-size%3A12pt%3Btext-align%3Aleft%3Bfont-weight%3A100%22%3E%0D%0A%09%0D%0A%3C%2Fp%3E%0D%0A%3C%2Ftd%3E%3C%2Ftr%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3E%3Cdiv%20align%3D%22center%22%3E%3Cimg%20src%3D%22https%3A%2F%2Fs.yimg.com%2Fwb%2Fimages%2FA0C9B09CAC784E2CA81A572E8F9F2E5721812607%22%20%2F%3E%3Cdiv%3E%3C%2Ftd%3E%3C%2Ftr%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3E%3C%2Ftd%3E%3C%2Ftr%3E%0D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ftable%3E 
</div> 
</html>

所以我分析它类= “一个” 变量AAA的class = “B” 分配给变量BBB

如果我想对所享有BBB，并有中国汉字正确显示我做到以下几点：

BBB = u' '.join((BBB, '')) 
BBB = BBB.encode('ascii') 
BBB = unquote(BBB)

所以，当我同时输出AAA & BBB上scrapinghub，它都将显示中国文字correctl年。

我只想指出，Martijn Pieters在他的答案中也是正确的，当我在我的MAC上进行本地化时。但只是不知道在scrapinghub发生了什么，我需要做到上述。

来源

2017-02-06 15:35:13 forestclown

你的'u''.join（）'调用是一种非常详细的方式，在BBB结尾添加一个空格，而不是肯定你为什么这样做。至于scrapinghub.com，你有没有试过联系他们的支持，询问他们如何确定编解码器？我强烈怀疑他们正在使用编码的自动检测（这可能很容易失败）。 –

scrapinghub正在使用Scrapy库（pip安装Scrapy）从CSS获取文本，因此要从class =“b”获取文本，需要执行BBB = response.css（“div.b”），其中响应存储整个HTML 。如果我简单地做BBB.encode（），它会给我“TypeError：不能在类似字节的对象上使用字符串模式”，所以我读某处做BBB = u''.join（BBB，''）） – forestclown

哦，亲爱的。所以它会**解码为Unicode，如果它尚未。 '如果不是isinstance（BBB，unicode）：BBB = BBB.decode（'ASCII'）'将是一个更明确的方法，而不必事先猜测它想做什么。 –

如何URL转换编码字符串转换成合适的unicode字符串在python

回答

相关问题