我在处理从不同网页(在不同的网站上)获取的文本中的unicode字符时遇到了问题。我用的是BeautifulSoup。

问题是,误差并不总是可再现的;它有时会处理某些页面,有时会通过抛出UnicodeEncodeError而退出。我几乎尝试了我能想到的所有方法,但我没有找到任何能在不引发某种Unicode相关错误的情况下始终工作的方法。

导致问题的代码部分如下所示:

agent_telno = agent.find('div', 'agent_contact_number')
agent_telno = '' if agent_telno is None else agent_telno.contents[0]
p.agent_info = str(agent_contact + ' ' + agent_telno).strip()

下面是运行上面的代码段时在某些字符串上生成的堆栈跟踪:

Traceback (most recent call last):
  File "foobar.py", line 792, in <module>
    p.agent_info = str(agent_contact + ' ' + agent_telno).strip()
UnicodeEncodeError: 'ascii' codec can't encode character u'\xa0' in position 20: ordinal not in range(128)

我怀疑这是因为某些页面(或者更具体地说,来自某些网站的页面)可能是编码的,而其他页面可能是未编码的。所有的网站都设在英国,并提供英国消费的数据,因此不存在与内化或处理非英语文本相关的问题。

有没有人对如何解决这个问题有什么想法,以便我能够始终如一地解决这个问题?


当前回答

我找到了一个很好的方法来删除符号并继续将字符串保持为字符串,如下所示:

yourstring = yourstring.encode('ascii', 'ignore').decode('ascii')

需要注意的是,使用忽略选项是危险的,因为它会默默地从使用它的代码中删除任何unicode(和国际化)支持,如下所示(转换unicode):

>>> u'City: Malmö'.encode('ascii', 'ignore').decode('ascii')
'City: Malm'

其他回答

我只使用了以下内容:

import unicodedata
message = unicodedata.normalize("NFKD", message)

检查文档中的内容:

unicodedata.normalize(form,unistr)返回Unicode字符串unistr。表单的有效值为“NFC”、“NFKC”、,“NFD”和“NFKD”。Unicode标准定义了Unicode的各种规范化形式字符串,基于规范等价的定义和兼容性等效。在Unicode中以各种方式表达。例如,字符U+00C7(LATIN大写字母C和CEDILLA)也可以表示为序列U+0043(拉丁大写字母C)U+0327(组合塞迪拉)。对于每个字符,有两种范式:范式C和正规形式D(NFD)也称为规范形式并将每个字符转换为其分解形式。范式C(NFC)首先应用正则分解,然后再次编写预先组合的字符。除了这两种形式外,还有两种额外的正规形式基于兼容性等效性。在Unicode中,某些字符是支持通常与其他字符统一的字符。对于例如,U+2160(罗马数字一)实际上与U+0049是一样的(拉丁大写字母I)。但是,Unicode支持与现有字符集(例如gb2312)兼容。范式KD(NFKD)将应用相容性分解,即用它们的等价物替换所有兼容字符。这个范式KC(NFKC)首先应用相容性分解,然后是规范组成。即使两个unicode字符串被规范化人类读者,如果一个有组合字符而另一个没有,它们可能不相等。

帮我解决,简单易行。

嗯,我尝试了一切,但都无济于事,在谷歌搜索后,我找到了以下内容,这有帮助。python 2.7正在使用中。

# encoding=utf8
import sys
reload(sys)
sys.setdefaultencoding('utf8')

我在尝试将Unicode字符输出到stdout时遇到了这个问题,但使用sys.stdout.write,而不是打印(这样我也可以支持输出到其他文件)。

从BeautifulSoup自己的文档中,我用编解码器库解决了这个问题:

import sys
import codecs

def main(fIn, fOut):
    soup = BeautifulSoup(fIn)
    # Do processing, with data including non-ASCII characters
    fOut.write(unicode(soup))

if __name__ == '__main__':
    with (sys.stdin) as fIn: # Don't think we need codecs.getreader here
        with codecs.getwriter('utf-8')(sys.stdout) as fOut:
            main(fIn, fOut)

尽量避免将变量转换为str(variable)。有时,这可能会导致问题。

要避免的简单提示:

try: 
    data=str(data)
except:
    data = data #Don't convert to String

上述示例也将解决编码错误。

推荐的解决方案不适用于我,我可以忍受转储所有非ascii字符,因此

s = s.encode('ascii',errors='ignore')

这给我留下了一些不会出错的东西。