UnicodeEncodeError:“ascii”编解码器无法对位置20中的字符u“\xa0”进行编码：序号不在范围内（128）

我在处理从不同网页（在不同的网站上）获取的文本中的unicode字符时遇到了问题。我用的是BeautifulSoup。

问题是，误差并不总是可再现的；它有时会处理某些页面，有时会通过抛出UnicodeEncodeError而退出。我几乎尝试了我能想到的所有方法，但我没有找到任何能在不引发某种Unicode相关错误的情况下始终工作的方法。

导致问题的代码部分如下所示：

agent_telno = agent.find('div', 'agent_contact_number')
agent_telno = '' if agent_telno is None else agent_telno.contents[0]
p.agent_info = str(agent_contact + ' ' + agent_telno).strip()

下面是运行上面的代码段时在某些字符串上生成的堆栈跟踪：

Traceback (most recent call last):
  File "foobar.py", line 792, in <module>
    p.agent_info = str(agent_contact + ' ' + agent_telno).strip()
UnicodeEncodeError: 'ascii' codec can't encode character u'\xa0' in position 20: ordinal not in range(128)

我怀疑这是因为某些页面（或者更具体地说，来自某些网站的页面）可能是编码的，而其他页面可能是未编码的。所有的网站都设在英国，并提供英国消费的数据，因此不存在与内化或处理非英语文本相关的问题。

有没有人对如何解决这个问题有什么想法，以便我能够始终如一地解决这个问题？

当前回答

我找到了一个很好的方法来删除符号并继续将字符串保持为字符串，如下所示：

yourstring = yourstring.encode('ascii', 'ignore').decode('ascii')

需要注意的是，使用忽略选项是危险的，因为它会默默地从使用它的代码中删除任何unicode（和国际化）支持，如下所示（转换unicode）：

>>> u'City: Malmö'.encode('ascii', 'ignore').decode('ascii')
'City: Malm'

2014-08-20 10:13:15

其他回答

唉，这至少在Python 3中有效。。。

Python 3

有时错误在环境变量中，因此

import os
import locale
os.environ["PYTHONIOENCODING"] = "utf-8"
myLocale=locale.setlocale(category=locale.LC_ALL, locale="en_GB.UTF-8")
... 
print(myText.encode('utf-8', errors='ignore'))

其中在编码中忽略错误。

2019-04-15 21:49:34

我找到了一个很好的方法来删除符号并继续将字符串保持为字符串，如下所示：

yourstring = yourstring.encode('ascii', 'ignore').decode('ascii')

需要注意的是，使用忽略选项是危险的，因为它会默默地从使用它的代码中删除任何unicode（和国际化）支持，如下所示（转换unicode）：

>>> u'City: Malmö'.encode('ascii', 'ignore').decode('ascii')
'City: Malm'

2014-08-20 10:13:15

我在尝试将Unicode字符输出到stdout时遇到了这个问题，但使用sys.stdout.write，而不是打印（这样我也可以支持输出到其他文件）。

从BeautifulSoup自己的文档中，我用编解码器库解决了这个问题：

import sys
import codecs

def main(fIn, fOut):
    soup = BeautifulSoup(fIn)
    # Do processing, with data including non-ASCII characters
    fOut.write(unicode(soup))

if __name__ == '__main__':
    with (sys.stdin) as fIn: # Don't think we need codecs.getreader here
        with codecs.getwriter('utf-8')(sys.stdout) as fOut:
            main(fIn, fOut)

2019-01-27 01:27:47

导致打印失败的一个微妙问题是环境变量设置错误，例如LC_ALL设置为“C”。在Debian中，他们不鼓励设置它：在Locale上设置Debian wiki

$ echo $LANG
en_US.utf8
$ echo $LC_ALL 
C
$ python -c "print (u'voil\u00e0')"
Traceback (most recent call last):
  File "<string>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe0' in position 4: ordinal not in range(128)
$ export LC_ALL='en_US.utf8'
$ python -c "print (u'voil\u00e0')"
voilà
$ unset LC_ALL
$ python -c "print (u'voil\u00e0')"
voilà

2013-12-02 17:58:15

嗯，我尝试了一切，但都无济于事，在谷歌搜索后，我找到了以下内容，这有帮助。python 2.7正在使用中。

# encoding=utf8
import sys
reload(sys)
sys.setdefaultencoding('utf8')

2016-09-02 13:10:37

UnicodeEncodeError:“ascii”编解码器无法对位置20中的字符u“\xa0”进行编码：序号不在范围内（128）

推荐文章

最新文章

标签