UnicodeEncodeError:“ascii”编解码器无法对位置20中的字符u“\xa0”进行编码：序号不在范围内（128）

我在处理从不同网页（在不同的网站上）获取的文本中的unicode字符时遇到了问题。我用的是BeautifulSoup。

问题是，误差并不总是可再现的；它有时会处理某些页面，有时会通过抛出UnicodeEncodeError而退出。我几乎尝试了我能想到的所有方法，但我没有找到任何能在不引发某种Unicode相关错误的情况下始终工作的方法。

导致问题的代码部分如下所示：

agent_telno = agent.find('div', 'agent_contact_number')
agent_telno = '' if agent_telno is None else agent_telno.contents[0]
p.agent_info = str(agent_contact + ' ' + agent_telno).strip()

下面是运行上面的代码段时在某些字符串上生成的堆栈跟踪：

Traceback (most recent call last):
  File "foobar.py", line 792, in <module>
    p.agent_info = str(agent_contact + ' ' + agent_telno).strip()
UnicodeEncodeError: 'ascii' codec can't encode character u'\xa0' in position 20: ordinal not in range(128)

我怀疑这是因为某些页面（或者更具体地说，来自某些网站的页面）可能是编码的，而其他页面可能是未编码的。所有的网站都设在英国，并提供英国消费的数据，因此不存在与内化或处理非英语文本相关的问题。

有没有人对如何解决这个问题有什么想法，以便我能够始终如一地解决这个问题？

当前回答

延迟回答，但此错误与您的终端编码不支持某些字符有关。我用以下方法在python3上修复了它：

import sys
import io

sys.stdout = io.open(sys.stdout.fileno(), 'w', encoding='utf8')
print("é, à, ...")

2021-03-09 16:18:40

其他回答

嗯，我尝试了一切，但都无济于事，在谷歌搜索后，我找到了以下内容，这有帮助。python 2.7正在使用中。

# encoding=utf8
import sys
reload(sys)
sys.setdefaultencoding('utf8')

2016-09-02 13:10:37

只需添加到变量编码（'utf-8'）

agent_contact.encode('utf-8')

2018-01-31 05:50:36

对我来说，行之有效的是：

BeautifulSoup(html_text,from_encoding="utf-8")

希望这对某人有所帮助。

2015-01-26 14:53:34

延迟回答，但此错误与您的终端编码不支持某些字符有关。我用以下方法在python3上修复了它：

import sys
import io

sys.stdout = io.open(sys.stdout.fileno(), 'w', encoding='utf8')
print("é, à, ...")

2021-03-09 16:18:40

这对我很有用：

export LC_CTYPE="en_US.UTF-8"

2021-07-07 10:12:19

UnicodeEncodeError:“ascii”编解码器无法对位置20中的字符u“\xa0”进行编码：序号不在范围内（128）

推荐文章

最新文章

标签