UnicodeEncodeError:“ascii”编解码器无法对位置20中的字符u“\xa0”进行编码：序号不在范围内（128）

我在处理从不同网页（在不同的网站上）获取的文本中的unicode字符时遇到了问题。我用的是BeautifulSoup。

问题是，误差并不总是可再现的；它有时会处理某些页面，有时会通过抛出UnicodeEncodeError而退出。我几乎尝试了我能想到的所有方法，但我没有找到任何能在不引发某种Unicode相关错误的情况下始终工作的方法。

导致问题的代码部分如下所示：

agent_telno = agent.find('div', 'agent_contact_number')
agent_telno = '' if agent_telno is None else agent_telno.contents[0]
p.agent_info = str(agent_contact + ' ' + agent_telno).strip()

下面是运行上面的代码段时在某些字符串上生成的堆栈跟踪：

Traceback (most recent call last):
  File "foobar.py", line 792, in <module>
    p.agent_info = str(agent_contact + ' ' + agent_telno).strip()
UnicodeEncodeError: 'ascii' codec can't encode character u'\xa0' in position 20: ordinal not in range(128)

我怀疑这是因为某些页面（或者更具体地说，来自某些网站的页面）可能是编码的，而其他页面可能是未编码的。所有的网站都设在英国，并提供英国消费的数据，因此不存在与内化或处理非英语文本相关的问题。

有没有人对如何解决这个问题有什么想法，以便我能够始终如一地解决这个问题？

当前回答

一般情况下，如果将这个不支持的编码字符串（比如data_that_causes_ths_error）写入某个文件（例如results.txt），这是有效的

f = open("results.txt", "w")
  f.write(data_that_causes_this_error.encode('utf-8'))
  f.close()

2020-06-07 11:43:50

其他回答

下面的解决方案对我有效，刚刚补充

u“字符串”

（表示字符串为unicode）。

result_html = result.to_html(col_space=1, index=False, justify={'right'})

text = u"""
<html>
<body>
<p>
Hello all, <br>
<br>
Here's weekly summary report.  Let me know if you have any questions. <br>
<br>
Data Summary <br>
<br>
<br>
{0}
</p>
<p>Thanks,</p>
<p>Data Team</p>
</body></html>
""".format(result_html)

2017-11-01 21:58:30

这里的许多答案（例如@agf和@Andbdrew）已经解决了OP问题最直接的方面。

然而，我认为有一个微妙但重要的方面在很大程度上被忽视了，这对所有像我这样的人来说都是非常重要的，因为他们在试图理解Python中的编码：Python 2和Python 3对字符表示的管理是截然不同的。我觉得有很大一部分困惑与人们在没有版本意识的情况下阅读Python编码有关。

我建议任何有兴趣了解OP问题根源的人，首先阅读Spolsky对字符表示和Unicode的介绍，然后转到Python 2和Python 3中Unicode的Batchelder。

2019-01-03 09:03:49

在脚本开头添加以下行（或作为第二行）：

# -*- coding: utf-8 -*-

这就是python源代码编码的定义。更多信息请参见PEP 263。

2016-08-08 10:17:31

尽量避免将变量转换为str（variable）。有时，这可能会导致问题。

要避免的简单提示：

try: 
    data=str(data)
except:
    data = data #Don't convert to String

上述示例也将解决编码错误。

2019-07-05 06:11:36

事实上，我发现在我的大多数情况下，仅仅去掉这些字符就简单多了：

s = mystring.decode('ascii', 'ignore')

2013-11-01 13:44:36

UnicodeEncodeError:“ascii”编解码器无法对位置20中的字符u“\xa0”进行编码：序号不在范围内（128）

推荐文章

最新文章

标签