UnicodeEncodeError:“ascii”编解码器无法对位置20中的字符u“\xa0”进行编码：序号不在范围内（128）

我在处理从不同网页（在不同的网站上）获取的文本中的unicode字符时遇到了问题。我用的是BeautifulSoup。

问题是，误差并不总是可再现的；它有时会处理某些页面，有时会通过抛出UnicodeEncodeError而退出。我几乎尝试了我能想到的所有方法，但我没有找到任何能在不引发某种Unicode相关错误的情况下始终工作的方法。

导致问题的代码部分如下所示：

agent_telno = agent.find('div', 'agent_contact_number')
agent_telno = '' if agent_telno is None else agent_telno.contents[0]
p.agent_info = str(agent_contact + ' ' + agent_telno).strip()

下面是运行上面的代码段时在某些字符串上生成的堆栈跟踪：

Traceback (most recent call last):
  File "foobar.py", line 792, in <module>
    p.agent_info = str(agent_contact + ' ' + agent_telno).strip()
UnicodeEncodeError: 'ascii' codec can't encode character u'\xa0' in position 20: ordinal not in range(128)

我怀疑这是因为某些页面（或者更具体地说，来自某些网站的页面）可能是编码的，而其他页面可能是未编码的。所有的网站都设在英国，并提供英国消费的数据，因此不存在与内化或处理非英语文本相关的问题。

有没有人对如何解决这个问题有什么想法，以便我能够始终如一地解决这个问题？

当前回答

这将起作用：

 >>>print(unicodedata.normalize('NFD', re.sub("[\(\[].*?[\)\]]", "", "bats\xc3\xa0")).encode('ascii', 'ignore'))

输出：

>>>bats

2020-05-14 08:35:52

其他回答

这是一个经典的python unicode痛点！考虑以下事项：

a = u'bats\u00E0'
print a
 => batsà

到目前为止一切都很好，但如果我们调用str（a），让我们看看会发生什么：

str(a)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe0' in position 4: ordinal not in range(128)

噢，滴，这对任何人都没有好处！要修复该错误，请使用.encode显式编码字节，并告诉python要使用的编解码器：

a.encode('utf-8')
 => 'bats\xc3\xa0'
print a.encode('utf-8')
 => batsà

Voil\u00E0！

问题是，当您调用str（）时，python使用默认的字符编码来尝试对您给它的字节进行编码，在您的情况下，这些字节有时是unicode字符的表示。要解决这个问题，你必须告诉python如何使用.encode（'hatever_unicode'）处理你给它的字符串。大多数时候，你应该可以使用utf-8。

有关此主题的精彩阐述，请参阅Ned Batchelder的PyCon演讲：http://nedbatchelder.com/text/unipain.html

2012-03-30 12:25:08

一般情况下，如果将这个不支持的编码字符串（比如data_that_causes_ths_error）写入某个文件（例如results.txt），这是有效的

f = open("results.txt", "w")
  f.write(data_that_causes_this_error.encode('utf-8'))
  f.close()

2020-06-07 11:43:50

阅读Python Unicode HOWTO。这个错误是第一个例子。

不要使用str（）将unicode转换为编码文本/字节。

相反，使用.encode（）对字符串进行编码：

p.agent_info = u' '.join((agent_contact, agent_telno)).encode('utf-8').strip()

或完全在unicode中工作。

2012-03-30 12:21:31

下面的解决方案对我有效，刚刚补充

u“字符串”

（表示字符串为unicode）。

result_html = result.to_html(col_space=1, index=False, justify={'right'})

text = u"""
<html>
<body>
<p>
Hello all, <br>
<br>
Here's weekly summary report.  Let me know if you have any questions. <br>
<br>
Data Summary <br>
<br>
<br>
{0}
</p>
<p>Thanks,</p>
<p>Data Team</p>
</body></html>
""".format(result_html)

2017-11-01 21:58:30

我只使用了以下内容：

import unicodedata
message = unicodedata.normalize("NFKD", message)

检查文档中的内容：

unicodedata.normalize（form，unistr）返回Unicode字符串unistr。表单的有效值为“NFC”、“NFKC”、，“NFD”和“NFKD”。Unicode标准定义了Unicode的各种规范化形式字符串，基于规范等价的定义和兼容性等效。在Unicode中以各种方式表达。例如，字符U+00C7（LATIN大写字母C和CEDILLA）也可以表示为序列U+0043（拉丁大写字母C）U+0327（组合塞迪拉）。对于每个字符，有两种范式：范式C和正规形式D（NFD）也称为规范形式并将每个字符转换为其分解形式。范式C（NFC）首先应用正则分解，然后再次编写预先组合的字符。除了这两种形式外，还有两种额外的正规形式基于兼容性等效性。在Unicode中，某些字符是支持通常与其他字符统一的字符。对于例如，U+2160（罗马数字一）实际上与U+0049是一样的（拉丁大写字母I）。但是，Unicode支持与现有字符集（例如gb2312）兼容。范式KD（NFKD）将应用相容性分解，即用它们的等价物替换所有兼容字符。这个范式KC（NFKC）首先应用相容性分解，然后是规范组成。即使两个unicode字符串被规范化人类读者，如果一个有组合字符而另一个没有，它们可能不相等。

帮我解决，简单易行。

2016-11-27 21:59:51

UnicodeEncodeError:“ascii”编解码器无法对位置20中的字符u“\xa0”进行编码：序号不在范围内（128）

推荐文章

最新文章

标签