请打开终端并发出以下命令：

export LC_ALL="en_US.UTF-8"

事实上，我发现在我的大多数情况下，仅仅去掉这些字符就简单多了：

s = mystring.decode('ascii', 'ignore')

我总是将下面的代码放在python文件的前两行：

# -*- coding: utf-8 -*-
from __future__ import unicode_literals

您可以使用unicodedata来避免UnicodeEncodeError。下面是一个示例：

import unicodedata

agent_telno = agent.find('div', 'agent_contact_number')
agent_telno = unicodedata.normalize("NFKD", agent_telno) #it will remove all unwanted character like '\xa0'
agent_telno = '' if agent_telno is None else agent_telno.contents[0]
p.agent_info = str(agent_contact + ' ' + agent_telno).strip()

我们在Django中使用本地化的fixture运行manage.py迁移时遇到了这个错误。

我们的源代码包含#-*-coding:utf-8-*-声明，MySQL为utf8正确配置，Ubuntu具有适当的语言包和/etc/default/locate中的值。

问题很简单，Django容器（我们使用docker）缺少LANG env变量。

将LANG设置为en_US.UTF-8并在重新运行迁移之前重新启动容器解决了问题。

我在尝试将Unicode字符输出到stdout时遇到了这个问题，但使用sys.stdout.write，而不是打印（这样我也可以支持输出到其他文件）。

从BeautifulSoup自己的文档中，我用编解码器库解决了这个问题：

import sys
import codecs

def main(fIn, fOut):
    soup = BeautifulSoup(fIn)
    # Do processing, with data including non-ASCII characters
    fOut.write(unicode(soup))

if __name__ == '__main__':
    with (sys.stdin) as fIn: # Don't think we need codecs.getreader here
        with codecs.getwriter('utf-8')(sys.stdout) as fOut:
            main(fIn, fOut)