我刚刚遇到了这个问题，谷歌把我带到了这里，所以为了补充这里的一般解决方案，这是对我有用的：

# 'value' contains the problematic data
unic = u''
unic += value
value = unic

我看了奈德的演讲后有了这个想法。

不过，我并没有完全理解为什么这样做有效。所以，如果有人能编辑这个答案或发表评论来解释，我将不胜感激。

导致打印失败的一个微妙问题是环境变量设置错误，例如LC_ALL设置为“C”。在Debian中，他们不鼓励设置它：在Locale上设置Debian wiki

$ echo $LANG
en_US.utf8
$ echo $LC_ALL 
C
$ python -c "print (u'voil\u00e0')"
Traceback (most recent call last):
  File "<string>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe0' in position 4: ordinal not in range(128)
$ export LC_ALL='en_US.utf8'
$ python -c "print (u'voil\u00e0')"
voilà
$ unset LC_ALL
$ python -c "print (u'voil\u00e0')"
voilà

嗯，我尝试了一切，但都无济于事，在谷歌搜索后，我找到了以下内容，这有帮助。python 2.7正在使用中。

# encoding=utf8
import sys
reload(sys)
sys.setdefaultencoding('utf8')

我在尝试将Unicode字符输出到stdout时遇到了这个问题，但使用sys.stdout.write，而不是打印（这样我也可以支持输出到其他文件）。

从BeautifulSoup自己的文档中，我用编解码器库解决了这个问题：

import sys
import codecs

def main(fIn, fOut):
    soup = BeautifulSoup(fIn)
    # Do processing, with data including non-ASCII characters
    fOut.write(unicode(soup))

if __name__ == '__main__':
    with (sys.stdin) as fIn: # Don't think we need codecs.getreader here
        with codecs.getwriter('utf-8')(sys.stdout) as fOut:
            main(fIn, fOut)

您可以使用unicodedata来避免UnicodeEncodeError。下面是一个示例：

import unicodedata

agent_telno = agent.find('div', 'agent_contact_number')
agent_telno = unicodedata.normalize("NFKD", agent_telno) #it will remove all unwanted character like '\xa0'
agent_telno = '' if agent_telno is None else agent_telno.contents[0]
p.agent_info = str(agent_contact + ' ' + agent_telno).strip()

外壳内：

通过以下命令查找支持的UTF-8语言环境：区域设置-a |grep“UTF-8”在运行脚本之前导出它，例如：导出LC_ALL=$（语言环境-a|grep UTF-8）或手动类似：导出LC_ALL=C.UTF-8通过打印特殊字符进行测试，例如。™:python-c'打印（u“\u2122”）；'

以上是在Ubuntu中测试的。