当输送Python程序的输出时，Python解释器会混淆编码并将其设置为None。这意味着这样一个程序:
# -*- coding: utf-8 -*-
print u"åäö"
正常运行时工作正常，但失败:
unicode编码错误:'ascii'编解码器无法编码字符u'\xa0'在位置0:序数不在范围(128)
在管道序列中使用时。
什么是最好的方法使这工作时管道?我能告诉它使用shell/文件系统/任何正在使用的编码吗?
到目前为止，我看到的建议是直接修改你的site.py，或者使用以下方法硬编码defaultencoding:
# -*- coding: utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
print u"åäö"
有没有更好的方法让管道工作?
当前回答
在Windows上，当我从编辑器(如Sublime Text)运行Python代码时经常遇到这个问题，但如果从命令行运行就不会。
在这种情况下，检查编辑器的参数。在SublimeText的情况下，这个Python。Sublime-build解决了这个问题:
{
"cmd": ["python", "-u", "$file"],
"file_regex": "^[ ]*File \"(...*?)\", line ([0-9]*)",
"selector": "source.python",
"encoding": "utf8",
"env": {"PYTHONIOENCODING": "utf-8", "LANG": "en_US.UTF-8"}
}
其他回答
您的代码在脚本中运行时可以工作，因为Python将输出编码为终端应用程序使用的任何编码。如果你是管道，你必须自己编码。
一条经验法则是:始终在内部使用Unicode。解码你收到的，编码你发送的。
# -*- coding: utf-8 -*-
print u"åäö".encode('utf-8')
另一个有教育意义的例子是一个在ISO-8859-1和UTF-8之间转换的Python程序，在两者之间使用大写字母。
import sys
for line in sys.stdin:
# Decode what you receive:
line = line.decode('iso8859-1')
# Work with Unicode internally:
line = line.upper()
# Encode what you send:
line = line.encode('utf-8')
sys.stdout.write(line)
设置系统默认编码是一个坏主意，因为您使用的一些模块和库可能依赖于它是ASCII的事实。不要这样做。
在Windows上，当我从编辑器(如Sublime Text)运行Python代码时经常遇到这个问题，但如果从命令行运行就不会。
在这种情况下，检查编辑器的参数。在SublimeText的情况下，这个Python。Sublime-build解决了这个问题:
{
"cmd": ["python", "-u", "$file"],
"file_regex": "^[ ]*File \"(...*?)\", line ([0-9]*)",
"selector": "source.python",
"encoding": "utf8",
"env": {"PYTHONIOENCODING": "utf-8", "LANG": "en_US.UTF-8"}
}
首先，关于这个解决方案:
# -*- coding: utf-8 -*-
print u"åäö".encode('utf-8')
每次都显式地用给定的编码打印是不实际的。这将是重复的，而且容易出错。
一个更好的解决方案是改变sys。在程序开始时使用标准输出，以使用选定的编码进行编码。这是我在Python上找到的一个解决方案:如何选择sys.stdout.encoding ?，特别是“toka”的评论:
import sys
import codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdout)
从Python 3.7开始，我们可以使用Python UTF-8模式，通过使用命令行选项-X utf8:
python -X utf8 testzh.py
脚本testzh.py包含
print("Content-type: text/html; charset=UTF-8\n")
print("地球你好!")
将Windows 10 Internet Service IIS设置为CGI脚本处理程序
我们将Executable设置为:
"C:\Program Files\Python39\python.exe" -X utf8 %s
这适用于微软浏览器上的中文表意文字。像这样的截图:否则，错误发生。
请参阅https://docs.python.org/3/library/os.html#utf8-mode
我只是想在这里提到一些我花了很长时间实验才最终意识到发生了什么的东西。这对在座的每个人来说都是显而易见的，以至于他们都懒得提。但如果他们这么做了，对我就有帮助了，所以基于这个原则……!
注意:我具体使用Jython, v 2.7，所以这可能不适用于CPython…
NB2:我的.py文件的前两行是:
# -*- coding: utf-8 -*-
from __future__ import print_function
“%”(又名“插值运算符”)字符串构造机制也会导致额外的问题…如果“环境”的默认编码是ASCII，并且您尝试执行如下操作
print( "bonjour, %s" % "fréd" ) # Call this "print A"
在Eclipse中运行没有任何困难……在Windows CLI (DOS窗口)中，你会发现编码是代码页850(我的Windows 7操作系统)或类似的东西，至少可以处理欧洲口音的字符，所以它可以工作。
print( u"bonjour, %s" % "fréd" ) # Call this "print B"
也会起作用。
如果，OTOH，你从CLI直接到一个文件，标准输出编码将是None，这将默认为ASCII(在我的操作系统上)，这将无法处理上面的任何一个打印…(可怕的编码错误)。
因此，您可能会考虑使用重定向您的标准输出
sys.stdout = codecs.getwriter('utf8')(sys.stdout)
并尝试在CLI管道中运行到一个文件…非常奇怪的是，上面打印A也可以…但是上面的打印B会抛出编码错误!但是下面的方法可以正常工作:
print( u"bonjour, " + "fréd" ) # Call this "print C"
我得出的结论(暂时)是，如果一个字符串被指定为使用“u”前缀的Unicode字符串提交给%-处理机制，它似乎涉及到默认环境编码的使用，无论您是否将stdout设置为重定向!
人们如何处理这个问题是一个选择的问题。我欢迎Unicode专家告诉我为什么会发生这种情况，我是否在某些方面弄错了，首选的解决方案是什么，它是否也适用于CPython，是否发生在Python 3中，等等，等等。
