当输送Python程序的输出时,Python解释器会混淆编码并将其设置为None。这意味着这样一个程序:
# -*- coding: utf-8 -*-
print u"åäö"
正常运行时工作正常,但失败:
unicode编码错误:'ascii'编解码器无法编码字符u'\xa0'在位置0:序数不在范围(128)
在管道序列中使用时。
什么是最好的方法使这工作时管道?我能告诉它使用shell/文件系统/任何正在使用的编码吗?
到目前为止,我看到的建议是直接修改你的site.py,或者使用以下方法硬编码defaultencoding:
# -*- coding: utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
print u"åäö"
有没有更好的方法让管道工作?
我只是想在这里提到一些我花了很长时间实验才最终意识到发生了什么的东西。这对在座的每个人来说都是显而易见的,以至于他们都懒得提。但如果他们这么做了,对我就有帮助了,所以基于这个原则……!
注意:我具体使用Jython, v 2.7,所以这可能不适用于CPython…
NB2:我的.py文件的前两行是:
# -*- coding: utf-8 -*-
from __future__ import print_function
“%”(又名“插值运算符”)字符串构造机制也会导致额外的问题…如果“环境”的默认编码是ASCII,并且您尝试执行如下操作
print( "bonjour, %s" % "fréd" ) # Call this "print A"
在Eclipse中运行没有任何困难……在Windows CLI (DOS窗口)中,你会发现编码是代码页850(我的Windows 7操作系统)或类似的东西,至少可以处理欧洲口音的字符,所以它可以工作。
print( u"bonjour, %s" % "fréd" ) # Call this "print B"
也会起作用。
如果,OTOH,你从CLI直接到一个文件,标准输出编码将是None,这将默认为ASCII(在我的操作系统上),这将无法处理上面的任何一个打印…(可怕的编码错误)。
因此,您可能会考虑使用重定向您的标准输出
sys.stdout = codecs.getwriter('utf8')(sys.stdout)
并尝试在CLI管道中运行到一个文件…非常奇怪的是,上面打印A也可以…但是上面的打印B会抛出编码错误!但是下面的方法可以正常工作:
print( u"bonjour, " + "fréd" ) # Call this "print C"
我得出的结论(暂时)是,如果一个字符串被指定为使用“u”前缀的Unicode字符串提交给%-处理机制,它似乎涉及到默认环境编码的使用,无论您是否将stdout设置为重定向!
人们如何处理这个问题是一个选择的问题。我欢迎Unicode专家告诉我为什么会发生这种情况,我是否在某些方面弄错了,首选的解决方案是什么,它是否也适用于CPython,是否发生在Python 3中,等等,等等。
我只是想在这里提到一些我花了很长时间实验才最终意识到发生了什么的东西。这对在座的每个人来说都是显而易见的,以至于他们都懒得提。但如果他们这么做了,对我就有帮助了,所以基于这个原则……!
注意:我具体使用Jython, v 2.7,所以这可能不适用于CPython…
NB2:我的.py文件的前两行是:
# -*- coding: utf-8 -*-
from __future__ import print_function
“%”(又名“插值运算符”)字符串构造机制也会导致额外的问题…如果“环境”的默认编码是ASCII,并且您尝试执行如下操作
print( "bonjour, %s" % "fréd" ) # Call this "print A"
在Eclipse中运行没有任何困难……在Windows CLI (DOS窗口)中,你会发现编码是代码页850(我的Windows 7操作系统)或类似的东西,至少可以处理欧洲口音的字符,所以它可以工作。
print( u"bonjour, %s" % "fréd" ) # Call this "print B"
也会起作用。
如果,OTOH,你从CLI直接到一个文件,标准输出编码将是None,这将默认为ASCII(在我的操作系统上),这将无法处理上面的任何一个打印…(可怕的编码错误)。
因此,您可能会考虑使用重定向您的标准输出
sys.stdout = codecs.getwriter('utf8')(sys.stdout)
并尝试在CLI管道中运行到一个文件…非常奇怪的是,上面打印A也可以…但是上面的打印B会抛出编码错误!但是下面的方法可以正常工作:
print( u"bonjour, " + "fréd" ) # Call this "print C"
我得出的结论(暂时)是,如果一个字符串被指定为使用“u”前缀的Unicode字符串提交给%-处理机制,它似乎涉及到默认环境编码的使用,无论您是否将stdout设置为重定向!
人们如何处理这个问题是一个选择的问题。我欢迎Unicode专家告诉我为什么会发生这种情况,我是否在某些方面弄错了,首选的解决方案是什么,它是否也适用于CPython,是否发生在Python 3中,等等,等等。
我可以通过调用来“自动化”它:
def __fix_io_encoding(last_resort_default='UTF-8'):
import sys
if [x for x in (sys.stdin,sys.stdout,sys.stderr) if x.encoding is None] :
import os
defEnc = None
if defEnc is None :
try:
import locale
defEnc = locale.getpreferredencoding()
except: pass
if defEnc is None :
try: defEnc = sys.getfilesystemencoding()
except: pass
if defEnc is None :
try: defEnc = sys.stdin.encoding
except: pass
if defEnc is None :
defEnc = last_resort_default
os.environ['PYTHONIOENCODING'] = os.environ.get("PYTHONIOENCODING",defEnc)
os.execvpe(sys.argv[0],sys.argv,os.environ)
__fix_io_encoding() ; del __fix_io_encoding
是的,如果这个“setenv”失败了,就有可能得到一个无限循环。
export PYTHONIOENCODING=utf-8
完成工作,但不能设置在python本身…
我们能做的是验证是否没有设置,并告诉用户在调用脚本之前设置它:
if __name__ == '__main__':
if (sys.stdout.encoding is None):
print >> sys.stderr, "please set python env PYTHONIOENCODING=UTF-8, example: export PYTHONIOENCODING=UTF-8, when write to stdout."
exit(1)
更新以回复评论:
问题只存在于管道到标准输出时。
我在Fedora 25 Python 2.7.13中测试
python --version
Python 2.7.13
猫b.py
#!/usr/bin/env python
#-*- coding: utf-8 -*-
import sys
print sys.stdout.encoding
运行。/ b.py
UTF-8
运行。/b.p y| less
None
我在一个遗留应用程序中遇到了这个问题,并且很难确定在哪里打印了内容。我用这个方法帮助自己:
# encoding_utf8.py
import codecs
import builtins
def print_utf8(text, **kwargs):
print(str(text).encode('utf-8'), **kwargs)
def print_utf8(fn):
def print_fn(*args, **kwargs):
return fn(str(*args).encode('utf-8'), **kwargs)
return print_fn
builtins.print = print_utf8(print)
在我的脚本顶部,test.py:
import encoding_utf8
string = 'Axwell Λ Ingrosso'
print(string)
注意,这改变了所有调用打印使用编码,所以你的控制台将打印这个:
$ python test.py
b'Axwell \xce\x9b Ingrosso'