我对编解码器真的很困惑。打开功能。当我这样做的时候:
file = codecs.open("temp", "w", "utf-8")
file.write(codecs.BOM_UTF8)
file.close()
它给出了误差
UnicodeDecodeError: 'ascii'编解码器不能解码字节0xef位置 0:序数不在范围(128)
如果我这样做:
file = open("temp", "w")
file.write(codecs.BOM_UTF8)
file.close()
它工作得很好。
问题是为什么第一种方法失败了?如何插入bom?
如果第二种方法是正确的方法，那么使用编解码器有什么意义呢?打开(文件名，"w"， "utf-8")?
当前回答
阅读以下内容:http://docs.python.org/library/codecs.html#module-encodings.utf_8_sig
这样做
with codecs.open("test_output", "w", "utf-8-sig") as temp:
temp.write("hi mom\n")
temp.write(u"This has ♭")
生成的文件是包含预期BOM的UTF-8。
其他回答
我使用file *nix命令将一个未知字符集文件转换为utf-8文件
# -*- encoding: utf-8 -*-
# converting a unknown formatting file in utf-8
import codecs
import commands
file_location = "jumper.sub"
file_encoding = commands.getoutput('file -b --mime-encoding %s' % file_location)
file_stream = codecs.open(file_location, 'r', file_encoding)
file_output = codecs.open(file_location+"b", 'w', 'utf-8')
for l in file_stream:
file_output.write(l)
file_stream.close()
file_output.close()
用这个很简单。不需要任何库。
with open('text.txt', 'w', encoding='utf-8') as f:
f.write(text)
我认为问题在于编解码器。BOM_UTF8是一个字节字符串，而不是Unicode字符串。我怀疑文件处理程序试图根据“我打算将Unicode编写为utf -8编码的文本，但您给了我一个字节字符串!”来猜测您的真正意思!
尝试直接为字节顺序标记(即Unicode U+FEFF)编写Unicode字符串，以便文件将其编码为UTF-8:
import codecs
file = codecs.open("lol", "w", "utf-8")
file.write(u'\ufeff')
file.close()
(这似乎给出了正确的答案-一个文件字节EF BB BF。)
编辑:S. Lott建议使用“utf-8-sig”作为编码，这比自己显式地编写BOM更好，但我将把这个答案留在这里，因为它解释了之前的错误。
阅读以下内容:http://docs.python.org/library/codecs.html#module-encodings.utf_8_sig
这样做
with codecs.open("test_output", "w", "utf-8-sig") as temp:
temp.write("hi mom\n")
temp.write(u"This has ♭")
生成的文件是包含预期BOM的UTF-8。
@S-Lott给出了正确的过程，但在Unicode问题上展开，Python解释器可以提供更多的见解。
Jon Skeet对codecs模块的看法是正确的(不寻常)——它包含字节字符串:
>>> import codecs
>>> codecs.BOM
'\xff\xfe'
>>> codecs.BOM_UTF8
'\xef\xbb\xbf'
>>>
选择另一个nit, BOM有一个标准的Unicode名称，它可以输入为:
>>> bom= u"\N{ZERO WIDTH NO-BREAK SPACE}"
>>> bom
u'\ufeff'
它也可以通过unicodedata访问:
>>> import unicodedata
>>> unicodedata.lookup('ZERO WIDTH NO-BREAK SPACE')
u'\ufeff'
>>>
