# -*- encoding: utf-8 -*-

# converting a unknown formatting file in utf-8

import codecs
import commands

file_location = "jumper.sub"
file_encoding = commands.getoutput('file -b --mime-encoding %s' % file_location)

file_stream = codecs.open(file_location, 'r', file_encoding)
file_output = codecs.open(file_location+"b", 'w', 'utf-8')

for l in file_stream:
    file_output.write(l)

file_stream.close()
file_output.close()

这适用于在Python 3.2中读取UTF-8编码的文件:

import codecs
f = codecs.open('file_name.txt', 'r', 'UTF-8')
for line in f:
    print(line)

您曾经遇到过编码的一般问题:如何判断文件采用的是哪种编码?

答:不能，除非文件格式提供了这一点。例如，XML的开头是:

<?xml encoding="utf-8"?>

此标头经过精心选择，以便无论编码如何都可以读取。在你的例子中，没有这样的提示，因此你的编辑器和Python都不知道发生了什么。因此，您必须使用codecs模块并使用codecs.open(path,mode,encoding)，它提供了Python中缺少的位。

至于编辑器，必须检查它是否提供了设置文件编码的方法。

UTF-8的重点是能够将21位字符(Unicode)编码为8位数据流(因为这是世界上所有计算机都能处理的唯一事情)。但是由于大多数操作系统早于Unicode时代，它们没有合适的工具将编码信息附加到硬盘上的文件。

下一个问题是Python中的表示。这在heikogerlach的评论中得到了完美的解释。您必须理解控制台只能显示ASCII。为了显示Unicode或任何东西>= charcode 128，它必须使用一些转义的方法。在编辑器中，您不能输入转义的显示字符串，而是输入字符串的含义(在这种情况下，您必须输入变音符并保存文件)。

也就是说，你可以使用Python函数eval()将转义字符串转换为字符串:

>>> x = eval("'Capit\\xc3\\xa1n\\n'")
>>> x
'Capit\xc3\xa1n\n'
>>> x[5]
'\xc3'
>>> len(x[5])
1

如您所见，字符串“\xc3”已被转换为单个字符。这现在是一个8位字符串，UTF-8编码。获取Unicode:

>>> x.decode('utf-8')
u'Capit\xe1n\n'

Gregg Lind问:我认为这里缺少了一些内容:文件f2包含:hex:

0000000: 4361 7069 745c 7863 335c 7861 316e  Capit\xc3\xa1n

编解码器。open('f2'，'rb'， 'utf-8')，例如，在一个单独的字符中读取它们(预期)是否有任何方法可以用ASCII写入文件?

答:那要看你是什么意思了。ASCII不能表示字符> 127。因此，您需要某种方法来表示“接下来的几个字符意味着一些特殊的东西”，这就是序列“\x”所做的。它说:接下来的两个字符是一个字符的代码。“\u”使用四个字符将Unicode编码到0xFFFF(65535)。

因此，您不能直接将Unicode写入ASCII(因为ASCII不包含相同的字符)。你可以把它写成字符串转义(如f2);在这种情况下，文件可以用ASCII表示。或者你可以把它写成UTF-8，在这种情况下，你需要一个8位的安全流。

使用decode('string-escape')的解决方案确实有效，但你必须意识到你使用了多少内存:是使用co解码器.open()的三倍。

记住，文件只是一个8位字节的序列。比特和字节都没有意义。是你说“65意味着‘A’”。由于\xc3\xa1应该变成“à”，但计算机没有办法知道，你必须通过指定写入文件时使用的编码来告诉它。

除了codecs.open()之外，io.open()可以在这两种情况下使用。X和3。X来读写文本文件。例子:

import io

text = u'á'
encoding = 'utf8'

with io.open('data.txt', 'w', encoding=encoding, newline='\n') as fout:
    fout.write(text)

with io.open('data.txt', 'r', encoding=encoding, newline='\n') as fin:
    text2 = fin.read()

assert text == text2

我试图用Python 2.7.9解析iCal:

从icalendar导入日历

但我得到:

 Traceback (most recent call last):
 File "ical.py", line 92, in parse
    print "{}".format(e[attr])
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe1' in position 7: ordinal not in range(128)

它只是用:

print "{}".format(e[attr].encode("utf-8"))

(现在它可以打印liké á böss。)

好吧，您最喜欢的文本编辑器没有意识到\xc3\xa1应该是字符字面量，但它将它们解释为文本。这就是为什么你在最后一行得到双反斜杠——现在在你的文件中它是一个真正的反斜杠+ xc3等等。

如果你想在Python中读写编码文件，最好使用codecs模块。

在终端和应用程序之间粘贴文本是困难的，因为您不知道哪个程序将使用哪种编码来解释您的文本。你可以试试下面的方法:

>>> s = file("f1").read()
>>> print unicode(s, "Latin-1")
Capitán

然后将这个字符串粘贴到编辑器中，并确保它使用Latin-1存储它。假设剪贴板不会使字符串乱码，那么往返应该可以工作。