为什么下面的项目失败了?为什么它成功与“拉丁-1”编解码器?

o = "a test of \xe9 char" #I want this to remain a string as this is what I am receiving
v = o.decode("utf-8")

结果是:

 Traceback (most recent call last):  
 File "<stdin>", line 1, in <module>  
 File "C:\Python27\lib\encodings\utf_8.py",
 line 16, in decode
     return codecs.utf_8_decode(input, errors, True) UnicodeDecodeError:
 'utf8' codec can't decode byte 0xe9 in position 10: invalid continuation byte

当前回答

我遇到了这个问题,原来我直接从谷歌表文件中保存了我的CSV。换句话说,我在一个谷歌表文件中。我选择,保存一个副本,然后当我的浏览器下载它时,我选择了打开。然后直接保存了CSV。这是错误的一步。

对我来说,解决这个问题的方法是首先在我的本地电脑上将表格保存为.xlsx文件,然后将表格导出为.csv文件。然后,pd.read_csv('myfile.csv')的错误消失了

其他回答

在这种情况下,我尝试执行一个激活路径/file.sql的.py。

我的解决方案是修改文件的编码。sql到“UTF-8没有BOM”,它的工作!

你可以用notepad++来做。

我会留下一部分代码。

con = psycopg2.connect(host = sys.argv[1],
port = sys.argv[2],dbname = sys.argv[3],user = sys.argv[4], password = sys.argv[5])

cursor = con.cursor()
sqlfile = open(path, 'r')

解决方案改为“UTF-8 sin BOM”

这也发生在我身上,当我从一个.txt文件中阅读包含希伯来语的文本时。

我点击:file -> save as,我将这个文件保存为UTF-8编码

我遇到了这个问题,原来我直接从谷歌表文件中保存了我的CSV。换句话说,我在一个谷歌表文件中。我选择,保存一个副本,然后当我的浏览器下载它时,我选择了打开。然后直接保存了CSV。这是错误的一步。

对我来说,解决这个问题的方法是首先在我的本地电脑上将表格保存为.xlsx文件,然后将表格导出为.csv文件。然后,pd.read_csv('myfile.csv')的错误消失了

在二进制中,0xE9看起来像1110 1001。如果您在Wikipedia上阅读有关UTF-8的内容,就会看到这样的字节后面必须跟两个10xx xxxx形式的字节。举个例子:

>>> b'\xe9\x80\x80'.decode('utf-8')
u'\u9000'

但这只是异常的机械原因。在本例中,您的字符串几乎肯定是用latin 1编码的。你可以看到UTF-8和latin 1看起来有什么不同:

>>> u'\xe9'.encode('utf-8')
b'\xc3\xa9'
>>> u'\xe9'.encode('latin-1')
b'\xe9'

(注意,这里我混合使用了Python 2和Python 3的表示法。输入在任何版本的Python中都是有效的,但Python解释器不太可能以这种方式同时显示unicode和字节字符串。)