我正在运行一个程序,它正在处理3万个类似的文件。随机数量的它们停止并产生此错误…

  File "C:\Importer\src\dfman\importer.py", line 26, in import_chr
    data = pd.read_csv(filepath, names=fields)
  File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 400, in parser_f
    return _read(filepath_or_buffer, kwds)
  File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 205, in _read
    return parser.read()
  File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 608, in read
    ret = self._engine.read(nrows)
  File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 1028, in read
    data = self._reader.read(nrows)
  File "parser.pyx", line 706, in pandas.parser.TextReader.read (pandas\parser.c:6745)
  File "parser.pyx", line 728, in pandas.parser.TextReader._read_low_memory (pandas\parser.c:6964)
  File "parser.pyx", line 804, in pandas.parser.TextReader._read_rows (pandas\parser.c:7780)
  File "parser.pyx", line 890, in pandas.parser.TextReader._convert_column_data (pandas\parser.c:8793)
  File "parser.pyx", line 950, in pandas.parser.TextReader._convert_tokens (pandas\parser.c:9484)
  File "parser.pyx", line 1026, in pandas.parser.TextReader._convert_with_dtype (pandas\parser.c:10642)
  File "parser.pyx", line 1046, in pandas.parser.TextReader._string_convert (pandas\parser.c:10853)
  File "parser.pyx", line 1278, in pandas.parser._string_box_utf8 (pandas\parser.c:15657)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xda in position 6: invalid    continuation byte

这些文件的来源/创建都来自同一个地方。纠正这个问题以继续导入的最佳方法是什么?


当前回答

Pandas不会通过更改编码样式自动替换违规字节。在我的例子中,将编码参数从encoding = "utf-8"更改为encoding = "utf-16"解决了这个问题。

其他回答

试试这个:

import pandas as pd
with open('filename.csv') as f:
    data = pd.read_csv(f)

看起来它会处理编码,而不会通过参数显式地表示它

在我的例子中,一个文件具有USC-2 LE BOM编码,根据notepad++。 对于python,它是encoding="utf_16_le"。

希望,这能帮助别人更快地找到答案。

有时问题只出现在.csv文件上。文件可能已损坏。 当面对这个问题时。“另存为”文件再次为csv格式。

0. Open the xls/csv file
1. Go to -> files 
2. Click -> Save As 
3. Write the file name 
4. Choose 'file type' as -> CSV [very important]
5. Click -> Ok 

我无法打开从网上银行下载的简体中文CSV文件。 我试过latin1,我试过iso-8859-1,我试过cp1252,都没有用。

但pd。Read_csv ("",encoding ='gbk')只是做这个工作。

Read_csv接受一个编码选项来处理不同格式的文件。我主要使用read_csv('file', encoding = "ISO-8859-1"),或者encoding = "utf-8"用于读取,通常utf-8用于to_csv。

你也可以使用一些别名选项,如'latin'或'cp1252' (Windows),而不是'ISO-8859-1'(参见python文档,也可以了解您可能遇到的许多其他编码)。

参见相关熊猫文件, 关于csv文件的python文档示例,以及大量关于SO的相关问题。一个很好的背景资源是每个开发人员都应该知道unicode和字符集。

要检测编码(假设文件包含非ascii字符),可以使用enca(参见手册页)或file -i (linux)或file -i (osx)(参见手册页)。