在Pandas with Python中读取CSV文件时出现UnicodeDecodeError

我正在运行一个程序，它正在处理3万个类似的文件。随机数量的它们停止并产生此错误…

  File "C:\Importer\src\dfman\importer.py", line 26, in import_chr
    data = pd.read_csv(filepath, names=fields)
  File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 400, in parser_f
    return _read(filepath_or_buffer, kwds)
  File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 205, in _read
    return parser.read()
  File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 608, in read
    ret = self._engine.read(nrows)
  File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 1028, in read
    data = self._reader.read(nrows)
  File "parser.pyx", line 706, in pandas.parser.TextReader.read (pandas\parser.c:6745)
  File "parser.pyx", line 728, in pandas.parser.TextReader._read_low_memory (pandas\parser.c:6964)
  File "parser.pyx", line 804, in pandas.parser.TextReader._read_rows (pandas\parser.c:7780)
  File "parser.pyx", line 890, in pandas.parser.TextReader._convert_column_data (pandas\parser.c:8793)
  File "parser.pyx", line 950, in pandas.parser.TextReader._convert_tokens (pandas\parser.c:9484)
  File "parser.pyx", line 1026, in pandas.parser.TextReader._convert_with_dtype (pandas\parser.c:10642)
  File "parser.pyx", line 1046, in pandas.parser.TextReader._string_convert (pandas\parser.c:10853)
  File "parser.pyx", line 1278, in pandas.parser._string_box_utf8 (pandas\parser.c:15657)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xda in position 6: invalid    continuation byte

这些文件的来源/创建都来自同一个地方。纠正这个问题以继续导入的最佳方法是什么?

当前回答

在我的案例中，我无法使用之前提供的任何方法来克服这个问题。将编码器类型更改为utf-8、utf-16、iso-8859-1或任何其他类型都不工作。

但是不用pd。read_csv(文件名，分隔符=';')，我用的是;

pd。Read_csv (open(filename， 'r')， delimiter=';')

一切似乎都很顺利。

2021-12-28 08:26:37

其他回答

在我的例子中，这适用于python 2.7:

data = read_csv(filename, encoding = "ISO-8859-1", dtype={'name_of_colum': unicode}, low_memory=False)

对于python3，只有:

data = read_csv(filename, encoding = "ISO-8859-1", low_memory=False)

2019-07-26 15:49:38

在传递给熊猫之前检查编码。它会让你慢下来，但是……

with open(path, 'r') as f:
    encoding = f.encoding 

df = pd.read_csv(path,sep=sep, encoding=encoding)

在python 3.7中

2019-10-11 14:12:16

我正在更新这个旧线程。我找到了一个有效的解决方案，但需要打开每个文件。我在LibreOffice中打开我的csv文件，选择另存为>编辑过滤器设置。在下拉菜单中，我选择UTF8编码。然后我在data = pd.read_csv(r' c:\fullpathtofile\filename.csv'， sep = '，'， encoding="utf-8-sig")中添加了encoding="utf-8-sig"。

希望这能帮助到一些人。

2019-01-01 00:54:23

这个问题困扰了我一段时间，我想我应该发布这个问题，因为它是第一个搜索结果。将encoding="iso-8859-1"标签添加到pandas read_csv中不起作用，任何其他编码也不起作用，一直给出UnicodeDecodeError。

如果将文件句柄传递给pd.read_csv()，则需要将encoding属性放在打开的文件上，而不是在read_csv中。事后看来很明显，但这是一个需要追查的微妙错误。

2018-05-13 17:12:35

你可以试试这个。

import csv
import pandas as pd
df = pd.read_csv(filepath,encoding='unicode_escape')

2020-06-14 09:33:29

在Pandas with Python中读取CSV文件时出现UnicodeDecodeError

推荐文章

最新文章

标签