Read_csv接受一个编码选项来处理不同格式的文件。我主要使用read_csv('file'， encoding = "ISO-8859-1")，或者encoding = "utf-8"用于读取，通常utf-8用于to_csv。

你也可以使用一些别名选项，如'latin'或'cp1252' (Windows)，而不是'ISO-8859-1'(参见python文档，也可以了解您可能遇到的许多其他编码)。

参见相关熊猫文件， 关于csv文件的python文档示例，以及大量关于SO的相关问题。一个很好的背景资源是每个开发人员都应该知道unicode和字符集。

要检测编码(假设文件包含非ascii字符)，可以使用enca(参见手册页)或file -i (linux)或file -i (osx)(参见手册页)。

最简单的解决方案:

import pandas as pd
df = pd.read_csv('file_name.csv', engine='python')

替代解决方案:

崇高的文本:

在Sublime文本编辑器或VS Code中打开csv文件。 以utf-8格式保存。 在sublime中，单击File -> Save with encoding -> UTF-8

VS代码:

在VSCode的底部栏中，您将看到标签UTF-8。点击它。弹出窗口会打开。单击“保存编码”。现在可以为该文件选择新的编码。

然后，您可以像往常一样读取您的文件:

import pandas as pd
data = pd.read_csv('file_name.csv', encoding='utf-8')

其他不同的编码类型有:

encoding = "cp1252"
encoding = "ISO-8859-1"

这个问题困扰了我一段时间，我想我应该发布这个问题，因为它是第一个搜索结果。将encoding="iso-8859-1"标签添加到pandas read_csv中不起作用，任何其他编码也不起作用，一直给出UnicodeDecodeError。

如果将文件句柄传递给pd.read_csv()，则需要将encoding属性放在打开的文件上，而不是在read_csv中。事后看来很明显，但这是一个需要追查的微妙错误。

Pandas允许指定编码，但不允许忽略错误，不允许自动替换违规字节。因此，没有一种适合所有情况的方法，而是根据实际用例使用不同的方法。

You know the encoding, and there is no encoding error in the file. Great: you have just to specify the encoding: file_encoding = 'cp1252' # set file_encoding to the file encoding (utf8, latin1, etc.) pd.read_csv(input_file_and_path, ..., encoding=file_encoding) You do not want to be bothered with encoding questions, and only want that damn file to load, no matter if some text fields contain garbage. Ok, you only have to use Latin1 encoding because it accept any possible byte as input (and convert it to the unicode character of same code): pd.read_csv(input_file_and_path, ..., encoding='latin1') You know that most of the file is written with a specific encoding, but it also contains encoding errors. A real world example is an UTF8 file that has been edited with a non utf8 editor and which contains some lines with a different encoding. Pandas has no provision for a special error processing, but Python open function has (assuming Python3), and read_csv accepts a file like object. Typical errors parameter to use here are 'ignore' which just suppresses the offending bytes or (IMHO better) 'backslashreplace' which replaces the offending bytes by their Python’s backslashed escape sequence: file_encoding = 'utf8' # set file_encoding to the file encoding (utf8, latin1, etc.) input_fd = open(input_file_and_path, encoding=file_encoding, errors = 'backslashreplace') pd.read_csv(input_fd, ...)

with open('filename.csv') as f:
   print(f)

执行这段代码后，你会发现'filename.csv'的编码，然后执行如下代码

data=pd.read_csv('filename.csv', encoding="encoding as you found earlier"

好了

这个答案似乎是CSV编码问题的万能答案。如果你的头文件出现了奇怪的编码问题，就像这样:

>>> f = open(filename,"r")
>>> reader = DictReader(f)
>>> next(reader)
OrderedDict([('\ufeffid', '1'), ... ])

然后在CSV文件的开头有一个字节顺序标记(BOM)字符。这个答案解决了这个问题:

Python读取csv - BOM嵌入到第一个键

解决方案是用encoding="utf-8-sig"加载CSV:

>>> f = open(filename,"r", encoding="utf-8-sig")
>>> reader = DictReader(f)
>>> next(reader)
OrderedDict([('id', '1'), ... ])

希望这能帮助到一些人。

在我的例子中，一个文件具有USC-2 LE BOM编码，根据notepad++。 对于python，它是encoding="utf_16_le"。

希望，这能帮助别人更快地找到答案。

我正在更新这个旧线程。我找到了一个有效的解决方案，但需要打开每个文件。我在LibreOffice中打开我的csv文件，选择另存为>编辑过滤器设置。在下拉菜单中，我选择UTF8编码。然后我在data = pd.read_csv(r' c:\fullpathtofile\filename.csv'， sep = '，'， encoding="utf-8-sig")中添加了encoding="utf-8-sig"。

希望这能帮助到一些人。

尝试指定engine='python'。 它对我很有效，但我仍在试图弄清楚为什么。

df = pd.read_csv(input_file_path,...engine='python')

我正在使用Jupyter-notebook。在我的例子中，它以错误的格式显示文件。“编码”选项不起作用。 所以我将csv保存为utf-8格式，它可以工作。

在我的例子中，这适用于python 2.7:

data = read_csv(filename, encoding = "ISO-8859-1", dtype={'name_of_colum': unicode}, low_memory=False) 

对于python3，只有:

data = read_csv(filename, encoding = "ISO-8859-1", low_memory=False) 

试试这个:

import pandas as pd
with open('filename.csv') as f:
    data = pd.read_csv(f)

看起来它会处理编码，而不会通过参数显式地表示它

在传递给熊猫之前检查编码。它会让你慢下来，但是……

with open(path, 'r') as f:
    encoding = f.encoding 

df = pd.read_csv(path,sep=sep, encoding=encoding)

在python 3.7中

I am posting an answer to provide an updated solution and explanation as to why this problem can occur. Say you are getting this data from a database or Excel workbook. If you have special characters like La Cañada Flintridge city, well unless you are exporting the data using UTF-8 encoding, you're going to introduce errors. La Cañada Flintridge city will become La Ca\xf1ada Flintridge city. If you are using pandas.read_csv without any adjustments to the default parameters, you'll hit the following error

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xf1 in position 5: invalid continuation byte

幸运的是，有一些解决方案。

选项1，修复导出。确保使用UTF-8编码。

选项2，如果您无法修复导出问题，并且需要使用pandas。Read_csv，请确保包含以下参数，engine='python'。默认情况下，pandas使用engine='C'，这非常适合读取大的干净文件，但如果出现任何意外情况，则会崩溃。根据我的经验，设置encoding='utf-8'从来没有修复过这个UnicodeDecodeError。此外，您不需要使用errors_bad_lines，但是，如果您确实需要它，这仍然是一个选项。

pd.read_csv(<your file>, engine='python')

选项3:解决方案是我个人更喜欢的解决方案。使用普通Python读取文件。

import pandas as pd

data = []

with open(<your file>, "rb") as myfile:
    # read the header seperately
    # decode it as 'utf-8', remove any special characters, and split it on the comma (or deliminator)
    header = myfile.readline().decode('utf-8').replace('\r\n', '').split(',')
    # read the rest of the data
    for line in myfile:
        row = line.decode('utf-8', errors='ignore').replace('\r\n', '').split(',')
        data.append(row)

# save the data as a dataframe
df = pd.DataFrame(data=data, columns = header)

希望这对第一次遇到这个问题的人有所帮助。

我无法打开从网上银行下载的简体中文CSV文件。 我试过latin1，我试过iso-8859-1，我试过cp1252，都没有用。

但pd。Read_csv (""，encoding ='gbk')只是做这个工作。

我遇到的另一个导致同样错误的重要问题是:

_values = pd.read_csv("C:\Users\Mujeeb\Desktop\file.xlxs")

^这一行导致了同样的错误，因为我正在使用read_csv()方法读取excel文件。使用read_excel()读取.xlxs

请尝试添加

import pandas as pd
df = pd.read_csv('file.csv', encoding='unicode_escape')

这将有所帮助。为我工作。另外，请确保使用了正确的分隔符和列名。

为了快速加载文件，可以从只加载1000行开始。

你可以试试这个。

import csv
import pandas as pd
df = pd.read_csv(filepath,encoding='unicode_escape')

你可以试试:

Df = pd.read_csv('./file_name.csv'， encoding='gbk')

尝试改变编码。 在我的例子中，encoding = "utf-16"起作用了。

df = pd.read_csv（“file.csv”，encoding='utf-16'）

有时问题只出现在.csv文件上。文件可能已损坏。 当面对这个问题时。“另存为”文件再次为csv格式。

0. Open the xls/csv file
1. Go to -> files 
2. Click -> Save As 
3. Write the file name 
4. Choose 'file type' as -> CSV [very important]
5. Click -> Ok 

对于上述问题，这是一种更通用的脚本方法。

import pandas as pd

encoding_list = ['ascii', 'big5', 'big5hkscs', 'cp037', 'cp273', 'cp424', 'cp437', 'cp500', 'cp720', 'cp737'
                 , 'cp775', 'cp850', 'cp852', 'cp855', 'cp856', 'cp857', 'cp858', 'cp860', 'cp861', 'cp862'
                 , 'cp863', 'cp864', 'cp865', 'cp866', 'cp869', 'cp874', 'cp875', 'cp932', 'cp949', 'cp950'
                 , 'cp1006', 'cp1026', 'cp1125', 'cp1140', 'cp1250', 'cp1251', 'cp1252', 'cp1253', 'cp1254'
                 , 'cp1255', 'cp1256', 'cp1257', 'cp1258', 'euc_jp', 'euc_jis_2004', 'euc_jisx0213', 'euc_kr'
                 , 'gb2312', 'gbk', 'gb18030', 'hz', 'iso2022_jp', 'iso2022_jp_1', 'iso2022_jp_2'
                 , 'iso2022_jp_2004', 'iso2022_jp_3', 'iso2022_jp_ext', 'iso2022_kr', 'latin_1', 'iso8859_2'
                 , 'iso8859_3', 'iso8859_4', 'iso8859_5', 'iso8859_6', 'iso8859_7', 'iso8859_8', 'iso8859_9'
                 , 'iso8859_10', 'iso8859_11', 'iso8859_13', 'iso8859_14', 'iso8859_15', 'iso8859_16', 'johab'
                 , 'koi8_r', 'koi8_t', 'koi8_u', 'kz1048', 'mac_cyrillic', 'mac_greek', 'mac_iceland', 'mac_latin2'
                 , 'mac_roman', 'mac_turkish', 'ptcp154', 'shift_jis', 'shift_jis_2004', 'shift_jisx0213', 'utf_32'
                 , 'utf_32_be', 'utf_32_le', 'utf_16', 'utf_16_be', 'utf_16_le', 'utf_7', 'utf_8', 'utf_8_sig']

for encoding in encoding_list:
    worked = True
    try:
        df = pd.read_csv(path, encoding=encoding, nrows=5)
    except:
        worked = False
    if worked:
        print(encoding, ':\n', df.head())

首先是python版本可用的所有标准编码(在本例中是3.7 python 3.7 standard encodings)。 这里提供了不同python版本的标准编码的可用python列表:有用的堆栈溢出答案

在一小块数据上尝试每种编码; 只打印工作编码。 输出是非常明显的。 这个输出还解决了一个问题，编码像'latin1'，通过应该有任何错误，不一定产生想要的结果。

如果有问题，我会尝试这种方法，具体到有问题的CSV文件，然后可能会尝试使用所有其他的工作编码。

Pandas不会通过更改编码样式自动替换违规字节。在我的例子中，将编码参数从encoding = "utf-8"更改为encoding = "utf-16"解决了这个问题。

在我的案例中，我无法使用之前提供的任何方法来克服这个问题。将编码器类型更改为utf-8、utf-16、iso-8859-1或任何其他类型都不工作。

但是不用pd。read_csv(文件名，分隔符=';')，我用的是;

pd。Read_csv (open(filename， 'r')， delimiter=';')

一切似乎都很顺利。

你总是可以尝试先检测文件的编码，使用chardet或cchardet或charset-normalizer:

from pathlib import Path
import chardet

filename = "file_name.csv"
detected = chardet.detect(Path(filename).read_bytes())
# detected is something like {'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

encoding = detected.get("encoding")
assert encoding, "Unable to detect encoding, is it a binary file?"

df = pd.read_csv(filename, encoding=encoding)