Read_csv接受一个编码选项来处理不同格式的文件。我主要使用read_csv('file'， encoding = "ISO-8859-1")，或者encoding = "utf-8"用于读取，通常utf-8用于to_csv。

你也可以使用一些别名选项，如'latin'或'cp1252' (Windows)，而不是'ISO-8859-1'(参见python文档，也可以了解您可能遇到的许多其他编码)。

参见相关熊猫文件， 关于csv文件的python文档示例，以及大量关于SO的相关问题。一个很好的背景资源是每个开发人员都应该知道unicode和字符集。

要检测编码(假设文件包含非ascii字符)，可以使用enca(参见手册页)或file -i (linux)或file -i (osx)(参见手册页)。

我遇到的另一个导致同样错误的重要问题是:

_values = pd.read_csv("C:\Users\Mujeeb\Desktop\file.xlxs")

^这一行导致了同样的错误，因为我正在使用read_csv()方法读取excel文件。使用read_excel()读取.xlxs

I am posting an answer to provide an updated solution and explanation as to why this problem can occur. Say you are getting this data from a database or Excel workbook. If you have special characters like La Cañada Flintridge city, well unless you are exporting the data using UTF-8 encoding, you're going to introduce errors. La Cañada Flintridge city will become La Ca\xf1ada Flintridge city. If you are using pandas.read_csv without any adjustments to the default parameters, you'll hit the following error

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xf1 in position 5: invalid continuation byte

幸运的是，有一些解决方案。

选项1，修复导出。确保使用UTF-8编码。

选项2，如果您无法修复导出问题，并且需要使用pandas。Read_csv，请确保包含以下参数，engine='python'。默认情况下，pandas使用engine='C'，这非常适合读取大的干净文件，但如果出现任何意外情况，则会崩溃。根据我的经验，设置encoding='utf-8'从来没有修复过这个UnicodeDecodeError。此外，您不需要使用errors_bad_lines，但是，如果您确实需要它，这仍然是一个选项。

pd.read_csv(<your file>, engine='python')

选项3:解决方案是我个人更喜欢的解决方案。使用普通Python读取文件。

import pandas as pd

data = []

with open(<your file>, "rb") as myfile:
    # read the header seperately
    # decode it as 'utf-8', remove any special characters, and split it on the comma (or deliminator)
    header = myfile.readline().decode('utf-8').replace('\r\n', '').split(',')
    # read the rest of the data
    for line in myfile:
        row = line.decode('utf-8', errors='ignore').replace('\r\n', '').split(',')
        data.append(row)

# save the data as a dataframe
df = pd.DataFrame(data=data, columns = header)

希望这对第一次遇到这个问题的人有所帮助。

这个问题困扰了我一段时间，我想我应该发布这个问题，因为它是第一个搜索结果。将encoding="iso-8859-1"标签添加到pandas read_csv中不起作用，任何其他编码也不起作用，一直给出UnicodeDecodeError。

如果将文件句柄传递给pd.read_csv()，则需要将encoding属性放在打开的文件上，而不是在read_csv中。事后看来很明显，但这是一个需要追查的微妙错误。

with open('filename.csv') as f:
   print(f)

执行这段代码后，你会发现'filename.csv'的编码，然后执行如下代码

data=pd.read_csv('filename.csv', encoding="encoding as you found earlier"

好了

这个答案似乎是CSV编码问题的万能答案。如果你的头文件出现了奇怪的编码问题，就像这样:

>>> f = open(filename,"r")
>>> reader = DictReader(f)
>>> next(reader)
OrderedDict([('\ufeffid', '1'), ... ])

然后在CSV文件的开头有一个字节顺序标记(BOM)字符。这个答案解决了这个问题:

Python读取csv - BOM嵌入到第一个键

解决方案是用encoding="utf-8-sig"加载CSV:

>>> f = open(filename,"r", encoding="utf-8-sig")
>>> reader = DictReader(f)
>>> next(reader)
OrderedDict([('id', '1'), ... ])

希望这能帮助到一些人。