with open('filename.csv') as f:
   print(f)

执行这段代码后，你会发现'filename.csv'的编码，然后执行如下代码

data=pd.read_csv('filename.csv', encoding="encoding as you found earlier"

好了

I am posting an answer to provide an updated solution and explanation as to why this problem can occur. Say you are getting this data from a database or Excel workbook. If you have special characters like La Cañada Flintridge city, well unless you are exporting the data using UTF-8 encoding, you're going to introduce errors. La Cañada Flintridge city will become La Ca\xf1ada Flintridge city. If you are using pandas.read_csv without any adjustments to the default parameters, you'll hit the following error

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xf1 in position 5: invalid continuation byte

幸运的是，有一些解决方案。

选项1，修复导出。确保使用UTF-8编码。

选项2，如果您无法修复导出问题，并且需要使用pandas。Read_csv，请确保包含以下参数，engine='python'。默认情况下，pandas使用engine='C'，这非常适合读取大的干净文件，但如果出现任何意外情况，则会崩溃。根据我的经验，设置encoding='utf-8'从来没有修复过这个UnicodeDecodeError。此外，您不需要使用errors_bad_lines，但是，如果您确实需要它，这仍然是一个选项。

pd.read_csv(<your file>, engine='python')

选项3:解决方案是我个人更喜欢的解决方案。使用普通Python读取文件。

import pandas as pd

data = []

with open(<your file>, "rb") as myfile:
    # read the header seperately
    # decode it as 'utf-8', remove any special characters, and split it on the comma (or deliminator)
    header = myfile.readline().decode('utf-8').replace('\r\n', '').split(',')
    # read the rest of the data
    for line in myfile:
        row = line.decode('utf-8', errors='ignore').replace('\r\n', '').split(',')
        data.append(row)

# save the data as a dataframe
df = pd.DataFrame(data=data, columns = header)

希望这对第一次遇到这个问题的人有所帮助。

试试这个:

import pandas as pd
with open('filename.csv') as f:
    data = pd.read_csv(f)

看起来它会处理编码，而不会通过参数显式地表示它

对于上述问题，这是一种更通用的脚本方法。

import pandas as pd

encoding_list = ['ascii', 'big5', 'big5hkscs', 'cp037', 'cp273', 'cp424', 'cp437', 'cp500', 'cp720', 'cp737'
                 , 'cp775', 'cp850', 'cp852', 'cp855', 'cp856', 'cp857', 'cp858', 'cp860', 'cp861', 'cp862'
                 , 'cp863', 'cp864', 'cp865', 'cp866', 'cp869', 'cp874', 'cp875', 'cp932', 'cp949', 'cp950'
                 , 'cp1006', 'cp1026', 'cp1125', 'cp1140', 'cp1250', 'cp1251', 'cp1252', 'cp1253', 'cp1254'
                 , 'cp1255', 'cp1256', 'cp1257', 'cp1258', 'euc_jp', 'euc_jis_2004', 'euc_jisx0213', 'euc_kr'
                 , 'gb2312', 'gbk', 'gb18030', 'hz', 'iso2022_jp', 'iso2022_jp_1', 'iso2022_jp_2'
                 , 'iso2022_jp_2004', 'iso2022_jp_3', 'iso2022_jp_ext', 'iso2022_kr', 'latin_1', 'iso8859_2'
                 , 'iso8859_3', 'iso8859_4', 'iso8859_5', 'iso8859_6', 'iso8859_7', 'iso8859_8', 'iso8859_9'
                 , 'iso8859_10', 'iso8859_11', 'iso8859_13', 'iso8859_14', 'iso8859_15', 'iso8859_16', 'johab'
                 , 'koi8_r', 'koi8_t', 'koi8_u', 'kz1048', 'mac_cyrillic', 'mac_greek', 'mac_iceland', 'mac_latin2'
                 , 'mac_roman', 'mac_turkish', 'ptcp154', 'shift_jis', 'shift_jis_2004', 'shift_jisx0213', 'utf_32'
                 , 'utf_32_be', 'utf_32_le', 'utf_16', 'utf_16_be', 'utf_16_le', 'utf_7', 'utf_8', 'utf_8_sig']

for encoding in encoding_list:
    worked = True
    try:
        df = pd.read_csv(path, encoding=encoding, nrows=5)
    except:
        worked = False
    if worked:
        print(encoding, ':\n', df.head())

首先是python版本可用的所有标准编码(在本例中是3.7 python 3.7 standard encodings)。 这里提供了不同python版本的标准编码的可用python列表:有用的堆栈溢出答案

在一小块数据上尝试每种编码; 只打印工作编码。 输出是非常明显的。 这个输出还解决了一个问题，编码像'latin1'，通过应该有任何错误，不一定产生想要的结果。

如果有问题，我会尝试这种方法，具体到有问题的CSV文件，然后可能会尝试使用所有其他的工作编码。

我正在使用Jupyter-notebook。在我的例子中，它以错误的格式显示文件。“编码”选项不起作用。 所以我将csv保存为utf-8格式，它可以工作。

with open('filename.csv') as f:
   print(f)

执行这段代码后，你会发现'filename.csv'的编码，然后执行如下代码

data=pd.read_csv('filename.csv', encoding="encoding as you found earlier"

好了