我试图使用熊猫操作.csv文件,但我得到这个错误:
pandas.parser.CParserError:标记数据错误。C错误:第3行有2个字段,见12
我试着读过熊猫的文件,但一无所获。
我的代码很简单:
path = 'GOOG Key Ratios.csv'
#print(open(path).read())
data = pd.read_csv(path)
我该如何解决这个问题?我应该使用csv模块还是其他语言?
文件来自晨星公司
我试图使用熊猫操作.csv文件,但我得到这个错误:
pandas.parser.CParserError:标记数据错误。C错误:第3行有2个字段,见12
我试着读过熊猫的文件,但一无所获。
我的代码很简单:
path = 'GOOG Key Ratios.csv'
#print(open(path).read())
data = pd.read_csv(path)
我该如何解决这个问题?我应该使用csv模块还是其他语言?
文件来自晨星公司
当前回答
在我的例子中,这是因为csv文件的第一行和最后两行格式与文件的中间内容不同。
因此,我所做的是将csv文件作为字符串打开,解析字符串的内容,然后使用read_csv获取数据帧。
import io
import pandas as pd
file = open(f'{file_path}/{file_name}', 'r')
content = file.read()
# change new line character from '\r\n' to '\n'
lines = content.replace('\r', '').split('\n')
# Remove the first and last 2 lines of the file
# StringIO can be considered as a file stored in memory
df = pd.read_csv(StringIO("\n".join(lines[2:-2])), header=None)
其他回答
您的CSV文件可能有可变的列数,read_csv从前几行推断出列数。在这种情况下有两种解决方法:
1)将CSV文件更改为具有最大列数的虚拟第一行(并指定header=[0])
2)或者使用names = list(range(0,N)),其中N是最大列数。
你也可以试试;
data = pd.read_csv('file1.csv', on_bad_lines='skip')
请注意,这将导致有问题的行被跳过。
Edit
对于熊猫< 1.3.0尝试
data = pd.read_csv("file1.csv", error_bad_lines=False)
根据熊猫API参考。
我有一个类似的错误,问题是我有一些转义引号在我的csv文件,需要设置escapechar参数适当。
你可以这样做,以避免问题-
train = pd.read_csv('/home/Project/output.csv' , header=None)
just add - header=None
希望这能有所帮助!!
我有一个已有行号的数据集,我使用index_col:
pd.read_csv('train.csv', index_col=0)