最初从pyspark dataframes开始-我得到了类型转换错误(当转换为pandas df's，然后附加到csv)，给定我的pyspark dataframes中的模式/列类型

通过强制每个df中的所有列都是字符串类型，然后将其附加到csv，如下所示解决了这个问题:

with open('testAppend.csv', 'a') as f:
    df2.toPandas().astype(str).to_csv(f, header=False)

这是我在2021年的做法

假设我有一个csv文件sales。csv里面有以下数据:

sales.csv:

Order Name,Price,Qty
oil,200,2
butter,180,10

为了添加更多的行，我可以将它们加载到一个数据帧中，并像这样将其附加到csv:

import pandas

data = [
    ['matchstick', '60', '11'],
    ['cookies', '10', '120']
]
dataframe = pandas.DataFrame(data)
dataframe.to_csv("sales.csv", index=False, mode='a', header=False)

输出将是:

Order Name,Price,Qty
oil,200,2
butter,180,10
matchstick,60,11
cookies,10,120

您可以通过以追加模式打开文件来追加到csv:

with open('my_csv.csv', 'a') as f:
    df.to_csv(f, header=False)

如果这是csv, foo。csv:

,A,B,C
0,1,2,3
1,4,5,6

如果你读取它，然后加上，例如df + 6:

In [1]: df = pd.read_csv('foo.csv', index_col=0)

In [2]: df
Out[2]:
   A  B  C
0  1  2  3
1  4  5  6

In [3]: df + 6
Out[3]:
    A   B   C
0   7   8   9
1  10  11  12

In [4]: with open('foo.csv', 'a') as f:
             (df + 6).to_csv(f, header=False)

foo.csv就变成:

,A,B,C
0,1,2,3
1,4,5,6
0,7,8,9
1,10,11,12

with open(filename, 'a') as f:
    df.to_csv(f, header=f.tell()==0)

除非文件存在，否则创建文件 如果文件正在创建，则添加头文件，否则跳过它

最初从pyspark dataframes开始-我得到了类型转换错误(当转换为pandas df's，然后附加到csv)，给定我的pyspark dataframes中的模式/列类型

通过强制每个df中的所有列都是字符串类型，然后将其附加到csv，如下所示解决了这个问题:

with open('testAppend.csv', 'a') as f:
    df2.toPandas().astype(str).to_csv(f, header=False)

一个小的帮助函数，我使用一些头检查安全措施来处理这一切:

def appendDFToCSV_void(df, csvFilePath, sep=","):
    import os
    if not os.path.isfile(csvFilePath):
        df.to_csv(csvFilePath, mode='a', index=False, sep=sep)
    elif len(df.columns) != len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns):
        raise Exception("Columns do not match!! Dataframe has " + str(len(df.columns)) + " columns. CSV file has " + str(len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns)) + " columns.")
    elif not (df.columns == pd.read_csv(csvFilePath, nrows=1, sep=sep).columns).all():
        raise Exception("Columns and column order of dataframe and csv file do not match!!")
    else:
        df.to_csv(csvFilePath, mode='a', index=False, sep=sep, header=False)