我想知道是否可以使用pandas to_csv()函数将数据帧添加到现有的csv文件中。csv文件的结构与加载的数据相同。


当前回答

这有点晚了,但如果你多次打开和关闭文件,或者记录数据、统计数据等,你也可以使用上下文管理器。

from contextlib import contextmanager
import pandas as pd
@contextmanager
def open_file(path, mode):
     file_to=open(path,mode)
     yield file_to
     file_to.close()


##later
saved_df=pd.DataFrame(data)
with open_file('yourcsv.csv','r') as infile:
      saved_df.to_csv('yourcsv.csv',mode='a',header=False)`

其他回答

您可以通过以追加模式打开文件来追加到csv:

with open('my_csv.csv', 'a') as f:
    df.to_csv(f, header=False)

如果这是csv, foo。csv:

,A,B,C
0,1,2,3
1,4,5,6

如果你读取它,然后加上,例如df + 6:

In [1]: df = pd.read_csv('foo.csv', index_col=0)

In [2]: df
Out[2]:
   A  B  C
0  1  2  3
1  4  5  6

In [3]: df + 6
Out[3]:
    A   B   C
0   7   8   9
1  10  11  12

In [4]: with open('foo.csv', 'a') as f:
             (df + 6).to_csv(f, header=False)

foo.csv就变成:

,A,B,C
0,1,2,3
1,4,5,6
0,7,8,9
1,10,11,12

这有点晚了,但如果你多次打开和关闭文件,或者记录数据、统计数据等,你也可以使用上下文管理器。

from contextlib import contextmanager
import pandas as pd
@contextmanager
def open_file(path, mode):
     file_to=open(path,mode)
     yield file_to
     file_to.close()


##later
saved_df=pd.DataFrame(data)
with open_file('yourcsv.csv','r') as infile:
      saved_df.to_csv('yourcsv.csv',mode='a',header=False)`

可以在pandas to_csv函数中指定python写模式。对于append,它是“a”。

在你的情况下:

df.to_csv('my_csv.csv', mode='a', header=False)

默认模式是'w'。

如果文件最初可能丢失,你可以确保在第一次写入时打印头文件:

output_path='my_csv.csv'
df.to_csv(output_path, mode='a', header=not os.path.exists(output_path))
with open(filename, 'a') as f:
    df.to_csv(f, header=f.tell()==0)

除非文件存在,否则创建文件 如果文件正在创建,则添加头文件,否则跳过它

最初从pyspark dataframes开始-我得到了类型转换错误(当转换为pandas df's,然后附加到csv),给定我的pyspark dataframes中的模式/列类型

通过强制每个df中的所有列都是字符串类型,然后将其附加到csv,如下所示解决了这个问题:

with open('testAppend.csv', 'a') as f:
    df2.toPandas().astype(str).to_csv(f, header=False)