我想知道是否可以使用pandas to_csv()函数将数据帧添加到现有的csv文件中。csv文件的结构与加载的数据相同。
当前回答
最初从pyspark dataframes开始-我得到了类型转换错误(当转换为pandas df's,然后附加到csv),给定我的pyspark dataframes中的模式/列类型
通过强制每个df中的所有列都是字符串类型,然后将其附加到csv,如下所示解决了这个问题:
with open('testAppend.csv', 'a') as f:
df2.toPandas().astype(str).to_csv(f, header=False)
其他回答
这有点晚了,但如果你多次打开和关闭文件,或者记录数据、统计数据等,你也可以使用上下文管理器。
from contextlib import contextmanager
import pandas as pd
@contextmanager
def open_file(path, mode):
file_to=open(path,mode)
yield file_to
file_to.close()
##later
saved_df=pd.DataFrame(data)
with open_file('yourcsv.csv','r') as infile:
saved_df.to_csv('yourcsv.csv',mode='a',header=False)`
您可以通过以追加模式打开文件来追加到csv:
with open('my_csv.csv', 'a') as f:
df.to_csv(f, header=False)
如果这是csv, foo。csv:
,A,B,C
0,1,2,3
1,4,5,6
如果你读取它,然后加上,例如df + 6:
In [1]: df = pd.read_csv('foo.csv', index_col=0)
In [2]: df
Out[2]:
A B C
0 1 2 3
1 4 5 6
In [3]: df + 6
Out[3]:
A B C
0 7 8 9
1 10 11 12
In [4]: with open('foo.csv', 'a') as f:
(df + 6).to_csv(f, header=False)
foo.csv就变成:
,A,B,C
0,1,2,3
1,4,5,6
0,7,8,9
1,10,11,12
最初从pyspark dataframes开始-我得到了类型转换错误(当转换为pandas df's,然后附加到csv),给定我的pyspark dataframes中的模式/列类型
通过强制每个df中的所有列都是字符串类型,然后将其附加到csv,如下所示解决了这个问题:
with open('testAppend.csv', 'a') as f:
df2.toPandas().astype(str).to_csv(f, header=False)
这是我在2021年的做法
假设我有一个csv文件sales。csv里面有以下数据:
sales.csv:
Order Name,Price,Qty
oil,200,2
butter,180,10
为了添加更多的行,我可以将它们加载到一个数据帧中,并像这样将其附加到csv:
import pandas
data = [
['matchstick', '60', '11'],
['cookies', '10', '120']
]
dataframe = pandas.DataFrame(data)
dataframe.to_csv("sales.csv", index=False, mode='a', header=False)
输出将是:
Order Name,Price,Qty
oil,200,2
butter,180,10
matchstick,60,11
cookies,10,120
可以在pandas to_csv函数中指定python写模式。对于append,它是“a”。
在你的情况下:
df.to_csv('my_csv.csv', mode='a', header=False)
默认模式是'w'。
如果文件最初可能丢失,你可以确保在第一次写入时打印头文件:
output_path='my_csv.csv'
df.to_csv(output_path, mode='a', header=not os.path.exists(output_path))
推荐文章
- Python glob多个文件类型
- 如何可靠地打开与当前运行脚本在同一目录下的文件
- Python csv字符串到数组
- 如何在Python中进行热编码?
- 如何嵌入HTML到IPython输出?
- 在Python生成器上使用“send”函数的目的是什么?
- 是否可以将已编译的.pyc文件反编译为.py文件?
- Django模型表单对象的自动创建日期
- 在Python中包装长行
- 如何计算两个时间串之间的时间间隔
- 我如何才能找到一个Python函数的参数的数量?
- 您可以使用生成器函数来做什么?
- 将Python诗歌与Docker集成
- 提取和保存视频帧
- 使用请求包时出现SSL InsecurePlatform错误