我想从目录中读取几个CSV文件到熊猫，并将它们连接到一个大的DataFrame。不过我还没弄明白。以下是我目前所掌握的:
import glob
import pandas as pd
# Get data file names
path = r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")
dfs = []
for filename in filenames:
dfs.append(pd.read_csv(filename))
# Concatenate all data into one DataFrame
big_frame = pd.concat(dfs, ignore_index=True)
我想我在for循环中需要一些帮助?
当前回答
可选择使用pathlib库(通常优先于os.path)。
该方法避免了重复使用pandas concat()/ apping()。
从熊猫文档中可以看到: 值得注意的是，concat()(因此append())会生成数据的完整副本，并且不断重用此函数会产生显著的性能影响。如果需要对多个数据集使用操作，请使用列表推导式。
import pandas as pd
from pathlib import Path
dir = Path("../relevant_directory")
df = (pd.read_csv(f) for f in dir.glob("*.csv"))
df = pd.concat(df)
其他回答
Dask库可以从多个文件中读取数据帧:
>>> import dask.dataframe as dd
>>> df = dd.read_csv('data*.csv')
(来源:https://examples.dask.org/dataframes/01-data-access.html # Read-CSV-files)
Dask数据框架实现了Pandas数据框架API的一个子集。如果所有的数据都适合内存，你可以调用df.compute()将数据帧转换为Pandas数据帧。
这里几乎所有的答案要么是不必要的复杂(glob模式匹配)，要么依赖于额外的第三方库。您可以在两行中使用Pandas和Python(所有版本)已经内置的所有内容来完成此操作。
对于一些文件-一行程序
df = pd.concat(map(pd.read_csv, ['d1.csv', 'd2.csv','d3.csv']))
对于许多文件
import os
filepaths = [f for f in os.listdir(".") if f.endswith('.csv')]
df = pd.concat(map(pd.read_csv, filepaths))
对于无头文件
如果你想用pd改变一些特定的东西。Read_csv(即，没有头)，你可以创建一个单独的函数，并调用你的地图:
def f(i):
return pd.read_csv(i, header=None)
df = pd.concat(map(f, filepaths))
这条pandas行，它设置了df，利用了三个东西:
Python的map (function, iterable)发送给函数(the pd.read_csv())迭代对象(我们的列表)，它是每个CSV元素 在filepaths)。 Panda的read_csv()函数正常读取每个CSV文件。 Panda的concat()将所有这些都放在一个df变量下。
如果多个CSV文件被压缩，您可以使用zipfile读取所有文件并按以下方式连接:
import zipfile
import pandas as pd
ziptrain = zipfile.ZipFile('yourpath/yourfile.zip')
train = []
train = [ pd.read_csv(ziptrain.open(f)) for f in ziptrain.namelist() ]
df = pd.concat(train)
import os
os.system("awk '(NR == 1) || (FNR > 1)' file*.csv > merged.csv")
其中NR和FNR表示正在处理的行号。
FNR是每个文件中的当前行。
NR == 1包含第一个文件的第一行(头文件)，而FNR > 1跳过每个后续文件的第一行。
灵感来自MrFun的回答:
import glob
import pandas as pd
list_of_csv_files = glob.glob(directory_path + '/*.csv')
list_of_csv_files.sort()
df = pd.concat(map(pd.read_csv, list_of_csv_files), ignore_index=True)
注:
By default, the list of files generated through glob.glob is not sorted. On the other hand, in many scenarios, it's required to be sorted e.g. one may want to analyze number of sensor-frame-drops v/s timestamp. In pd.concat command, if ignore_index=True is not specified then it reserves the original indices from each dataframes (i.e. each individual CSV file in the list) and the main dataframe looks like timestamp id valid_frame 0 1 2 . . . 0 1 2 . . . With ignore_index=True, it looks like: timestamp id valid_frame 0 1 2 . . . 108 109 . . . IMO, this is helpful when one may want to manually create a histogram of number of frame drops v/s one minutes (or any other duration) bins and want to base the calculation on very first timestamp e.g. begin_timestamp = df['timestamp'][0] Without, ignore_index=True, df['timestamp'][0] generates the series containing very first timestamp from all the individual dataframes, it does not give just a value.
