我想从目录中读取几个CSV文件到熊猫，并将它们连接到一个大的DataFrame。不过我还没弄明白。以下是我目前所掌握的:
import glob
import pandas as pd
# Get data file names
path = r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")
dfs = []
for filename in filenames:
dfs.append(pd.read_csv(filename))
# Concatenate all data into one DataFrame
big_frame = pd.concat(dfs, ignore_index=True)
我想我在for循环中需要一些帮助?
当前回答
这是如何使用协作实验室谷歌驱动器:
import pandas as pd
import glob
path = r'/content/drive/My Drive/data/actual/comments_only' # Use your path
all_files = glob.glob(path + "/*.csv")
li = []
for filename in all_files:
df = pd.read_csv(filename, index_col=None, header=0)
li.append(df)
frame = pd.concat(li, axis=0, ignore_index=True,sort=True)
frame.to_csv('/content/drive/onefile.csv')
其他回答
如果你想递归搜索(Python 3.5或以上)，你可以这样做:
from glob import iglob
import pandas as pd
path = r'C:\user\your\path\**\*.csv'
all_rec = iglob(path, recursive=True)
dataframes = (pd.read_csv(f) for f in all_rec)
big_dataframe = pd.concat(dataframes, ignore_index=True)
请注意，最后三行可以用一行表示:
df = pd.concat((pd.read_csv(f) for f in iglob(path, recursive=True)), ignore_index=True)
你可以在这里找到**的文档。另外，我使用了iglob而不是glob，因为它返回的是迭代器而不是列表。
编辑:多平台递归功能:
你可以把上面的内容包装成一个多平台函数(Linux, Windows, Mac)，所以你可以这样做:
df = read_df_rec('C:\user\your\path', *.csv)
函数如下:
from glob import iglob
from os.path import join
import pandas as pd
def read_df_rec(path, fn_regex=r'*.csv'):
return pd.concat((pd.read_csv(f) for f in iglob(
join(path, '**', fn_regex), recursive=True)), ignore_index=True)
考虑使用convtools库，它提供了大量数据处理原语，并在底层生成简单的临时代码。 它不应该比熊猫/极地快，但有时它可以。
例如，你可以连接到一个CSV文件进一步重用-这是代码:
import glob
from convtools import conversion as c
from convtools.contrib.tables import Table
import pandas as pd
def test_pandas():
df = pd.concat(
(
pd.read_csv(filename, index_col=None, header=0)
for filename in glob.glob("tmp/*.csv")
),
axis=0,
ignore_index=True,
)
df.to_csv("out.csv", index=False)
# took 20.9 s
def test_convtools():
table = None
for filename in glob.glob("tmp/*.csv"):
table_ = Table.from_csv(filename, header=False)
if table is None:
table = table_
else:
table = table.chain(table_)
table.into_csv("out_convtools.csv", include_header=False)
# took 15.8 s
当然，如果你只是想获得一个数据帧而不写入一个连接文件，它将相应地花费4.63秒和10.9秒(pandas在这里更快，因为它不需要压缩列来写入回)。
Dask库可以从多个文件中读取数据帧:
>>> import dask.dataframe as dd
>>> df = dd.read_csv('data*.csv')
(来源:https://examples.dask.org/dataframes/01-data-access.html # Read-CSV-files)
Dask数据框架实现了Pandas数据框架API的一个子集。如果所有的数据都适合内存，你可以调用df.compute()将数据帧转换为Pandas数据帧。
如果多个CSV文件被压缩，您可以使用zipfile读取所有文件并按以下方式连接:
import zipfile
import pandas as pd
ziptrain = zipfile.ZipFile('yourpath/yourfile.zip')
train = []
train = [ pd.read_csv(ziptrain.open(f)) for f in ziptrain.namelist() ]
df = pd.concat(train)
import os
os.system("awk '(NR == 1) || (FNR > 1)' file*.csv > merged.csv")
其中NR和FNR表示正在处理的行号。
FNR是每个文件中的当前行。
NR == 1包含第一个文件的第一行(头文件)，而FNR > 1跳过每个后续文件的第一行。
