我已经使用pandas操纵了一些数据，现在我想进行批量保存回数据库。这需要我将数据帧转换为一个元组数组，每个元组对应于数据帧的“行”。
我的数据帧看起来像这样:
In [182]: data_set
Out[182]:
index data_date data_1 data_2
0 14303 2012-02-17 24.75 25.03
1 12009 2012-02-16 25.00 25.07
2 11830 2012-02-15 24.99 25.15
3 6274 2012-02-14 24.68 25.05
4 2302 2012-02-13 24.62 24.77
5 14085 2012-02-10 24.38 24.61
我想把它转换成一个元组数组，就像:
[(datetime.date(2012,2,17),24.75,25.03),
(datetime.date(2012,2,16),25.00,25.07),
...etc. ]
有什么建议吗?
当前回答
动机 许多数据集足够大，以至于我们需要关注速度/效率。所以本着这种精神，我提出了这个解决方案。它碰巧也很简洁。
为了便于比较，让我们去掉索引列
df = data_set.drop('index', 1)
解决方案 我建议使用zip和map
list(zip(*map(df.get, df)))
[('2012-02-17', 24.75, 25.03),
('2012-02-16', 25.0, 25.07),
('2012-02-15', 24.99, 25.15),
('2012-02-14', 24.68, 25.05),
('2012-02-13', 24.62, 24.77),
('2012-02-10', 24.38, 24.61)]
如果我们想处理列的特定子集，它也很灵活。我们假设已经显示的列是我们想要的子集。
list(zip(*map(df.get, ['data_date', 'data_1', 'data_2'])))
[('2012-02-17', 24.75, 25.03),
('2012-02-16', 25.0, 25.07),
('2012-02-15', 24.99, 25.15),
('2012-02-14', 24.68, 25.05),
('2012-02-13', 24.62, 24.77),
('2012-02-10', 24.38, 24.61)]
什么更快?
Turn的out记录紧随其后的是渐进收敛的zipmap和iter_tuples
我将使用从这篇文章中获得的simple_benchmark库
from simple_benchmark import BenchmarkBuilder
b = BenchmarkBuilder()
import pandas as pd
import numpy as np
def tuple_comp(df): return [tuple(x) for x in df.to_numpy()]
def iter_namedtuples(df): return list(df.itertuples(index=False))
def iter_tuples(df): return list(df.itertuples(index=False, name=None))
def records(df): return df.to_records(index=False).tolist()
def zipmap(df): return list(zip(*map(df.get, df)))
funcs = [tuple_comp, iter_namedtuples, iter_tuples, records, zipmap]
for func in funcs:
b.add_function()(func)
def creator(n):
return pd.DataFrame({"A": random.randint(n, size=n), "B": random.randint(n, size=n)})
@b.add_arguments('Rows in DataFrame')
def argument_provider():
for n in (10 ** (np.arange(4, 11) / 2)).astype(int):
yield n, creator(n)
r = b.run()
检查结果
r.to_pandas_dataframe().pipe(lambda d: d.div(d.min(1), 0))
tuple_comp iter_namedtuples iter_tuples records zipmap
100 2.905662 6.626308 3.450741 1.469471 1.000000
316 4.612692 4.814433 2.375874 1.096352 1.000000
1000 6.513121 4.106426 1.958293 1.000000 1.316303
3162 8.446138 4.082161 1.808339 1.000000 1.533605
10000 8.424483 3.621461 1.651831 1.000000 1.558592
31622 7.813803 3.386592 1.586483 1.000000 1.515478
100000 7.050572 3.162426 1.499977 1.000000 1.480131
r.plot()
其他回答
最有效和最简单的方法:
list(data_set.to_records())
您可以在此调用之前筛选所需的列。
list(data_set.itertuples(index=False))
从17.1开始，上面的代码将返回一个命名元组列表。
如果你想要一个普通元组的列表，传递name=None作为参数:
list(data_set.itertuples(index=False, name=None))
如何:
subset = data_set[['data_date', 'data_1', 'data_2']]
tuples = [tuple(x) for x in subset.to_numpy()]
对于熊猫< 0.24使用
tuples = [tuple(x) for x in subset.values]
一般的方法:
[tuple(x) for x in data_set.to_records(index=False)]
更python化的方式:
df = data_set[['data_date', 'data_1', 'data_2']]
map(tuple,df.values)
