我有一个熊猫数据框架，df_test。它包含一个列'size'，以字节为单位表示大小。我已经计算了KB, MB和GB使用以下代码:
df_test = pd.DataFrame([
{'dir': '/Users/uname1', 'size': 994933},
{'dir': '/Users/uname2', 'size': 109338711},
])
df_test['size_kb'] = df_test['size'].astype(int).apply(lambda x: locale.format("%.1f", x / 1024.0, grouping=True) + ' KB')
df_test['size_mb'] = df_test['size'].astype(int).apply(lambda x: locale.format("%.1f", x / 1024.0 ** 2, grouping=True) + ' MB')
df_test['size_gb'] = df_test['size'].astype(int).apply(lambda x: locale.format("%.1f", x / 1024.0 ** 3, grouping=True) + ' GB')
df_test
dir size size_kb size_mb size_gb
0 /Users/uname1 994933 971.6 KB 0.9 MB 0.0 GB
1 /Users/uname2 109338711 106,776.1 KB 104.3 MB 0.1 GB
[2 rows x 5 columns]
我已经运行了超过120,000行，根据%timeit，每列大约需要2.97秒* 3 = ~9秒。
有什么办法能让它快点吗?例如，我可以从apply中一次返回一列并运行3次，我可以一次返回所有三列以插入到原始的数据框架中吗?
我发现的其他问题都希望接受多个值并返回一个值。我想取一个值并返回多个列。
只是另一种可读的方式。这段代码将添加三个新列及其值，在apply函数中返回不带使用参数的序列。
def sizes(s):
val_kb = locale.format("%.1f", s['size'] / 1024.0, grouping=True) + ' KB'
val_mb = locale.format("%.1f", s['size'] / 1024.0 ** 2, grouping=True) + ' MB'
val_gb = locale.format("%.1f", s['size'] / 1024.0 ** 3, grouping=True) + ' GB'
return pd.Series([val_kb,val_mb,val_gb],index=['size_kb','size_mb','size_gb'])
df[['size_kb','size_mb','size_gb']] = df.apply(lambda x: sizes(x) , axis=1)
一个来自https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.apply.html的通用示例
df.apply(lambda x: pd.Series([1, 2], index=['foo', 'bar']), axis=1)
#foo bar
#0 1 2
#1 1 2
#2 1 2
我相信1.1版本打破了上面答案中建议的行为。
import pandas as pd
def test_func(row):
row['c'] = str(row['a']) + str(row['b'])
row['d'] = row['a'] + 1
return row
df = pd.DataFrame({'a': [1, 2, 3], 'b': ['i', 'j', 'k']})
df.apply(test_func, axis=1)
上面的代码在pandas 1.1.0上运行返回:
a b c d
0 1 i 1i 2
1 1 i 1i 2
2 1 i 1i 2
而在熊猫1.0.5中，它返回:
a b c d
0 1 i 1i 2
1 2 j 2j 3
2 3 k 3k 4
我想这是你所期望的。
不确定发布说明如何解释这种行为，但是正如这里所解释的那样，通过复制原始行来避免突变，从而恢复旧的行为。例如:
def test_func(row):
row = row.copy() # <---- Avoid mutating the original reference
row['c'] = str(row['a']) + str(row['b'])
row['d'] = row['a'] + 1
return row
目前的一些回复还可以，但我想提供另一种可能更“泛化”的选项。这适用于我目前的熊猫0.23(不确定它是否适用于以前的版本):
import pandas as pd
df_test = pd.DataFrame([
{'dir': '/Users/uname1', 'size': 994933},
{'dir': '/Users/uname2', 'size': 109338711},
])
def sizes(s):
a = locale.format_string("%.1f", s['size'] / 1024.0, grouping=True) + ' KB'
b = locale.format_string("%.1f", s['size'] / 1024.0 ** 2, grouping=True) + ' MB'
c = locale.format_string("%.1f", s['size'] / 1024.0 ** 3, grouping=True) + ' GB'
return a, b, c
df_test[['size_kb', 'size_mb', 'size_gb']] = df_test.apply(sizes, axis=1, result_type="expand")
注意，诀窍在于apply的result_type参数，该参数将其结果展开为可以直接分配给新/旧列的DataFrame。
我想在groupby上使用apply。我试着用你建议的方法。它确实对我有帮助，但不是全部。
添加result_type='expand'没有工作(因为我在系列上使用apply而不是DataFrame?)和zip(*___)，我失去了索引。
如果其他人也有同样的问题，下面是我(最终)解决它的方法:
dfg = df.groupby(by=['Column1','Column2']).Column3.apply(myfunc)
dfres = pd.DataFrame()
dfres['a'], dfres['b'], dfres['c'] = (dfg.apply(lambda x: x[0]), dfg.apply(lambda x: x[1]), dfg.apply(lambda x: x[2]))
或者你知道更好的办法。告诉我。
如果这超出了我们讨论的范围，请告诉我。
