假设我有一个带有一些nan的数据框架:
>>> import pandas as pd
>>> df = pd.DataFrame([[1, 2, 3], [4, None, None], [None, None, 9]])
>>> df
0 1 2
0 1 2 3
1 4 NaN NaN
2 NaN NaN 9
我需要做的是将每个NaN替换为上面同一列中的第一个非NaN值。假定第一行永远不会包含NaN。对于前面的例子,结果是
0 1 2
0 1 2 3
1 4 2 3
2 4 2 9
我可以一列一列地循环整个DataFrame,一个元素一个元素地循环,然后直接设置值,但是有没有一种简单的(最好是无循环的)方法来实现这一点呢?
公认的答案是完美的。我有一个相关但略有不同的情况,我必须在前面填写,但只能在小组中。如果有人有同样的需求,要知道fillna适用于DataFrameGroupBy对象。
>>> example = pd.DataFrame({'number':[0,1,2,nan,4,nan,6,7,8,9],'name':list('aaabbbcccc')})
>>> example
name number
0 a 0.0
1 a 1.0
2 a 2.0
3 b NaN
4 b 4.0
5 b NaN
6 c 6.0
7 c 7.0
8 c 8.0
9 c 9.0
>>> example.groupby('name')['number'].fillna(method='ffill') # fill in row 5 but not row 3
0 0.0
1 1.0
2 2.0
3 NaN
4 4.0
5 4.0
6 6.0
7 7.0
8 8.0
9 9.0
Name: number, dtype: float64
我在尝试这个解决方案时注意到的一件事是,如果你在数组的开始或结束有N/A, ffill和bfill不太工作。两者都需要。
In [224]: df = pd.DataFrame([None, 1, 2, 3, None, 4, 5, 6, None])
In [225]: df.ffill()
Out[225]:
0
0 NaN
1 1.0
...
7 6.0
8 6.0
In [226]: df.bfill()
Out[226]:
0
0 1.0
1 1.0
...
7 6.0
8 NaN
In [227]: df.bfill().ffill()
Out[227]:
0
0 1.0
1 1.0
...
7 6.0
8 6.0
你可以使用pandas.DataFrame.fillna的method='ffill'选项。'ffill'代表'向前填充',并将传播最后有效的观察向前。另一种方法是'bfill',它的工作方式相同,但相反。
import pandas as pd
df = pd.DataFrame([[1, 2, 3], [4, None, None], [None, None, 9]])
df = df.fillna(method='ffill')
print(df)
# 0 1 2
#0 1 2 3
#1 4 2 3
#2 4 2 9
还有一个直接的同义词函数pandas.DataFrame。Ffill,让事情简单点。
可以使用fillna删除或替换NaN值。
南删除
import pandas as pd
df = pd.DataFrame([[1, 2, 3], [4, None, None], [None, None, 9]])
df.fillna(method='ffill')
0 1 2
0 1.0 2.0 3.0
1 4.0 2.0 3.0
2 4.0 2.0 9.0
南Replace
df.fillna(0) # 0 means What Value you want to replace
0 1 2
0 1.0 2.0 3.0
1 4.0 0.0 0.0
2 0.0 0.0 9.0
参考pandas.DataFrame.fillna
只是同意ffill方法,但一个额外的信息是,你可以限制向前填充关键字参数限制。
>>> import pandas as pd
>>> df = pd.DataFrame([[1, 2, 3], [None, None, 6], [None, None, 9]])
>>> df
0 1 2
0 1.0 2.0 3
1 NaN NaN 6
2 NaN NaN 9
>>> df[1].fillna(method='ffill', inplace=True)
>>> df
0 1 2
0 1.0 2.0 3
1 NaN 2.0 6
2 NaN 2.0 9
现在使用limit关键字参数
>>> df[0].fillna(method='ffill', limit=1, inplace=True)
>>> df
0 1 2
0 1.0 2.0 3
1 1.0 2.0 6
2 NaN 2.0 9