假设我有一个带有一些nan的数据框架:
>>> import pandas as pd
>>> df = pd.DataFrame([[1, 2, 3], [4, None, None], [None, None, 9]])
>>> df
0 1 2
0 1 2 3
1 4 NaN NaN
2 NaN NaN 9
我需要做的是将每个NaN替换为上面同一列中的第一个非NaN值。假定第一行永远不会包含NaN。对于前面的例子,结果是
0 1 2
0 1 2 3
1 4 2 3
2 4 2 9
我可以一列一列地循环整个DataFrame,一个元素一个元素地循环,然后直接设置值,但是有没有一种简单的(最好是无循环的)方法来实现这一点呢?
你可以使用pandas.DataFrame.fillna的method='ffill'选项。'ffill'代表'向前填充',并将传播最后有效的观察向前。另一种方法是'bfill',它的工作方式相同,但相反。
import pandas as pd
df = pd.DataFrame([[1, 2, 3], [4, None, None], [None, None, 9]])
df = df.fillna(method='ffill')
print(df)
# 0 1 2
#0 1 2 3
#1 4 2 3
#2 4 2 9
还有一个直接的同义词函数pandas.DataFrame。Ffill,让事情简单点。
还有熊猫。插值,我认为它提供了更多的控制
import pandas as pd
df = pd.DataFrame([[1, 2, 3], [4, None, None], [None, None, 9]])
df=df.interpolate(method="pad",limit=None, downcast="infer") #downcast keeps dtype as int
print(df)
0 1 2
0 1 2 3
1 4 2 3
2 4 2 9
我在尝试这个解决方案时注意到的一件事是,如果你在数组的开始或结束有N/A, ffill和bfill不太工作。两者都需要。
In [224]: df = pd.DataFrame([None, 1, 2, 3, None, 4, 5, 6, None])
In [225]: df.ffill()
Out[225]:
0
0 NaN
1 1.0
...
7 6.0
8 6.0
In [226]: df.bfill()
Out[226]:
0
0 1.0
1 1.0
...
7 6.0
8 NaN
In [227]: df.bfill().ffill()
Out[227]:
0
0 1.0
1 1.0
...
7 6.0
8 6.0
你可以使用pandas.DataFrame.fillna的method='ffill'选项。'ffill'代表'向前填充',并将传播最后有效的观察向前。另一种方法是'bfill',它的工作方式相同,但相反。
import pandas as pd
df = pd.DataFrame([[1, 2, 3], [4, None, None], [None, None, 9]])
df = df.fillna(method='ffill')
print(df)
# 0 1 2
#0 1 2 3
#1 4 2 3
#2 4 2 9
还有一个直接的同义词函数pandas.DataFrame。Ffill,让事情简单点。
你可以在DataFrame上使用fillna方法,并指定该方法为ffill(前向填充):
>>> df = pd.DataFrame([[1, 2, 3], [4, None, None], [None, None, 9]])
>>> df.fillna(method='ffill')
0 1 2
0 1 2 3
1 4 2 3
2 4 2 9
这个方法…
将[s]最后一个有效观测值转发到下一个有效观测值
相反,还有一个bfill方法。
这个方法不会修改DataFrame inplace -你需要将返回的DataFrame重新绑定到一个变量,或者指定inplace=True:
df.fillna(method='ffill', inplace=True)