我有一个熊猫DataFrame填充大部分实数,但有一些nan值在它以及。

我怎么能把这些nan替换成它们所在列的平均值呢?

这个问题与下面这个问题非常相似:numpy array:用列的平均值替换nan值,但不幸的是,这里给出的解决方案不适用于pandas DataFrame。


当前回答

Try:

sub2['income'].fillna((sub2['income'].mean()), inplace=True)

其他回答

除此之外,还有一种选择:

df = df.groupby(df.columns, axis = 1).transform(lambda x: x.fillna(x.mean()))

它没有之前的mean响应那么优雅,但如果您希望用其他列函数替换null,那么它可以更短。

In [16]: df = DataFrame(np.random.randn(10,3))

In [17]: df.iloc[3:5,0] = np.nan

In [18]: df.iloc[4:6,1] = np.nan

In [19]: df.iloc[5:8,2] = np.nan

In [20]: df
Out[20]: 
          0         1         2
0  1.148272  0.227366 -2.368136
1 -0.820823  1.071471 -0.784713
2  0.157913  0.602857  0.665034
3       NaN -0.985188 -0.324136
4       NaN       NaN  0.238512
5  0.769657       NaN       NaN
6  0.141951  0.326064       NaN
7 -1.694475 -0.523440       NaN
8  0.352556 -0.551487 -1.639298
9 -2.067324 -0.492617 -1.675794

In [22]: df.mean()
Out[22]: 
0   -0.251534
1   -0.040622
2   -0.841219
dtype: float64

每列应用该列的平均值并填充

In [23]: df.apply(lambda x: x.fillna(x.mean()),axis=0)
Out[23]: 
          0         1         2
0  1.148272  0.227366 -2.368136
1 -0.820823  1.071471 -0.784713
2  0.157913  0.602857  0.665034
3 -0.251534 -0.985188 -0.324136
4 -0.251534 -0.040622  0.238512
5  0.769657 -0.040622 -0.841219
6  0.141951  0.326064 -0.841219
7 -1.694475 -0.523440 -0.841219
8  0.352556 -0.551487 -1.639298
9 -2.067324 -0.492617 -1.675794

使用sklearn库预处理类

from sklearn.impute import SimpleImputer
missingvalues = SimpleImputer(missing_values = np.nan, strategy = 'mean', axis = 0)
missingvalues = missingvalues.fit(x[:,1:3])
x[:,1:3] = missingvalues.transform(x[:,1:3])

注意:在最近的版本中,missing_values参数值更改为np。nan源自nan

虽然,下面的代码可以完成工作,但它的性能会受到很大的影响,因为你处理一个#记录100k或更多的DataFrame:

df.fillna(df.mean())

根据我的经验,应该只在需要的地方替换NaN值(无论是Mean还是Median),而不是在整个DataFrame上应用fillna()。

我有一个包含20个变量的DataFrame,其中只有4个需要NaN值处理(替换)。我尝试了上面的代码(代码1),以及它的一个稍微修改的版本(代码2),其中我有选择地运行它。仅适用于具有NaN值的变量

#------------------------------------------------
#----(Code 1) Treatment on overall DataFrame-----

df.fillna(df.mean())

#------------------------------------------------
#----(Code 2) Selective Treatment----------------

for i in df.columns[df.isnull().any(axis=0)]:     #---Applying Only on variables with NaN values
    df[i].fillna(df[i].mean(),inplace=True)

#---df.isnull().any(axis=0) gives True/False flag (Boolean value series), 
#---which when applied on df.columns[], helps identify variables with NaN values

下面是我观察到的性能,因为我一直在增加DataFrame中的#记录

DataFrame与~100k记录

代码1:22.06秒 代码2:0.03秒

DataFrame有~200k条记录

代码1:180.06秒 代码2:0.06秒

DataFrame有大约160万条记录

代码1:代码不停地运行 代码2:0.40秒

DataFrame有大约1300万条记录

代码1:——甚至没有尝试,在看到1.6 Mn记录的性能之后—— 代码2:3.20秒

很抱歉回答这么长!希望这能有所帮助!

我使用这个方法来填充一个列的平均值。

fill_mean = lambda col : col.fillna(col.mean())

df = df.apply(fill_mean, axis = 0)