我有一个熊猫DataFrame填充大部分实数,但有一些nan值在它以及。
我怎么能把这些nan替换成它们所在列的平均值呢?
这个问题与下面这个问题非常相似:numpy array:用列的平均值替换nan值,但不幸的是,这里给出的解决方案不适用于pandas DataFrame。
我有一个熊猫DataFrame填充大部分实数,但有一些nan值在它以及。
我怎么能把这些nan替换成它们所在列的平均值呢?
这个问题与下面这个问题非常相似:numpy array:用列的平均值替换nan值,但不幸的是,这里给出的解决方案不适用于pandas DataFrame。
当前回答
直接使用df.fillna(df.mean())将所有空值填充为mean
如果你想用该列的平均值填充空值,那么你可以使用这个
假设x=df['Item_Weight']这里Item_Weight是列名
这里我们赋值(用x的均值填充x的空值)
df['Item_Weight'] = df['Item_Weight'].fillna((df['Item_Weight'].mean()))
如果你想用一些字符串填充空值,那么使用
这里Outlet_size是列名
df.Outlet_Size = df.Outlet_Size.fillna('Missing')
其他回答
Try:
sub2['income'].fillna((sub2['income'].mean()), inplace=True)
您可以简单地使用DataFrame。Fillna直接填充楠的:
In [27]: df
Out[27]:
A B C
0 -0.166919 0.979728 -0.632955
1 -0.297953 -0.912674 -1.365463
2 -0.120211 -0.540679 -0.680481
3 NaN -2.027325 1.533582
4 NaN NaN 0.461821
5 -0.788073 NaN NaN
6 -0.916080 -0.612343 NaN
7 -0.887858 1.033826 NaN
8 1.948430 1.025011 -2.982224
9 0.019698 -0.795876 -0.046431
In [28]: df.mean()
Out[28]:
A -0.151121
B -0.231291
C -0.530307
dtype: float64
In [29]: df.fillna(df.mean())
Out[29]:
A B C
0 -0.166919 0.979728 -0.632955
1 -0.297953 -0.912674 -1.365463
2 -0.120211 -0.540679 -0.680481
3 -0.151121 -2.027325 1.533582
4 -0.151121 -0.231291 0.461821
5 -0.788073 -0.231291 -0.530307
6 -0.916080 -0.612343 -0.530307
7 -0.887858 1.033826 -0.530307
8 1.948430 1.025011 -2.982224
9 0.019698 -0.795876 -0.046431
fillna的文档字符串说value应该是标量或字典,然而,它似乎也适用于Series。如果你想传递一个字典,你可以使用df.mean().to_dict()。
使用sklearn库预处理类
from sklearn.impute import SimpleImputer
missingvalues = SimpleImputer(missing_values = np.nan, strategy = 'mean', axis = 0)
missingvalues = missingvalues.fit(x[:,1:3])
x[:,1:3] = missingvalues.transform(x[:,1:3])
注意:在最近的版本中,missing_values参数值更改为np。nan源自nan
Pandas:如何将NaN (NaN)值替换为一列的平均值(平均值)、中位数或其他统计数据
假设你的DataFrame是df,你有一列叫做nr_items。这是:df['nr_items']
如果你想用列的平均值替换你的列df['nr_items']的NaN值:
使用方法.fillna():
mean_value = df [' nr_items '] .mean () df [' nr_item_ave '] = df (' nr_items '] .fillna (mean_value)
我已经创建了一个名为nr_item_ave的新df列来存储新列,其中NaN值被该列的平均值替换。
你在使用平均数时要小心。如果你有异常值,更推荐使用中位数
虽然,下面的代码可以完成工作,但它的性能会受到很大的影响,因为你处理一个#记录100k或更多的DataFrame:
df.fillna(df.mean())
根据我的经验,应该只在需要的地方替换NaN值(无论是Mean还是Median),而不是在整个DataFrame上应用fillna()。
我有一个包含20个变量的DataFrame,其中只有4个需要NaN值处理(替换)。我尝试了上面的代码(代码1),以及它的一个稍微修改的版本(代码2),其中我有选择地运行它。仅适用于具有NaN值的变量
#------------------------------------------------
#----(Code 1) Treatment on overall DataFrame-----
df.fillna(df.mean())
#------------------------------------------------
#----(Code 2) Selective Treatment----------------
for i in df.columns[df.isnull().any(axis=0)]: #---Applying Only on variables with NaN values
df[i].fillna(df[i].mean(),inplace=True)
#---df.isnull().any(axis=0) gives True/False flag (Boolean value series),
#---which when applied on df.columns[], helps identify variables with NaN values
下面是我观察到的性能,因为我一直在增加DataFrame中的#记录
DataFrame与~100k记录
代码1:22.06秒 代码2:0.03秒
DataFrame有~200k条记录
代码1:180.06秒 代码2:0.06秒
DataFrame有大约160万条记录
代码1:代码不停地运行 代码2:0.40秒
DataFrame有大约1300万条记录
代码1:——甚至没有尝试,在看到1.6 Mn记录的性能之后—— 代码2:3.20秒
很抱歉回答这么长!希望这能有所帮助!