在Python Pandas中,检查DataFrame是否有一个(或多个)NaN值的最佳方法是什么?
我知道函数pd。isnan,但这将返回每个元素的布尔值的DataFrame。这篇文章也没有完全回答我的问题。
在Python Pandas中,检查DataFrame是否有一个(或多个)NaN值的最佳方法是什么?
我知道函数pd。isnan,但这将返回每个元素的布尔值的DataFrame。这篇文章也没有完全回答我的问题。
当前回答
df为Pandas数据框架的名称,任意值为numpy。Nan为空值。
如果你想查看哪些列有空,哪些没有(只有True和False) .any df.isnull () () 如果您只想查看有空值的列 df。loc [: df.isnull () .any ()] .columns 如果您想查看每一列中null的计数 .sum df.isna () () 如果您想查看每一列中空的百分比 .sum df.isna () () / (len (df)) * 100 如果你想查看只有空值的列中空值的百分比:
df.loc[:,list(df.loc[:,df.isnull().any()].columns)].isnull().sum()/(len(df))*100
编辑1:
如果你想从视觉上看到数据缺失的地方:
import missingno
missingdata_df = df.columns[df.isnull().any()].tolist()
missingno.matrix(df[missingdata_df])
其他回答
你有两个选择。
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(10,6))
# Make a few areas have NaN values
df.iloc[1:3,1] = np.nan
df.iloc[5,3] = np.nan
df.iloc[7:9,5] = np.nan
现在数据帧看起来是这样的:
0 1 2 3 4 5
0 0.520113 0.884000 1.260966 -0.236597 0.312972 -0.196281
1 -0.837552 NaN 0.143017 0.862355 0.346550 0.842952
2 -0.452595 NaN -0.420790 0.456215 1.203459 0.527425
3 0.317503 -0.917042 1.780938 -1.584102 0.432745 0.389797
4 -0.722852 1.704820 -0.113821 -1.466458 0.083002 0.011722
5 -0.622851 -0.251935 -1.498837 NaN 1.098323 0.273814
6 0.329585 0.075312 -0.690209 -3.807924 0.489317 -0.841368
7 -1.123433 -1.187496 1.868894 -2.046456 -0.949718 NaN
8 1.133880 -0.110447 0.050385 -1.158387 0.188222 NaN
9 -0.513741 1.196259 0.704537 0.982395 -0.585040 -1.693810
选项1:df.isnull().any().any() -返回一个布尔值
你知道isnull()会返回一个这样的数据框架:
0 1 2 3 4 5
0 False False False False False False
1 False True False False False False
2 False True False False False False
3 False False False False False False
4 False False False False False False
5 False False False True False False
6 False False False False False False
7 False False False False False True
8 False False False False False True
9 False False False False False False
如果你让它df.isnull().any(),你可以找到只有NaN值的列:
0 False
1 True
2 False
3 True
4 False
5 True
dtype: bool
还有一个.any()会告诉你上面的任何一个是否为True
> df.isnull().any().any()
True
选项2:df.isnull().sum().sum() -返回NaN值总数的整数:
它的操作方式与.any().any()相同,首先给出一列中NaN值数量的总和,然后是这些值的总和:
df.isnull().sum()
0 0
1 2
2 0
3 1
4 0
5 2
dtype: int64
最后,要获得DataFrame中NaN值的总数:
df.isnull().sum().sum()
5
Jwilner的回答是正确的。我正在探索是否有更快的选择,因为根据我的经验,平坦数组的和(奇怪地)比计数快。这段代码似乎更快:
df.isnull().values.any()
import numpy as np
import pandas as pd
import perfplot
def setup(n):
df = pd.DataFrame(np.random.randn(n))
df[df > 0.9] = np.nan
return df
def isnull_any(df):
return df.isnull().any()
def isnull_values_sum(df):
return df.isnull().values.sum() > 0
def isnull_sum(df):
return df.isnull().sum() > 0
def isnull_values_any(df):
return df.isnull().values.any()
perfplot.save(
"out.png",
setup=setup,
kernels=[isnull_any, isnull_values_sum, isnull_sum, isnull_values_any],
n_range=[2 ** k for k in range(25)],
)
df.isnull().sum().sum()有点慢,但当然,它有额外的信息——nan的数量。
根据您正在处理的数据类型,您还可以在执行EDA时通过将dropna设置为False来获得每列的值计数。
for col in df:
print df[col].value_counts(dropna=False)
适用于分类变量,但当你有很多唯一值时就不那么适用了。
最好的方法是:
df.isna().any().any()
原因如下。所以isna()被用来定义isnull(),但这两者当然是相同的。
这甚至比公认的答案还要快,并且涵盖了所有2D熊猫数组。
df.apply(axis=0, func=lambda x : any(pd.isnull(x)))
将检查每一列是否包含Nan。