在Python Pandas中,检查DataFrame是否有一个(或多个)NaN值的最佳方法是什么?
我知道函数pd。isnan,但这将返回每个元素的布尔值的DataFrame。这篇文章也没有完全回答我的问题。
在Python Pandas中,检查DataFrame是否有一个(或多个)NaN值的最佳方法是什么?
我知道函数pd。isnan,但这将返回每个元素的布尔值的DataFrame。这篇文章也没有完全回答我的问题。
当前回答
我们可以通过使用seaborn moduleheatmap生成热图来查看数据集中存在的空值
import pandas as pd
import seaborn as sns
dataset=pd.read_csv('train.csv')
sns.heatmap(dataset.isnull(),cbar=False)
其他回答
最好的方法是:
df.isna().any().any()
原因如下。所以isna()被用来定义isnull(),但这两者当然是相同的。
这甚至比公认的答案还要快,并且涵盖了所有2D熊猫数组。
你不仅可以检查是否有'NaN'存在,还可以使用下面的方法得到'NaN'在每一列中的百分比,
df = pd.DataFrame({'col1':[1,2,3,4,5],'col2':[6,np.nan,8,9,10]})
df
col1 col2
0 1 6.0
1 2 NaN
2 3 8.0
3 4 9.0
4 5 10.0
df.isnull().sum()/len(df)
col1 0.0
col2 0.2
dtype: float64
加上霍布斯的精彩回答,我对Python和熊猫很陌生,所以如果我错了,请指出来。
要找出哪些行有nan:
nan_rows = df[df.isnull().any(1)]
将执行相同的操作,而不需要通过将any()的轴指定为1来检查'True'是否在行中存在。
import missingno as msno
msno.matrix(df) # just to visualize. no missing value.
这将只包括至少有一个null/na值的列。
df.isnull().sum()[df.isnull().sum()>0]