在Python Pandas中,检查DataFrame是否有一个(或多个)NaN值的最佳方法是什么?
我知道函数pd。isnan,但这将返回每个元素的布尔值的DataFrame。这篇文章也没有完全回答我的问题。
在Python Pandas中,检查DataFrame是否有一个(或多个)NaN值的最佳方法是什么?
我知道函数pd。isnan,但这将返回每个元素的布尔值的DataFrame。这篇文章也没有完全回答我的问题。
当前回答
你不仅可以检查是否有'NaN'存在,还可以使用下面的方法得到'NaN'在每一列中的百分比,
df = pd.DataFrame({'col1':[1,2,3,4,5],'col2':[6,np.nan,8,9,10]})
df
col1 col2
0 1 6.0
1 2 NaN
2 3 8.0
3 4 9.0
4 5 10.0
df.isnull().sum()/len(df)
col1 0.0
col2 0.2
dtype: float64
其他回答
另一种方法是dropna,检查长度是否相等:
>>> len(df.dropna()) != len(df)
True
>>>
最好的方法是:
df.isna().any().any()
原因如下。所以isna()被用来定义isnull(),但这两者当然是相同的。
这甚至比公认的答案还要快,并且涵盖了所有2D熊猫数组。
这将只包括至少有一个null/na值的列。
df.isnull().sum()[df.isnull().sum()>0]
或者你可以在DF上使用.info(),例如:
df.info(null_counts=True)返回列中非_null的行数,例如:
<class 'pandas.core.frame.DataFrame'>
Int64Index: 3276314 entries, 0 to 3276313
Data columns (total 10 columns):
n_matches 3276314 non-null int64
avg_pic_distance 3276314 non-null float64
我一直在使用以下和类型转换为字符串,并检查nan值
(str(df.at[index, 'column']) == 'nan')
这允许我检查一个系列中的特定值,而不只是返回如果它包含在系列中的某个地方。