在Python Pandas中,检查DataFrame是否有一个(或多个)NaN值的最佳方法是什么?

我知道函数pd。isnan,但这将返回每个元素的布尔值的DataFrame。这篇文章也没有完全回答我的问题。


当前回答

我一直在使用以下和类型转换为字符串,并检查nan值

   (str(df.at[index, 'column']) == 'nan')

这允许我检查一个系列中的特定值,而不只是返回如果它包含在系列中的某个地方。

其他回答

加上霍布斯的精彩回答,我对Python和熊猫很陌生,所以如果我错了,请指出来。

要找出哪些行有nan:

nan_rows = df[df.isnull().any(1)]

将执行相同的操作,而不需要通过将any()的轴指定为1来检查'True'是否在行中存在。

如果你需要知道有多少行有“一个或多个nan”:

df.isnull().T.any().T.sum()

或者如果你需要取出这些行并检查它们:

nan_rows = df[df.isnull().T.any()]

或者你可以在DF上使用.info(),例如:

df.info(null_counts=True)返回列中非_null的行数,例如:

<class 'pandas.core.frame.DataFrame'>
Int64Index: 3276314 entries, 0 to 3276313
Data columns (total 10 columns):
n_matches                          3276314 non-null int64
avg_pic_distance                   3276314 non-null float64

我们可以通过使用seaborn moduleheatmap生成热图来查看数据集中存在的空值

import pandas as pd
import seaborn as sns
dataset=pd.read_csv('train.csv')
sns.heatmap(dataset.isnull(),cbar=False)

df.isna().any(axis=None)

从v0.23.2开始,您可以使用DataFrame。isna + DataFrame.any(axis=None),其中axis=None指定整个DataFrame的逻辑缩减。

# Setup
df = pd.DataFrame({'A': [1, 2, np.nan], 'B' : [np.nan, 4, 5]})
df
     A    B
0  1.0  NaN
1  2.0  4.0
2  NaN  5.0

df.isna()

       A      B
0  False   True
1  False  False
2   True  False

df.isna().any(axis=None)
# True

有用的替代方案

numpy.isnan 如果您正在运行旧版本的pandas,则另一个性能选项。

np.isnan(df.values)

array([[False,  True],
       [False, False],
       [ True, False]])

np.isnan(df.values).any()
# True

或者,检查和:

np.isnan(df.values).sum()
# 2

np.isnan(df.values).sum() > 0
# True

Series.hasnans 你也可以迭代地调用Series.hasnans。例如,要检查单个列是否有nan,

df['A'].hasnans
# True

要检查任何列是否具有nan,可以对any使用推导式(这是一种短路操作)。

any(df[c].hasnans for c in df)
# True

这实际上非常快。