在Python Pandas中,检查DataFrame是否有一个(或多个)NaN值的最佳方法是什么?

我知道函数pd。isnan,但这将返回每个元素的布尔值的DataFrame。这篇文章也没有完全回答我的问题。


当前回答

这将只包括至少有一个null/na值的列。

 df.isnull().sum()[df.isnull().sum()>0]

其他回答

因为没有人提到,还有另一个变量叫做hasnans。

df[我]。如果pandas系列中的一个或多个值为NaN, hasnans将输出为True,否则为False。注意,它不是一个函数。

熊猫版本“0.19.2”和“0.20.2”

Df.isnull ().any().any()应该这样做。

另一种方法是dropna,检查长度是否相等:

>>> len(df.dropna()) != len(df)
True
>>> 

加上霍布斯的精彩回答,我对Python和熊猫很陌生,所以如果我错了,请指出来。

要找出哪些行有nan:

nan_rows = df[df.isnull().any(1)]

将执行相同的操作,而不需要通过将any()的轴指定为1来检查'True'是否在行中存在。

Jwilner的回答是正确的。我正在探索是否有更快的选择,因为根据我的经验,平坦数组的和(奇怪地)比计数快。这段代码似乎更快:

df.isnull().values.any()

import numpy as np
import pandas as pd
import perfplot


def setup(n):
    df = pd.DataFrame(np.random.randn(n))
    df[df > 0.9] = np.nan
    return df


def isnull_any(df):
    return df.isnull().any()


def isnull_values_sum(df):
    return df.isnull().values.sum() > 0


def isnull_sum(df):
    return df.isnull().sum() > 0


def isnull_values_any(df):
    return df.isnull().values.any()


perfplot.save(
    "out.png",
    setup=setup,
    kernels=[isnull_any, isnull_values_sum, isnull_sum, isnull_values_any],
    n_range=[2 ** k for k in range(25)],
)

df.isnull().sum().sum()有点慢,但当然,它有额外的信息——nan的数量。