我有一个数据框架，有~300K行和~40列。 我想知道是否有任何行包含空值-并将这些“空”行放入一个单独的数据框架，以便我可以轻松地探索它们。
我可以显式地创建一个蒙版:
mask = False
for col in df.columns:
mask = mask | df[col].isnull()
dfnulls = df[mask]
或者我可以这样做:
df.ix[df.index[(df.T == np.nan).sum() > 1]]
是否有一种更优雅的方法(定位包含空值的行)?
当前回答
[更新以适应现代熊猫，它有isnull作为数据框架的方法..]
你可以使用isnull和any来构建一个布尔系列，并使用它来索引到你的框架中:
>>> df = pd.DataFrame([range(3), [0, np.NaN, 0], [0, 0, np.NaN], range(3), range(3)])
>>> df.isnull()
0 1 2
0 False False False
1 False True False
2 False False True
3 False False False
4 False False False
>>> df.isnull().any(axis=1)
0 False
1 True
2 True
3 False
4 False
dtype: bool
>>> df[df.isnull().any(axis=1)]
0 1 2
1 0 NaN 0
2 0 0 NaN
[年长的熊猫:]
你可以使用函数isnull来代替方法:
In [56]: df = pd.DataFrame([range(3), [0, np.NaN, 0], [0, 0, np.NaN], range(3), range(3)])
In [57]: df
Out[57]:
0 1 2
0 0 1 2
1 0 NaN 0
2 0 0 NaN
3 0 1 2
4 0 1 2
In [58]: pd.isnull(df)
Out[58]:
0 1 2
0 False False False
1 False True False
2 False False True
3 False False False
4 False False False
In [59]: pd.isnull(df).any(axis=1)
Out[59]:
0 False
1 True
2 True
3 False
4 False
导致相当紧凑:
In [60]: df[pd.isnull(df).any(axis=1)]
Out[60]:
0 1 2
1 0 NaN 0
2 0 0 NaN
其他回答
少了4个字符，但多了2个ms
%%timeit
df.isna().T.any()
# 52.4 ms ± 352 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
%%timeit
df.isna().any(axis=1)
# 50 ms ± 423 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
我可能会用axis=1
如果你想通过一定数量的空值列来过滤行，你可以使用这个:
df.iloc[df[(df.isnull().sum(axis=1) >= qty_of_nuls)].index]
下面是例子:
你的dataframe:
>>> df = pd.DataFrame([range(4), [0, np.NaN, 0, np.NaN], [0, 0, np.NaN, 0], range(4), [np.NaN, 0, np.NaN, np.NaN]])
>>> df
0 1 2 3
0 0.0 1.0 2.0 3.0
1 0.0 NaN 0.0 NaN
2 0.0 0.0 NaN 0.0
3 0.0 1.0 2.0 3.0
4 NaN 0.0 NaN NaN
如果您想选择有两个或多个空值列的行，您可以运行以下命令:
>>> qty_of_nuls = 2
>>> df.iloc[df[(df.isnull().sum(axis=1) >=qty_of_nuls)].index]
0 1 2 3
1 0.0 NaN 0.0 NaN
4 NaN 0.0 NaN NaN
[更新以适应现代熊猫，它有isnull作为数据框架的方法..]
你可以使用isnull和any来构建一个布尔系列，并使用它来索引到你的框架中:
>>> df = pd.DataFrame([range(3), [0, np.NaN, 0], [0, 0, np.NaN], range(3), range(3)])
>>> df.isnull()
0 1 2
0 False False False
1 False True False
2 False False True
3 False False False
4 False False False
>>> df.isnull().any(axis=1)
0 False
1 True
2 True
3 False
4 False
dtype: bool
>>> df[df.isnull().any(axis=1)]
0 1 2
1 0 NaN 0
2 0 0 NaN
[年长的熊猫:]
你可以使用函数isnull来代替方法:
In [56]: df = pd.DataFrame([range(3), [0, np.NaN, 0], [0, 0, np.NaN], range(3), range(3)])
In [57]: df
Out[57]:
0 1 2
0 0 1 2
1 0 NaN 0
2 0 0 NaN
3 0 1 2
4 0 1 2
In [58]: pd.isnull(df)
Out[58]:
0 1 2
0 False False False
1 False True False
2 False False True
3 False False False
4 False False False
In [59]: pd.isnull(df).any(axis=1)
Out[59]:
0 False
1 True
2 True
3 False
4 False
导致相当紧凑:
In [60]: df[pd.isnull(df).any(axis=1)]
Out[60]:
0 1 2
1 0 NaN 0
2 0 0 NaN
def nans(df): return df[df.isnull().any(axis=1)]
然后当你需要它的时候，你可以输入:
nans(your_dataframe)
df1 = df[df.isna().any(axis=1)]
(在pandas数据框架中显示具有一个或多个NaN值的行)
