pandas中的大多数操作都可以通过操作符链接(groupby、聚合、应用等)来完成,但我发现过滤行的唯一方法是通过普通的括号索引

df_filtered = df[df['column'] == value]

这是没有吸引力的,因为它要求我分配df到一个变量,然后才能过滤它的值。还有像下面这样的吗?

df_filtered = df.mask(lambda x: x['column'] == value)

当前回答

您还可以利用numpy库进行逻辑操作。它相当快。

df[np.logical_and(df['A'] == 1 ,df['B'] == 6)]

其他回答

pandas为Wouter Overmeire的答案提供了两种不需要重写的选择。一个是.loc[。,如在

df_filtered = df.loc[lambda x: x['column'] == value]

另一个是.pipe()

df_filtered = df.pipe(lambda x: x.loc[x['column'] == value])

如果你想应用所有常见的布尔掩码以及一个通用的掩码,你可以在一个文件中输入以下内容,然后简单地将它们分配如下:

pd.DataFrame = apply_masks()

用法:

A = pd.DataFrame(np.random.randn(4, 4), columns=["A", "B", "C", "D"])
A.le_mask("A", 0.7).ge_mask("B", 0.2)... (May be repeated as necessary

这有点老套,但如果你根据过滤器不断地切割和改变数据集,它可以让事情变得更干净。 在gen_mask函数中也有一个通用的过滤器,你可以使用lambda函数或其他如果需要的话。

要保存的文件(我使用mask .py):

import pandas as pd

def eq_mask(df, key, value):
    return df[df[key] == value]

def ge_mask(df, key, value):
    return df[df[key] >= value]

def gt_mask(df, key, value):
    return df[df[key] > value]

def le_mask(df, key, value):
    return df[df[key] <= value]

def lt_mask(df, key, value):
    return df[df[key] < value]

def ne_mask(df, key, value):
    return df[df[key] != value]

def gen_mask(df, f):
    return df[f(df)]

def apply_masks():

    pd.DataFrame.eq_mask = eq_mask
    pd.DataFrame.ge_mask = ge_mask
    pd.DataFrame.gt_mask = gt_mask
    pd.DataFrame.le_mask = le_mask
    pd.DataFrame.lt_mask = lt_mask
    pd.DataFrame.ne_mask = ne_mask
    pd.DataFrame.gen_mask = gen_mask

    return pd.DataFrame

if __name__ == '__main__':
    pass

过滤器可以使用Pandas查询链接:

df = pd.DataFrame(np.random.randn(30, 3), columns=['a','b','c'])
df_filtered = df.query('a > 0').query('0 < b < 2')

过滤器也可以在单个查询中组合:

df_filtered = df.query('a > 0 and 0 < b < 2')

我也有同样的问题,只是我想把这些标准组合成一个OR条件。Wouter Overmeire给出的格式将两个标准组合成一个AND条件,使得两个条件都必须满足:

In [96]: df
Out[96]:
   A  B  C  D
a  1  4  9  1
b  4  5  0  2
c  5  5  1  0
d  1  3  9  6

In [99]: df[(df.A == 1) & (df.D == 6)]
Out[99]:
   A  B  C  D
d  1  3  9  6

但我发现,如果你把每个条件……== True),并将标准与管道连接,这些标准在OR条件中组合,只要其中任何一个为真就满足:

df[((df.A==1) == True) | ((df.D==6) == True)]

来自@lodagro的答案很棒。我将通过泛化掩码函数来扩展它:

def mask(df, f):
  return df[f(df)]

然后你可以这样做:

df.mask(lambda x: x[0] < 0).mask(lambda x: x[1] > 0)