pandas中的大多数操作都可以通过操作符链接(groupby、聚合、应用等)来完成，但我发现过滤行的唯一方法是通过普通的括号索引
df_filtered = df[df['column'] == value]
这是没有吸引力的，因为它要求我分配df到一个变量，然后才能过滤它的值。还有像下面这样的吗?
df_filtered = df.mask(lambda x: x['column'] == value)
当前回答
过滤器可以使用Pandas查询链接:
df = pd.DataFrame(np.random.randn(30, 3), columns=['a','b','c'])
df_filtered = df.query('a > 0').query('0 < b < 2')
过滤器也可以在单个查询中组合:
df_filtered = df.query('a > 0 and 0 < b < 2')
其他回答
我不完全确定你想要什么，你的最后一行代码也没有帮助，但无论如何:
“链式”过滤是通过将布尔索引中的条件“链式”进行的。
In [96]: df
Out[96]:
A B C D
a 1 4 9 1
b 4 5 0 2
c 5 5 1 0
d 1 3 9 6
In [99]: df[(df.A == 1) & (df.D == 6)]
Out[99]:
A B C D
d 1 3 9 6
如果你想要链接方法，你可以添加你自己的掩码方法并使用它。
In [90]: def mask(df, key, value):
....: return df[df[key] == value]
....:
In [92]: pandas.DataFrame.mask = mask
In [93]: df = pandas.DataFrame(np.random.randint(0, 10, (4,4)), index=list('abcd'), columns=list('ABCD'))
In [95]: df.ix['d','A'] = df.ix['a', 'A']
In [96]: df
Out[96]:
A B C D
a 1 4 9 1
b 4 5 0 2
c 5 5 1 0
d 1 3 9 6
In [97]: df.mask('A', 1)
Out[97]:
A B C D
a 1 4 9 1
d 1 3 9 6
In [98]: df.mask('A', 1).mask('D', 6)
Out[98]:
A B C D
d 1 3 9 6
您还可以利用numpy库进行逻辑操作。它相当快。
df[np.logical_and(df['A'] == 1 ,df['B'] == 6)]
来自@lodagro的答案很棒。我将通过泛化掩码函数来扩展它:
def mask(df, f):
return df[f(df)]
然后你可以这样做:
df.mask(lambda x: x[0] < 0).mask(lambda x: x[1] > 0)
如果你想应用所有常见的布尔掩码以及一个通用的掩码，你可以在一个文件中输入以下内容，然后简单地将它们分配如下:
pd.DataFrame = apply_masks()
用法:
A = pd.DataFrame(np.random.randn(4, 4), columns=["A", "B", "C", "D"])
A.le_mask("A", 0.7).ge_mask("B", 0.2)... (May be repeated as necessary
这有点老套，但如果你根据过滤器不断地切割和改变数据集，它可以让事情变得更干净。 在gen_mask函数中也有一个通用的过滤器，你可以使用lambda函数或其他如果需要的话。
要保存的文件(我使用mask .py):
import pandas as pd
def eq_mask(df, key, value):
return df[df[key] == value]
def ge_mask(df, key, value):
return df[df[key] >= value]
def gt_mask(df, key, value):
return df[df[key] > value]
def le_mask(df, key, value):
return df[df[key] <= value]
def lt_mask(df, key, value):
return df[df[key] < value]
def ne_mask(df, key, value):
return df[df[key] != value]
def gen_mask(df, f):
return df[f(df)]
def apply_masks():
pd.DataFrame.eq_mask = eq_mask
pd.DataFrame.ge_mask = ge_mask
pd.DataFrame.gt_mask = gt_mask
pd.DataFrame.le_mask = le_mask
pd.DataFrame.lt_mask = lt_mask
pd.DataFrame.ne_mask = ne_mask
pd.DataFrame.gen_mask = gen_mask
return pd.DataFrame
if __name__ == '__main__':
pass
过滤器可以使用Pandas查询链接:
df = pd.DataFrame(np.random.randn(30, 3), columns=['a','b','c'])
df_filtered = df.query('a > 0').query('0 < b < 2')
过滤器也可以在单个查询中组合:
df_filtered = df.query('a > 0 and 0 < b < 2')
