pandas中的大多数操作都可以通过操作符链接(groupby、聚合、应用等)来完成,但我发现过滤行的唯一方法是通过普通的括号索引
df_filtered = df[df['column'] == value]
这是没有吸引力的,因为它要求我分配df到一个变量,然后才能过滤它的值。还有像下面这样的吗?
df_filtered = df.mask(lambda x: x['column'] == value)
pandas中的大多数操作都可以通过操作符链接(groupby、聚合、应用等)来完成,但我发现过滤行的唯一方法是通过普通的括号索引
df_filtered = df[df['column'] == value]
这是没有吸引力的,因为它要求我分配df到一个变量,然后才能过滤它的值。还有像下面这样的吗?
df_filtered = df.mask(lambda x: x['column'] == value)
我不完全确定你想要什么,你的最后一行代码也没有帮助,但无论如何:
“链式”过滤是通过将布尔索引中的条件“链式”进行的。
In [96]: df
Out[96]:
A B C D
a 1 4 9 1
b 4 5 0 2
c 5 5 1 0
d 1 3 9 6
In [99]: df[(df.A == 1) & (df.D == 6)]
Out[99]:
A B C D
d 1 3 9 6
如果你想要链接方法,你可以添加你自己的掩码方法并使用它。
In [90]: def mask(df, key, value):
....: return df[df[key] == value]
....:
In [92]: pandas.DataFrame.mask = mask
In [93]: df = pandas.DataFrame(np.random.randint(0, 10, (4,4)), index=list('abcd'), columns=list('ABCD'))
In [95]: df.ix['d','A'] = df.ix['a', 'A']
In [96]: df
Out[96]:
A B C D
a 1 4 9 1
b 4 5 0 2
c 5 5 1 0
d 1 3 9 6
In [97]: df.mask('A', 1)
Out[97]:
A B C D
a 1 4 9 1
d 1 3 9 6
In [98]: df.mask('A', 1).mask('D', 6)
Out[98]:
A B C D
d 1 3 9 6
来自@lodagro的答案很棒。我将通过泛化掩码函数来扩展它:
def mask(df, f):
return df[f(df)]
然后你可以这样做:
df.mask(lambda x: x[0] < 0).mask(lambda x: x[1] > 0)
如果你想应用所有常见的布尔掩码以及一个通用的掩码,你可以在一个文件中输入以下内容,然后简单地将它们分配如下:
pd.DataFrame = apply_masks()
用法:
A = pd.DataFrame(np.random.randn(4, 4), columns=["A", "B", "C", "D"])
A.le_mask("A", 0.7).ge_mask("B", 0.2)... (May be repeated as necessary
这有点老套,但如果你根据过滤器不断地切割和改变数据集,它可以让事情变得更干净。 在gen_mask函数中也有一个通用的过滤器,你可以使用lambda函数或其他如果需要的话。
要保存的文件(我使用mask .py):
import pandas as pd
def eq_mask(df, key, value):
return df[df[key] == value]
def ge_mask(df, key, value):
return df[df[key] >= value]
def gt_mask(df, key, value):
return df[df[key] > value]
def le_mask(df, key, value):
return df[df[key] <= value]
def lt_mask(df, key, value):
return df[df[key] < value]
def ne_mask(df, key, value):
return df[df[key] != value]
def gen_mask(df, f):
return df[f(df)]
def apply_masks():
pd.DataFrame.eq_mask = eq_mask
pd.DataFrame.ge_mask = ge_mask
pd.DataFrame.gt_mask = gt_mask
pd.DataFrame.le_mask = le_mask
pd.DataFrame.lt_mask = lt_mask
pd.DataFrame.ne_mask = ne_mask
pd.DataFrame.gen_mask = gen_mask
return pd.DataFrame
if __name__ == '__main__':
pass
过滤器可以使用Pandas查询链接:
df = pd.DataFrame(np.random.randn(30, 3), columns=['a','b','c'])
df_filtered = df.query('a > 0').query('0 < b < 2')
过滤器也可以在单个查询中组合:
df_filtered = df.query('a > 0 and 0 < b < 2')
我也有同样的问题,只是我想把这些标准组合成一个OR条件。Wouter Overmeire给出的格式将两个标准组合成一个AND条件,使得两个条件都必须满足:
In [96]: df
Out[96]:
A B C D
a 1 4 9 1
b 4 5 0 2
c 5 5 1 0
d 1 3 9 6
In [99]: df[(df.A == 1) & (df.D == 6)]
Out[99]:
A B C D
d 1 3 9 6
但我发现,如果你把每个条件……== True),并将标准与管道连接,这些标准在OR条件中组合,只要其中任何一个为真就满足:
df[((df.A==1) == True) | ((df.D==6) == True)]
我的答案和其他人的相似。如果您不想创建一个新函数,您可以使用pandas已经为您定义的函数。使用管道法。
df.pipe(lambda d: d[d['column'] == value])
我提供了更多的例子。这个答案和https://stackoverflow.com/a/28159296/是一样的
我将添加其他编辑,使这篇文章更有用。
pandas.DataFrame.query 查询正是为了这个目的。考虑数据框架df
import pandas as pd
import numpy as np
np.random.seed([3,1415])
df = pd.DataFrame(
np.random.randint(10, size=(10, 5)),
columns=list('ABCDE')
)
df
A B C D E
0 0 2 7 3 8
1 7 0 6 8 6
2 0 2 0 4 9
3 7 3 2 4 3
4 3 6 7 7 4
5 5 3 7 5 9
6 8 7 6 4 7
7 6 2 6 6 5
8 2 8 7 5 8
9 4 7 6 1 5
让我们使用查询过滤所有行D > B
df.query('D > B')
A B C D E
0 0 2 7 3 8
1 7 0 6 8 6
2 0 2 0 4 9
3 7 3 2 4 3
4 3 6 7 7 4
5 5 3 7 5 9
7 6 2 6 6 5
我们把它串起来
df.query('D > B').query('C > B')
# equivalent to
# df.query('D > B and C > B')
# but defeats the purpose of demonstrating chaining
A B C D E
0 0 2 7 3 8
1 7 0 6 8 6
4 3 6 7 7 4
5 5 3 7 5 9
7 6 2 6 6 5
如果将列设置为作为索引进行搜索,则可以使用DataFrame.xs()获取横截面。这没有查询答案那么通用,但在某些情况下可能很有用。
import pandas as pd
import numpy as np
np.random.seed([3,1415])
df = pd.DataFrame(
np.random.randint(3, size=(10, 5)),
columns=list('ABCDE')
)
df
# Out[55]:
# A B C D E
# 0 0 2 2 2 2
# 1 1 1 2 0 2
# 2 0 2 0 0 2
# 3 0 2 2 0 1
# 4 0 1 1 2 0
# 5 0 0 0 1 2
# 6 1 0 1 1 1
# 7 0 0 2 0 2
# 8 2 2 2 2 2
# 9 1 2 0 2 1
df.set_index(['A', 'D']).xs([0, 2]).reset_index()
# Out[57]:
# A D B C E
# 0 0 2 2 2 2
# 1 0 2 1 1 0
从0.18.1版本开始,.loc方法接受一个可调用对象进行选择。与lambda函数一起,你可以创建非常灵活的可链过滤器:
import numpy as np
import pandas as pd
df = pd.DataFrame(np.random.randint(0,100,size=(100, 4)), columns=list('ABCD'))
df.loc[lambda df: df.A == 80] # equivalent to df[df.A == 80] but chainable
df.sort_values('A').loc[lambda df: df.A > 80].loc[lambda df: df.B > df.A]
如果你所做的只是过滤,你也可以省略.loc。
这个解决方案在实现方面比较粗糙,但我发现它在使用方面更简洁,而且肯定比其他提出的解决方案更通用。
https://github.com/toobaz/generic_utils/blob/master/generic_utils/pandas/where.py
你不需要下载整个回购:保存文件和做
from where import where as W
应该足够了。然后你可以这样使用它:
df = pd.DataFrame([[1, 2, True],
[3, 4, False],
[5, 7, True]],
index=range(3), columns=['a', 'b', 'c'])
# On specific column:
print(df.loc[W['a'] > 2])
print(df.loc[-W['a'] == W['b']])
print(df.loc[~W['c']])
# On entire - or subset of a - DataFrame:
print(df.loc[W.sum(axis=1) > 3])
print(df.loc[W[['a', 'b']].diff(axis=1)['b'] > 1])
一个稍微不那么愚蠢的用法示例:
data = pd.read_csv('ugly_db.csv').loc[~(W == '$null$').any(axis=1)]
顺便说一下,即使在使用布尔cols的情况下,
df.loc[W['cond1']].loc[W['cond2']]
能比吗
df.loc[W['cond1'] & W['cond2']]
因为它只在cond1为True时计算cond2。
免责声明:我第一次给出这个答案是因为我没有看到这个。
只是想添加一个演示,使用loc不仅按行过滤,还按列过滤,以及链式操作的一些优点。
下面的代码可以按值筛选行。
df_filtered = df.loc[df['column'] == value]
通过稍微修改它,您还可以过滤列。
df_filtered = df.loc[df['column'] == value, ['year', 'column']]
为什么我们需要链式方法呢?答案是,如果您有很多操作,那么读取它就很简单。例如,
res = df\
.loc[df['station']=='USA', ['TEMP', 'RF']]\
.groupby('year')\
.agg(np.nanmean)
pandas为Wouter Overmeire的答案提供了两种不需要重写的选择。一个是.loc[。,如在
df_filtered = df.loc[lambda x: x['column'] == value]
另一个是.pipe()
df_filtered = df.pipe(lambda x: x.loc[x['column'] == value])
这是没有吸引力的,因为它要求我分配df到一个变量,然后才能过滤它的值。
df[df["column_name"] != 5].groupby("other_column_name")
似乎可以工作:你也可以嵌套[]操作符。也许是因为你问了这个问题。
所以我的看法是,在对数据进行细分以备分析时,你要做两件事。
就行 获得列
Pandas有很多方法来实现这些,还有一些技术可以帮助获取行和列。对于熊猫的新用户来说,选择太多了,可能会感到困惑。
你使用iloc, loc,括号,查询,isin, np。在哪里,面具等等…
方法链接
方法链接是处理数据争执的好方法。在R中,它们有一种简单的方法来做到这一点,你选择()列和过滤()行。
因此,如果我们想在Pandas中保持简单,为什么不对列使用filter(),对行使用query()呢?它们都返回数据框架,所以不需要在布尔索引上添乱,不需要在返回值周围添加df[]。
那它看起来像什么呢? -
df.filter(['col1', 'col2', 'col3']).query("col1 == 'sometext'")
然后你可以链上任何其他方法,如groupby, dropna(), sort_values(), reset_index()等。
通过保持一致并使用filter()来获取列,使用query()来获取行,当一段时间后回到代码时,将更容易阅读您的代码。
但是过滤器可以选择行吗?
是的,这是真的,但默认情况下query()获取行和filter()获取列。因此,如果您坚持使用默认值,则不需要使用axis=参数。
查询()
Query()可以同时使用和/或&/|,你也可以使用比较运算符>,<,>=,<=,==,!=。你也可以使用Python in,而不是in。
您可以使用@my_list将一个列表传递给查询
一些使用查询获取行的示例
df.query('A > B')
df.query('a not in b')
df.query("series == '2206'")
df.query("col1 == @mylist")
df.query('Salary_in_1000 >= 100 & Age < 60 & FT_Team.str.startswith("S").values')
filter ()
所以filter基本上就像使用方括号df[]或df[[]],因为它使用标签来选择列。但它不仅仅是括号符号。
过滤器有like= param,以帮助选择有部分名称的列。
df.filter(like='partial_name',)
过滤器也有正则表达式来帮助选择
df.filter(regex='reg_string')
综上所述,这种工作方式可能并不适用于任何情况,例如,如果你想使用索引/切片,那么iloc是正确的选择。但这似乎是一种可靠的工作方式,可以简化您的工作流程和代码。