pandas中的大多数操作都可以通过操作符链接(groupby、聚合、应用等)来完成,但我发现过滤行的唯一方法是通过普通的括号索引

df_filtered = df[df['column'] == value]

这是没有吸引力的,因为它要求我分配df到一个变量,然后才能过滤它的值。还有像下面这样的吗?

df_filtered = df.mask(lambda x: x['column'] == value)

当前回答

这是没有吸引力的,因为它要求我分配df到一个变量,然后才能过滤它的值。

df[df["column_name"] != 5].groupby("other_column_name")

似乎可以工作:你也可以嵌套[]操作符。也许是因为你问了这个问题。

其他回答

所以我的看法是,在对数据进行细分以备分析时,你要做两件事。

就行 获得列

Pandas有很多方法来实现这些,还有一些技术可以帮助获取行和列。对于熊猫的新用户来说,选择太多了,可能会感到困惑。

你使用iloc, loc,括号,查询,isin, np。在哪里,面具等等…

方法链接

方法链接是处理数据争执的好方法。在R中,它们有一种简单的方法来做到这一点,你选择()列和过滤()行。

因此,如果我们想在Pandas中保持简单,为什么不对列使用filter(),对行使用query()呢?它们都返回数据框架,所以不需要在布尔索引上添乱,不需要在返回值周围添加df[]。

那它看起来像什么呢? -

df.filter(['col1', 'col2', 'col3']).query("col1 == 'sometext'")

然后你可以链上任何其他方法,如groupby, dropna(), sort_values(), reset_index()等。

通过保持一致并使用filter()来获取列,使用query()来获取行,当一段时间后回到代码时,将更容易阅读您的代码。

但是过滤器可以选择行吗?

是的,这是真的,但默认情况下query()获取行和filter()获取列。因此,如果您坚持使用默认值,则不需要使用axis=参数。

查询()

Query()可以同时使用和/或&/|,你也可以使用比较运算符>,<,>=,<=,==,!=。你也可以使用Python in,而不是in。

您可以使用@my_list将一个列表传递给查询

一些使用查询获取行的示例

df.query('A > B')

df.query('a not in b')

df.query("series == '2206'")

df.query("col1 == @mylist")

df.query('Salary_in_1000 >= 100 & Age < 60 & FT_Team.str.startswith("S").values')

filter ()

所以filter基本上就像使用方括号df[]或df[[]],因为它使用标签来选择列。但它不仅仅是括号符号。

过滤器有like= param,以帮助选择有部分名称的列。

df.filter(like='partial_name',)

过滤器也有正则表达式来帮助选择

df.filter(regex='reg_string')

综上所述,这种工作方式可能并不适用于任何情况,例如,如果你想使用索引/切片,那么iloc是正确的选择。但这似乎是一种可靠的工作方式,可以简化您的工作流程和代码。

我的答案和其他人的相似。如果您不想创建一个新函数,您可以使用pandas已经为您定义的函数。使用管道法。

df.pipe(lambda d: d[d['column'] == value])

这个解决方案在实现方面比较粗糙,但我发现它在使用方面更简洁,而且肯定比其他提出的解决方案更通用。

https://github.com/toobaz/generic_utils/blob/master/generic_utils/pandas/where.py

你不需要下载整个回购:保存文件和做

from where import where as W

应该足够了。然后你可以这样使用它:

df = pd.DataFrame([[1, 2, True],
                   [3, 4, False], 
                   [5, 7, True]],
                  index=range(3), columns=['a', 'b', 'c'])
# On specific column:
print(df.loc[W['a'] > 2])
print(df.loc[-W['a'] == W['b']])
print(df.loc[~W['c']])
# On entire - or subset of a - DataFrame:
print(df.loc[W.sum(axis=1) > 3])
print(df.loc[W[['a', 'b']].diff(axis=1)['b'] > 1])

一个稍微不那么愚蠢的用法示例:

data = pd.read_csv('ugly_db.csv').loc[~(W == '$null$').any(axis=1)]

顺便说一下,即使在使用布尔cols的情况下,

df.loc[W['cond1']].loc[W['cond2']]

能比吗

df.loc[W['cond1'] & W['cond2']]

因为它只在cond1为True时计算cond2。

免责声明:我第一次给出这个答案是因为我没有看到这个。

我提供了更多的例子。这个答案和https://stackoverflow.com/a/28159296/是一样的

我将添加其他编辑,使这篇文章更有用。

pandas.DataFrame.query 查询正是为了这个目的。考虑数据框架df

import pandas as pd
import numpy as np

np.random.seed([3,1415])
df = pd.DataFrame(
    np.random.randint(10, size=(10, 5)),
    columns=list('ABCDE')
)

df

   A  B  C  D  E
0  0  2  7  3  8
1  7  0  6  8  6
2  0  2  0  4  9
3  7  3  2  4  3
4  3  6  7  7  4
5  5  3  7  5  9
6  8  7  6  4  7
7  6  2  6  6  5
8  2  8  7  5  8
9  4  7  6  1  5

让我们使用查询过滤所有行D > B

df.query('D > B')

   A  B  C  D  E
0  0  2  7  3  8
1  7  0  6  8  6
2  0  2  0  4  9
3  7  3  2  4  3
4  3  6  7  7  4
5  5  3  7  5  9
7  6  2  6  6  5

我们把它串起来

df.query('D > B').query('C > B')
# equivalent to
# df.query('D > B and C > B')
# but defeats the purpose of demonstrating chaining

   A  B  C  D  E
0  0  2  7  3  8
1  7  0  6  8  6
4  3  6  7  7  4
5  5  3  7  5  9
7  6  2  6  6  5

过滤器可以使用Pandas查询链接:

df = pd.DataFrame(np.random.randn(30, 3), columns=['a','b','c'])
df_filtered = df.query('a > 0').query('0 < b < 2')

过滤器也可以在单个查询中组合:

df_filtered = df.query('a > 0 and 0 < b < 2')