我有一个很少列的熊猫数据帧。
现在我知道某些行是基于某个列值的异常值。
例如
列“Vol”的所有值都在12xx左右,其中一个值是4000(离群值)。
现在我想排除那些Vol列像这样的行。
所以,本质上,我需要在数据帧上放一个过滤器,这样我们就可以选择所有的行,其中某一列的值距离平均值在3个标准差之内。
实现这一点的优雅方式是什么?
我有一个很少列的熊猫数据帧。
现在我知道某些行是基于某个列值的异常值。
例如
列“Vol”的所有值都在12xx左右,其中一个值是4000(离群值)。
现在我想排除那些Vol列像这样的行。
所以,本质上,我需要在数据帧上放一个过滤器,这样我们就可以选择所有的行,其中某一列的值距离平均值在3个标准差之内。
实现这一点的优雅方式是什么?
当前回答
对于数据框架中的每个系列,您可以使用between和分位数来删除异常值。
x = pd.Series(np.random.normal(size=200)) # with outliers
x = x[x.between(x.quantile(.25), x.quantile(.75))] # without outliers
其他回答
这个答案类似于@tanemaki提供的答案,但使用了lambda表达式而不是scipy stats。
df = pd.DataFrame(np.random.randn(100, 3), columns=list('ABC'))
standard_deviations = 3
df[df.apply(lambda x: np.abs(x - x.mean()) / x.std() < standard_deviations)
.all(axis=1)]
要过滤只有一个列的数据帧(例如:B)在三个标准差之内:
df[((df['B'] - df['B'].mean()) / df['B'].std()).abs() < standard_deviations]
关于如何在滚动的基础上应用这个z-score:滚动z-score应用于pandas数据框架
对于你的每一个数据帧列,你可以得到分位数:
q = df["col"].quantile(0.99)
然后用:
df[df["col"] < q]
如果需要移除上下异常值,将condition与and语句结合:
q_low = df["col"].quantile(0.01)
q_hi = df["col"].quantile(0.99)
df_filtered = df[(df["col"] < q_hi) & (df["col"] > q_low)]
如果你的数据帧有异常值,有很多方法可以处理这些异常值:
大多数都在我的文章中提到过:读一读
在这里找到代码:Notebook
#------------------------------------------------------------------------------
# accept a dataframe, remove outliers, return cleaned data in a new dataframe
# see http://www.itl.nist.gov/div898/handbook/prc/section1/prc16.htm
#------------------------------------------------------------------------------
def remove_outlier(df_in, col_name):
q1 = df_in[col_name].quantile(0.25)
q3 = df_in[col_name].quantile(0.75)
iqr = q3-q1 #Interquartile range
fence_low = q1-1.5*iqr
fence_high = q3+1.5*iqr
df_out = df_in.loc[(df_in[col_name] > fence_low) & (df_in[col_name] < fence_high)]
return df_out
如果你喜欢方法链接,你可以得到所有数值列的布尔条件,如下所示:
df.sub(df.mean()).div(df.std()).abs().lt(3)
每一列的每个值都将根据其是否距离平均值小于三个标准差而转换为True/False。