如何处理SettingWithCopyWarning在熊猫?

这篇文章的读者是:

想知道这个警告是什么意思吗 想了解压制这种警告的不同方法吗 想了解如何改进他们的代码，并遵循良好的实践，以避免在未来出现这种警告。

设置

np.random.seed(0)
df = pd.DataFrame(np.random.choice(10, (3, 5)), columns=list('ABCDE'))
df
   A  B  C  D  E
0  5  0  3  3  7
1  9  3  5  2  4
2  7  6  8  8  1

---

什么是SettingWithCopyWarning?

要知道如何处理这个警告，首先要理解它的含义以及为什么会提出这个警告。

过滤dataframe时，可以对帧进行切片/索引以返回视图或副本，这取决于内部布局和各种实现细节。顾名思义，“视图”是原始数据的视图，因此修改视图可能会修改原始对象。另一方面，“副本”是原始数据的复制，修改副本对原始数据没有影响。

正如其他答案所提到的，SettingWithCopyWarning被创建来标记“链式赋值”操作。考虑上面设置中的df。假设您想要选择列“B”中的所有值，其中列“A”中的值为> 5。Pandas允许您以不同的方式做到这一点，有些方式比其他方式更正确。例如,

df[df.A > 5]['B']

1    3
2    6
Name: B, dtype: int64

And,

df.loc[df.A > 5, 'B']

1    3
2    6
Name: B, dtype: int64

它们返回相同的结果，因此如果只读取这些值，则没有区别。那么，问题是什么呢?链式赋值的问题是，通常很难预测返回的是视图还是副本，所以当您试图赋值时，这在很大程度上成为一个问题。在前面例子的基础上，考虑一下这段代码是如何被解释器执行的:

df.loc[df.A > 5, 'B'] = 4
# becomes
df.__setitem__((df.A > 5, 'B'), 4)

用一个__setitem__调用df。OTOH，考虑下面的代码:

df[df.A > 5]['B'] = 4
# becomes
df.__getitem__(df.A > 5).__setitem__('B', 4)

现在，根据__getitem__返回的是视图还是副本，__setitem__操作可能无法工作。

一般来说，应该使用loc进行基于标签的赋值，使用iloc进行基于整数/位置的赋值，因为规范保证它们总是对原始值进行操作。此外，要设置单个单元格，应该使用at和iat。

更多信息可以在文档中找到。

请注意 所有用loc完成的布尔索引操作也可以用iloc完成。唯一的区别是iloc希望两者都有 索引的整数/位置或布尔值的numpy数组，以及 列的整数/位置索引。 例如, df.loc (df。A > 5， ' b '] = 4 可以写成nas df.iloc [(df。A > 5).values, 1] = 4 而且, df。loc[1， 'A'] = 100 可以写成 df。Iloc [1,0] = 100 等等。

---

告诉我怎么消除警告!

考虑df的“a”列上的一个简单操作。选择“A”并除以2将会发出警告，但操作是有效的。

df2 = df[['A']]
df2['A'] /= 2
/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/IPython/__main__.py:1: SettingWithCopyWarning:
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

df2
     A
0  2.5
1  4.5
2  3.5

有几种方法可以直接屏蔽这个警告:

(推荐)使用loc对子集进行切片: Df2 = df。loc [: [A]] df2['A'] /= 2 #不提升 改变pd.options.mode.chained_assignment 可以设置为None、warn或raise。“warn”是默认值。None将完全抑制警告，“raise”将抛出SettingWithCopyError，阻止操作进行。 pd.options.mode。chained_assignment =无 df2['A'] /= 2 制作深度拷贝 df2 = df[['A']]].copy(depth =True) df2['A'] /= 2

@Peter Cotton在评论中提出了一个很好的方法，使用上下文管理器非侵入性地改变模式(从这个要点修改)，只在需要时设置模式，并在完成时将其重置回原始状态。

类ChainedAssignent: def __init__(self, chained=None): accept = [None， 'warn'， 'raise'] Assert chained in acceptable， "chained must be in " + str(acceptable) 自我。被链住 def __enter__(自我): 自我。Saved_swcw = pd.options.mode.chained_assignment pd.options.mode。Chained_assignment = self.swcw 回归自我 Def __exit__(self， *args): pd.options.mode。Chained_assignment = self.saved_swcw

用法如下:

# Some code here
with ChainedAssignent():
    df2['A'] /= 2
# More code follows

或者，抛出异常

with ChainedAssignent(chained='raise'):
    df2['A'] /= 2

SettingWithCopyError:
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

---

“XY问题”:我做错了什么?

很多时候，用户试图寻找抑制这种异常的方法，而没有完全理解为什么会出现这种异常。这是XY问题的一个很好的例子，用户试图解决一个问题“Y”，而这个问题实际上是一个更深层次的问题“X”的症状。将根据遇到此警告的常见问题提出问题，然后将提出解决方案。

问题1 我有一个数据框架 df A bc d e 0 5 0 3 3 7 1 9 3 5 2 4 2 7 6 8 8 1 我想在col“A”> 5到1000中赋值。我的期望输出是 A bc d e 0 5 0 3 3 7 1 1000 3 5 2 4 2 1000 6 8 8 1

错误的做法:

df.A[df.A > 5] = 1000         # works, because df.A returns a view
df[df.A > 5]['A'] = 1000      # does not work
df.loc[df.A > 5]['A'] = 1000   # does not work

使用loc的正确方法:

df.loc[df.A > 5, 'A'] = 1000

问题21 我试图将单元格(1，'D')中的值设置为12345。我的期望输出是 A bc d e 0 5 0 3 3 7 1 9 3 5 1245 4 2 7 6 8 8 1 我试过各种方法进入这个细胞，比如 df [' D '][1]。最好的方法是什么? 1. 这个问题和警告没有特别的关系，但是 最好能理解如何正确地执行这个特定的操作 这样就可以避免出现警告可能出现的情况 的未来。

您可以使用以下任何一种方法来做到这一点。

df.loc[1, 'D'] = 12345
df.iloc[1, 3] = 12345
df.at[1, 'D'] = 12345
df.iat[1, 3] = 12345

问题3 我正在尝试基于某些条件的子集值。我有一个 DataFrame A bc d e 1 9 3 5 2 4 2 7 6 8 8 1 我想把“D”中的值赋给123，这样“C”== 5。我 试着 df2.loc[df2.C == 5， 'D'] = 123 这看起来很好，但我还是得到了 SettingWithCopyWarning !我怎么解决这个问题?

这实际上可能是因为管道中更高级别的代码。你是从更大的东西中创建df2的吗

df2 = df[df.A > 5]

？ 在本例中，布尔索引将返回一个视图，因此df2将引用原始视图。你需要做的是将df2分配给一个副本:

df2 = df[df.A > 5].copy()
# Or,
# df2 = df.loc[df.A > 5, :]

问题4 我要把C列放到 A bc d e 1 9 3 5 2 4 2 7 6 8 8 1 但使用 df2。drop('C'， axis=1, inplace=True) 抛出SettingWithCopyWarning。为什么会这样?

这是因为df2必须是作为其他切片操作的视图创建的，例如

df2 = df[df.A > 5]

这里的解决方案是创建df的copy()，或者像以前一样使用loc。

对我来说奏效了:

import pandas as pd
# ...
pd.set_option('mode.chained_assignment', None)

这应该可以工作:

quote_df.loc[:,'TVol'] = quote_df['TVol']/TVOL_SCALE

为了消除任何疑问，我的解决方案是对切片进行深度复制，而不是常规复制。 这可能不适用，这取决于你的上下文(内存限制/片的大小，潜在的性能下降-特别是如果复制发生在一个循环中，就像它对我做的那样，等等…)

澄清一下，以下是我收到的警告:

/opt/anaconda3/lib/python3.6/site-packages/ipykernel/__main__.py:54:
SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame
See the caveats in the documentation:
http://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-view-versus-copy

插图

我怀疑警告之所以被抛出，是因为我在切片的副本上放置了一列。虽然从技术上讲没有尝试在切片的副本中设置值，但这仍然是对切片副本的修改。

以下是我所采取的(简化的)步骤来确认怀疑，我希望它能帮助那些试图理解警告的人。

例1:删除原始数据上的一列会影响副本

我们已经知道了，但这是一个健康的提醒。这不是警告的内容。

>> data1 = {'A': [111, 112, 113], 'B':[121, 122, 123]}
>> df1 = pd.DataFrame(data1)
>> df1

    A    B
0    111    121
1    112    122
2    113    123


>> df2 = df1
>> df2

A    B
0    111    121
1    112    122
2    113    123

# Dropping a column on df1 affects df2
>> df1.drop('A', axis=1, inplace=True)
>> df2
    B
0    121
1    122
2    123

可以避免在df1上所做的更改影响df2。注意:你可以通过执行df.copy()来避免导入copy.deepcopy。

>> data1 = {'A': [111, 112, 113], 'B':[121, 122, 123]}
>> df1 = pd.DataFrame(data1)
>> df1

A    B
0    111    121
1    112    122
2    113    123

>> import copy
>> df2 = copy.deepcopy(df1)
>> df2
A    B
0    111    121
1    112    122
2    113    123

# Dropping a column on df1 does not affect df2
>> df1.drop('A', axis=1, inplace=True)
>> df2
    A    B
0    111    121
1    112    122
2    113    123

例2:删除副本上的一列可能会影响原始数据

这实际上说明了警告。

>> data1 = {'A': [111, 112, 113], 'B':[121, 122, 123]}
>> df1 = pd.DataFrame(data1)
>> df1

    A    B
0    111    121
1    112    122
2    113    123

>> df2 = df1
>> df2

    A    B
0    111    121
1    112    122
2    113    123

# Dropping a column on df2 can affect df1
# No slice involved here, but I believe the principle remains the same?
# Let me know if not
>> df2.drop('A', axis=1, inplace=True)
>> df1

B
0    121
1    122
2    123

可以避免在df2上所做的更改影响df1

>> data1 = {'A': [111, 112, 113], 'B':[121, 122, 123]}
>> df1 = pd.DataFrame(data1)
>> df1

    A    B
0    111    121
1    112    122
2    113    123

>> import copy
>> df2 = copy.deepcopy(df1)
>> df2

A    B
0    111    121
1    112    122
2    113    123

>> df2.drop('A', axis=1, inplace=True)
>> df1

A    B
0    111    121
1    112    122
2    113    123

只需在警告出现之前使用.copy()方法创建数据帧的副本，以删除所有警告。

之所以会发生这种情况，是因为我们不想对原始的quote_df进行更改。换句话说，我们不想使用为quote_df创建的quote_df对象的引用。

quote_df = quote_df.copy()

创建SettingWithCopyWarning是为了标记可能令人困惑的“链式”赋值，例如下面的赋值，它并不总是像预期的那样工作，特别是当第一个选择返回一个副本时。[背景讨论见GH5390和GH5597。]

df[df['A'] > 2]['B'] = new_val  # new_val not set in df

该警告提供了重写建议如下:

df.loc[df['A'] > 2, 'B'] = new_val

然而，这并不符合你的用法，这相当于:

df = df[df['A'] > 2]
df['B'] = new_val

虽然很明显，您并不关心写入操作是否使其返回到原始帧(因为您正在覆盖对它的引用)，但不幸的是，此模式无法与第一个链式赋值示例区分开来。因此出现了(假阳性)警告。如果您想进一步阅读，在索引文档中讨论了假阳性的可能性。您可以使用以下赋值安全地禁用此新警告。

import pandas as pd
pd.options.mode.chained_assignment = None  # default='warn'

---

其他资源

pandas用户指南:索引和选择数据 Python数据科学手册:数据索引和选择 真正的Python: SettingWithCopyWarning在Pandas:视图vs副本 Dataquest: SettingwithCopyWarning:如何修复此警告在熊猫 走向数据科学:解释熊猫中copywarning的设置