后续初学者问题/备注

也许这是对像我这样的初学者的澄清(我来自R，它的工作原理似乎有点不同)。以下看起来无害的功能代码不断产生SettingWithCopy警告，我不知道为什么。我已经阅读并理解了“链式索引”，但我的代码不包含任何:

def plot(pdb, df, title, **kw):
    df['target'] = (df['ogg'] + df['ugg']) / 2
    # ...

但是后来，太迟了，我查看了plot()函数被调用的地方:

    df = data[data['anz_emw'] > 0]
    pixbuf = plot(pdb, df, title)

所以"df"不是一个数据帧，而是一个对象，它以某种方式记住它是通过索引一个数据帧创建的(这是一个视图吗?)这将使plot()中的行，

 df['target'] = ...

相当于

 data[data['anz_emw'] > 0]['target'] = ...

这是链式索引。

不管怎么说,

def plot(pdb, df, title, **kw):
    df.loc[:,'target'] = (df['ogg'] + df['ugg']) / 2

固定它。

对我来说，这个问题发生在下面一个简化的例子中。我也能够解决它(希望有一个正确的解决方案):

带有警告的旧代码:

def update_old_dataframe(old_dataframe, new_dataframe):
    for new_index, new_row in new_dataframe.iterrorws():
        old_dataframe.loc[new_index] = update_row(old_dataframe.loc[new_index], new_row)

def update_row(old_row, new_row):
    for field in [list_of_columns]:
        # line with warning because of chain indexing old_dataframe[new_index][field]
        old_row[field] = new_row[field]
    return old_row

输出old_row[field] = new_row[field]行的警告

因为update_row方法中的行实际上是Series类型，所以我将行替换为:

old_row.at[field] = new_row.at[field]

例如，用于访问/查找一个Series的方法。尽管两者都工作得很好，结果是相同的，这样我就不必禁用警告(=保留它们用于其他地方的其他链索引问题)。

我相信你可以这样避免整个问题:

return (
    pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype={'A': object, 'B': object, 'C': np.float64}
    .rename(columns={'A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime'}, inplace=True)
    .ix[:,[0,3,2,1,4,5,8,9,30,31]]
    .assign(
        TClose=lambda df: df['TPrice'],
        RT=lambda df: 100 * (df['TPrice']/quote_df['TPCLOSE'] - 1),
        TVol=lambda df: df['TVol']/TVOL_SCALE,
        TAmt=lambda df: df['TAmt']/TAMT_SCALE,
        STK_ID=lambda df: df['STK'].str.slice(13,19),
        STK_Name=lambda df: df['STK'].str.slice(21,30)#.decode('gb2312'),
        TDate=lambda df: df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10]),
    )
)

使用分配。来自文档:为DataFrame分配新列，返回一个新对象(副本)，其中包含所有原始列和新列。

参见Tom Augspurger关于熊猫方法链接的文章:《现代熊猫(第二部分):方法链接》

创建SettingWithCopyWarning是为了标记可能令人困惑的“链式”赋值，例如下面的赋值，它并不总是像预期的那样工作，特别是当第一个选择返回一个副本时。[背景讨论见GH5390和GH5597。]

df[df['A'] > 2]['B'] = new_val  # new_val not set in df

该警告提供了重写建议如下:

df.loc[df['A'] > 2, 'B'] = new_val

然而，这并不符合你的用法，这相当于:

df = df[df['A'] > 2]
df['B'] = new_val

虽然很明显，您并不关心写入操作是否使其返回到原始帧(因为您正在覆盖对它的引用)，但不幸的是，此模式无法与第一个链式赋值示例区分开来。因此出现了(假阳性)警告。如果您想进一步阅读，在索引文档中讨论了假阳性的可能性。您可以使用以下赋值安全地禁用此新警告。

import pandas as pd
pd.options.mode.chained_assignment = None  # default='warn'

---

其他资源

pandas用户指南:索引和选择数据 Python数据科学手册:数据索引和选择 真正的Python: SettingWithCopyWarning在Pandas:视图vs副本 Dataquest: SettingwithCopyWarning:如何修复此警告在熊猫 走向数据科学:解释熊猫中copywarning的设置

熊猫数据帧拷贝警告

当你这样做的时候:

quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]

熊猫。在这种情况下，Ix返回一个新的、独立的数据框架。

任何你决定在这个数据框架中改变的值，都不会改变原始数据框架。

这就是熊猫想要警告你的。

---

为什么。ix是个坏主意

.ix对象试图做不止一件事，对于任何读过干净代码的人来说，这是一种强烈的气味。

给定这个数据框架:

df = pd.DataFrame({"a": [1,2,3,4], "b": [1,1,2,2]})

两个行为:

dfcopy = df.ix[:,["a"]]
dfcopy.a.ix[0] = 2

行为一:dfcopy现在是一个独立的数据框架。改变它不会改变df

df.ix[0, "a"] = 3

行为二:这将改变原始的数据框架。

---

请改用.loc

pandas开发人员意识到.ix对象很臭(推测性的)，因此创建了两个新对象来帮助添加和分配数据。(另一个是。iloc)

.loc更快，因为它不尝试创建数据的副本。

.loc的目的是修改现有的数据帧，这是更有效的内存。

.loc是可预测的，它有一个行为。

---

解决方案

您在代码示例中所做的是加载一个包含许多列的大文件，然后将其修改为较小的文件。

pd。Read_csv函数可以帮助您解决这些问题，并使文件的加载速度更快。

所以不这样做

quote_df = pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype={'A': object, 'B': object, 'C': np.float64}
quote_df.rename(columns={'A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime'}, inplace=True)
quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]

这样做

columns = ['STK', 'TPrice', 'TPCLOSE', 'TOpen', 'THigh', 'TLow', 'TVol', 'TAmt', 'TDate', 'TTime']
df = pd.read_csv(StringIO(str_of_all), sep=',', usecols=[0,3,2,1,4,5,8,9,30,31])
df.columns = columns

这将只读取您感兴趣的列，并正确地命名它们。不需要使用邪恶的.ix对象来做神奇的事情。

当我使用.query()方法从一个预先存在的数据框架分配一个新的数据框架时，我已经得到了这个问题。apply()。例如:

prop_df = df.query('column == "value"')
prop_df['new_column'] = prop_df.apply(function, axis=1)

会返回这个错误。在这种情况下，解决错误的修复方法是将其更改为:

prop_df = df.copy(deep=True)
prop_df = prop_df.query('column == "value"')
prop_df['new_column'] = prop_df.apply(function, axis=1)

然而，这并不是有效的，特别是当使用大数据帧时，因为必须创建一个新的副本。

如果你正在使用.apply()方法来生成一个新的列及其值，解决这个错误并且更有效的修复方法是添加.reset_index(drop=True):

prop_df = df.query('column == "value"').reset_index(drop=True)
prop_df['new_column'] = prop_df.apply(function, axis=1)