我有以下索引DataFrame命名列和行不连续的数字:
a b c d
2 0.671399 0.101208 -0.181532 0.241273
3 0.446172 -0.243316 0.051767 1.577318
5 0.614758 0.075793 -0.451460 -0.012493
我想添加一个新列，'e'，到现有的数据帧，并不想改变数据帧中的任何东西(即，新列始终具有与DataFrame相同的长度)。
0 -0.335485
1 -1.166658
2 -0.385571
dtype: float64
如何将列e添加到上面的例子中?
直接通过NumPy这样做将是最有效的:
df1['e'] = np.random.randn(sLength)
注意我最初(非常老)的建议是使用map(这要慢得多):
df1['e'] = df1['a'].map(lambda x: np.random.random())
编辑2017
正如@Alexander在评论中所指出的，目前将Series的值添加为DataFrame的新列的最好方法是使用assign:
df1 = df1.assign(e=pd.Series(np.random.randn(sLength)).values)
编辑2015 有些人报告说用这段代码得到了SettingWithCopyWarning。 但是，该代码仍然可以在当前的pandas版本0.16.1中完美运行。
>>> sLength = len(df1['a'])
>>> df1
a b c d
6 -0.269221 -0.026476 0.997517 1.294385
8 0.917438 0.847941 0.034235 -0.448948
>>> df1['e'] = pd.Series(np.random.randn(sLength), index=df1.index)
>>> df1
a b c d e
6 -0.269221 -0.026476 0.997517 1.294385 1.757167
8 0.917438 0.847941 0.034235 -0.448948 2.228131
>>> pd.version.short_version
'0.16.1'
SettingWithCopyWarning的目的是通知数据帧副本上可能存在的无效赋值。它不一定会说你做错了(它可能会触发假阳性)，但从0.13.0开始，它会让你知道有更多适合相同目的的方法。然后，如果您得到警告，只需遵循它的建议:尝试使用.loc[row_index,col_indexer] = value代替
>>> df1.loc[:,'f'] = pd.Series(np.random.randn(sLength), index=df1.index)
>>> df1
a b c d e f
6 -0.269221 -0.026476 0.997517 1.294385 1.757167 -0.050927
8 0.917438 0.847941 0.034235 -0.448948 2.228131 0.006109
>>>
事实上，这是目前熊猫文档中描述的更有效的方法
最初的回答:
使用原始的df1索引创建系列:
df1['e'] = pd.Series(np.random.randn(sLength), index=df1.index)
但有一点需要注意，如果你这样做了
df1['e'] = Series(np.random.randn(sLength), index=df1.index)
这实际上是df1.index上的左连接。因此，如果您希望具有外部连接效果，我的解决方案可能并不完美，即创建一个包含所有数据的索引值的数据框架，然后使用上面的代码。例如,
data = pd.DataFrame(index=all_possible_values)
df1['e'] = Series(np.random.randn(sLength), index=df1.index)
我得到了可怕的SettingWithCopyWarning，它没有通过使用iloc语法修复。我的DataFrame是由read_sql从ODBC源创建的。根据上面low - tech的建议，以下方法对我来说是有效的:
df.insert(len(df.columns), 'e', pd.Series(np.random.randn(sLength), index=df.index))
This worked fine to insert the column at the end. I don't know if it is the most efficient, but I don't like warning messages. I think there is a better solution, but I can't find it, and I think it depends on some aspect of the index. Note. That this only works once and will give an error message if trying to overwrite and existing column. Note As above and from 0.16.0 assign is the best solution. See documentation http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.assign.html#pandas.DataFrame.assign Works well for data flow type where you don't overwrite your intermediate values.
在分配新列之前，如果已经索引了数据，则需要对索引进行排序。至少在我的情况下，我必须:
data.set_index(['index_column'], inplace=True)
"if index is unsorted, assignment of a new column will fail"
data.sort_index(inplace = True)
data.loc['index_value1', 'column_y'] = np.random.randn(data.loc['index_value1', 'column_x'].shape[0])
以下是我所做的…但我对熊猫和Python都很陌生，所以不能保证。
df = pd.DataFrame([[1, 2], [3, 4], [5,6]], columns=list('AB'))
newCol = [3,5,7]
newName = 'C'
values = np.insert(df.values,df.shape[1],newCol,axis=1)
header = df.columns.values.tolist()
header.append(newName)
df = pd.DataFrame(values,columns=header)
让我补充一下，就像hum3一样，.loc没有解决SettingWithCopyWarning，我不得不求助于df.insert()。在我的例子中，假阳性是由“假”链索引dict['a']['e']生成的，其中'e'是新列，dict['a']是来自字典的数据框架。
还请注意，如果您知道自己在做什么，您可以使用切换警告 pd.options.mode。chained_assignment =无 然后用这里给出的另一个解。
我想添加一个新的列，'e'，到现有的数据帧，不改变数据帧中的任何东西。(序列总是与数据帧的长度相同。)
我假设e中的下标值与df1中的下标值匹配。
初始化一个名为e的新列，并将级数e中的值赋给它的最简单方法:
df['e'] = e.values
分配(熊猫0.16.0+)
从Pandas 0.16.0开始，你还可以使用assign，它将新列分配给DataFrame，并返回一个新对象(副本)，其中包含所有原始列和新列。
df1 = df1.assign(e=e.values)
根据这个例子(也包括assign函数的源代码)，你也可以包含多个列:
df = pd.DataFrame({'a': [1, 2], 'b': [3, 4]})
>>> df.assign(mean_a=df.a.mean(), mean_b=df.b.mean())
a b mean_a mean_b
0 1 3 1.5 3.5
1 2 4 1.5 3.5
在你的例子中:
np.random.seed(0)
df1 = pd.DataFrame(np.random.randn(10, 4), columns=['a', 'b', 'c', 'd'])
mask = df1.applymap(lambda x: x <-0.7)
df1 = df1[-mask.any(axis=1)]
sLength = len(df1['a'])
e = pd.Series(np.random.randn(sLength))
>>> df1
a b c d
0 1.764052 0.400157 0.978738 2.240893
2 -0.103219 0.410599 0.144044 1.454274
3 0.761038 0.121675 0.443863 0.333674
7 1.532779 1.469359 0.154947 0.378163
9 1.230291 1.202380 -0.387327 -0.302303
>>> e
0 -1.048553
1 -1.420018
2 -1.706270
3 1.950775
4 -0.509652
dtype: float64
df1 = df1.assign(e=e.values)
>>> df1
a b c d e
0 1.764052 0.400157 0.978738 2.240893 -1.048553
2 -0.103219 0.410599 0.144044 1.454274 -1.420018
3 0.761038 0.121675 0.443863 0.333674 -1.706270
7 1.532779 1.469359 0.154947 0.378163 1.950775
9 1.230291 1.202380 -0.387327 -0.302303 -0.509652
这个新特性首次引入时的描述可以在这里找到。
如果你得到SettingWithCopyWarning，一个简单的解决方法是复制你想要添加列的数据帧。
df = df.copy()
df['col_name'] = values
在最近的Pandas版本中，似乎应该使用df.assign:
df1 = df1.assign(e=np.random)
它不会产生SettingWithCopyWarning。
我正在寻找一种添加numpy列的通用方法。nans到一个数据帧而不得到愚蠢的SettingWithCopyWarning。
从以下方面:
答案在这里 关于将变量作为关键字参数传递的问题 此方法用于生成一个numpy数组的NaNs
我想到了这个:
col = 'column_name'
df = df.assign(**{col:numpy.full(len(df), numpy.nan)})
为了完整起见-使用DataFrame.eval()方法的另一个解决方案:
数据:
In [44]: e
Out[44]:
0 1.225506
1 -1.033944
2 -0.498953
3 -0.373332
4 0.615030
5 -0.622436
dtype: float64
In [45]: df1
Out[45]:
a b c d
0 -0.634222 -0.103264 0.745069 0.801288
4 0.782387 -0.090279 0.757662 -0.602408
5 -0.117456 2.124496 1.057301 0.765466
7 0.767532 0.104304 -0.586850 1.051297
8 -0.103272 0.958334 1.163092 1.182315
9 -0.616254 0.296678 -0.112027 0.679112
解决方案:
In [46]: df1.eval("e = @e.values", inplace=True)
In [47]: df1
Out[47]:
a b c d e
0 -0.634222 -0.103264 0.745069 0.801288 1.225506
4 0.782387 -0.090279 0.757662 -0.602408 -1.033944
5 -0.117456 2.124496 1.057301 0.765466 -0.498953
7 0.767532 0.104304 -0.586850 1.051297 -0.373332
8 -0.103272 0.958334 1.163092 1.182315 0.615030
9 -0.616254 0.296678 -0.112027 0.679112 -0.622436
超级简单的列赋值
pandas数据框架实现为有序的列字典。
这意味着__getitem__[]不仅可以用来获取某个列，而且__setitem__[] =可以用来分配一个新列。
例如，这个数据帧可以通过简单地使用[]访问器添加一个列
size name color
0 big rose red
1 small violet blue
2 small tulip red
3 small harebell blue
df['protected'] = ['no', 'no', 'no', 'yes']
size name color protected
0 big rose red no
1 small violet blue no
2 small tulip red no
3 small harebell blue yes
请注意，即使数据帧的索引是关闭的，这也是有效的。
df.index = [3,2,1,0]
df['protected'] = ['no', 'no', 'no', 'yes']
size name color protected
3 big rose red no
2 small violet blue no
1 small tulip red no
0 small harebell blue yes
[]=是正确的选择，但要小心!
但是，如果你有pd。如果您试图将其分配给一个索引关闭的数据框架，那么您将遇到麻烦。看到的例子:
df['protected'] = pd.Series(['no', 'no', 'no', 'yes'])
size name color protected
3 big rose red yes
2 small violet blue no
1 small tulip red no
0 small harebell blue no
这是因为pd。默认情况下，系列具有从0到n的枚举索引。pandas[] =方法试图“聪明”
到底发生了什么。
当您使用[]=方法时，pandas使用左手数据框架的索引和右手系列的索引悄悄执行外部连接或外部合并。Df ['column'] =级数
边注
这很快就会导致认知失调，因为[]=方法试图根据输入做很多不同的事情，除非您只知道pandas是如何工作的，否则无法预测结果。因此，我建议不要在代码库中使用[]=，但在笔记本中查看数据时，使用[]=是可以的。
绕过问题
如果你有警察。系列，并希望它从上到下分配，或者如果您正在编码生产代码，而您不确定索引顺序，那么值得为这种问题进行保护。
你可以让警察失望。级数到np。Ndarray或一个列表，这将达到目的。
df['protected'] = pd.Series(['no', 'no', 'no', 'yes']).values
or
df['protected'] = list(pd.Series(['no', 'no', 'no', 'yes']))
但这并不是很明确。
有些程序员可能会说:“嘿，这看起来有点多余，我就把它优化掉吧。”
明确的方法
设置pd的索引。作为df下标的级数是明确的。
df['protected'] = pd.Series(['no', 'no', 'no', 'yes'], index=df.index)
或者更现实一点，你可能有个警察。系列已经可用。
protected_series = pd.Series(['no', 'no', 'no', 'yes'])
protected_series.index = df.index
3 no
2 no
1 no
0 yes
现在可以分配
df['protected'] = protected_series
size name color protected
3 big rose red no
2 small violet blue no
1 small tulip red no
0 small harebell blue yes
df.reset_index()的替代方法
由于索引不协调是问题所在，如果你觉得数据框架的索引不应该决定事情，你可以简单地放弃索引，这应该更快，但它不是很干净，因为你的函数现在可能做两件事。
df.reset_index(drop=True)
protected_series.reset_index(drop=True)
df['protected'] = protected_series
size name color protected
0 big rose red no
1 small violet blue no
2 small tulip red no
3 small harebell blue yes
注意df.assign
而df。赋值让它更明确你在做什么，它实际上有和上面[]=相同的问题
df.assign(protected=pd.Series(['no', 'no', 'no', 'yes']))
size name color protected
3 big rose red yes
2 small violet blue no
1 small tulip red no
0 small harebell blue no
只是要小心df。指定你的列不叫self。这会导致错误。这就得到df。Assign smell，因为函数中存在这类工件。
df.assign(self=pd.Series(['no', 'no', 'no', 'yes'])
TypeError: assign() got multiple values for keyword argument 'self'
你可能会说，那我就不用self了。但是谁知道这个函数将来会如何改变来支持新的论点呢。也许您的列名将在pandas的新更新中成为一个参数，从而导致升级出现问题。
如果数据帧和Series对象具有相同的索引，则为pandas。Concat也在这里工作:
import pandas as pd
df
# a b c d
#0 0.671399 0.101208 -0.181532 0.241273
#1 0.446172 -0.243316 0.051767 1.577318
#2 0.614758 0.075793 -0.451460 -0.012493
e = pd.Series([-0.335485, -1.166658, -0.385571])
e
#0 -0.335485
#1 -1.166658
#2 -0.385571
#dtype: float64
# here we need to give the series object a name which converts to the new column name
# in the result
df = pd.concat([df, e.rename("e")], axis=1)
df
# a b c d e
#0 0.671399 0.101208 -0.181532 0.241273 -0.335485
#1 0.446172 -0.243316 0.051767 1.577318 -1.166658
#2 0.614758 0.075793 -0.451460 -0.012493 -0.385571
以防它们没有相同的索引:
e.index = df.index
df = pd.concat([df, e.rename("e")], axis=1)
简单明了的:
df.loc[:, 'NewCol'] = 'New_Val'
例子:
df = pd.DataFrame(data=np.random.randn(20, 4), columns=['A', 'B', 'C', 'D'])
df
A B C D
0 -0.761269 0.477348 1.170614 0.752714
1 1.217250 -0.930860 -0.769324 -0.408642
2 -0.619679 -1.227659 -0.259135 1.700294
3 -0.147354 0.778707 0.479145 2.284143
4 -0.529529 0.000571 0.913779 1.395894
5 2.592400 0.637253 1.441096 -0.631468
6 0.757178 0.240012 -0.553820 1.177202
7 -0.986128 -1.313843 0.788589 -0.707836
8 0.606985 -2.232903 -1.358107 -2.855494
9 -0.692013 0.671866 1.179466 -1.180351
10 -1.093707 -0.530600 0.182926 -1.296494
11 -0.143273 -0.503199 -1.328728 0.610552
12 -0.923110 -1.365890 -1.366202 -1.185999
13 -2.026832 0.273593 -0.440426 -0.627423
14 -0.054503 -0.788866 -0.228088 -0.404783
15 0.955298 -1.430019 1.434071 -0.088215
16 -0.227946 0.047462 0.373573 -0.111675
17 1.627912 0.043611 1.743403 -0.012714
18 0.693458 0.144327 0.329500 -0.655045
19 0.104425 0.037412 0.450598 -0.923387
df.drop([3, 5, 8, 10, 18], inplace=True)
df
A B C D
0 -0.761269 0.477348 1.170614 0.752714
1 1.217250 -0.930860 -0.769324 -0.408642
2 -0.619679 -1.227659 -0.259135 1.700294
4 -0.529529 0.000571 0.913779 1.395894
6 0.757178 0.240012 -0.553820 1.177202
7 -0.986128 -1.313843 0.788589 -0.707836
9 -0.692013 0.671866 1.179466 -1.180351
11 -0.143273 -0.503199 -1.328728 0.610552
12 -0.923110 -1.365890 -1.366202 -1.185999
13 -2.026832 0.273593 -0.440426 -0.627423
14 -0.054503 -0.788866 -0.228088 -0.404783
15 0.955298 -1.430019 1.434071 -0.088215
16 -0.227946 0.047462 0.373573 -0.111675
17 1.627912 0.043611 1.743403 -0.012714
19 0.104425 0.037412 0.450598 -0.923387
df.loc[:, 'NewCol'] = 0
df
A B C D NewCol
0 -0.761269 0.477348 1.170614 0.752714 0
1 1.217250 -0.930860 -0.769324 -0.408642 0
2 -0.619679 -1.227659 -0.259135 1.700294 0
4 -0.529529 0.000571 0.913779 1.395894 0
6 0.757178 0.240012 -0.553820 1.177202 0
7 -0.986128 -1.313843 0.788589 -0.707836 0
9 -0.692013 0.671866 1.179466 -1.180351 0
11 -0.143273 -0.503199 -1.328728 0.610552 0
12 -0.923110 -1.365890 -1.366202 -1.185999 0
13 -2.026832 0.273593 -0.440426 -0.627423 0
14 -0.054503 -0.788866 -0.228088 -0.404783 0
15 0.955298 -1.430019 1.434071 -0.088215 0
16 -0.227946 0.047462 0.373573 -0.111675 0
17 1.627912 0.043611 1.743403 -0.012714 0
19 0.104425 0.037412 0.450598 -0.923387 0
如果你想将整个新列设置为一个初始值(例如None)，你可以这样做:df1['e'] = None
这实际上会给单元格分配object类型。因此，稍后您可以自由地将复杂的数据类型(如列表)放入单个单元格中。
如果你要添加的列是一个序列变量，那么只需:
df["new_columns_name"]=series_variable_name #this will do it for you
即使要替换现有列，这种方法也很有效。只需输入与要替换的列相同的new_columns_name。它只会用新的系列数据覆盖现有的列数据。
最简单的方法:
data['new_col'] = list_of_values
data.loc[ : , 'new_col'] = list_of_values
这样在pandas对象中设置新值时就避免了所谓的链式索引。点击这里进一步阅读。
要在数据帧的给定位置(0 <= loc <=列的数量)插入一个新列，只需使用datafframe .insert:
DataFrame.insert(loc, column, value)
因此，如果你想在一个名为df的数据帧的末尾添加列e，你可以使用:
e = [-0.335485, -1.166658, -0.385571]
DataFrame.insert(loc=len(df.columns), column='e', value=e)
value可以是一个Series，一个整数(在这种情况下，所有单元格都被这个值填充)，或者一个类似数组的结构
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.insert.html
这是向pandas数据框架添加新列的特殊情况。在这里，我基于数据框架的现有列数据添加了一个新特性/列。
因此，让我们的dataFrame有列'feature_1'， 'feature_2'， 'probability_score'，我们必须根据'probability_score'列中的数据添加一个new_column 'predicted_class'。
我将使用来自python的map()函数，并定义一个我自己的函数，该函数将实现如何给dataFrame中的每一行一个特定的class_label的逻辑。
data = pd.read_csv('data.csv')
def myFunction(x):
//implement your logic here
if so and so:
return a
return b
variable_1 = data['probability_score']
predicted_class = variable_1.map(myFunction)
data['predicted_class'] = predicted_class
// check dataFrame, new column is included based on an existing column data for each row
data.head()
x=pd.DataFrame([1,2,3,4,5])
y=pd.DataFrame([5,4,3,2,1])
z=pd.concat([x,y],axis=1)
如果我们想给df中一个新列的所有行赋一个标量值，例如:10:
df = df.assign(new_col=lambda x:10) # x is each row passed in to the lambda func
Df现在在所有行中都有值为10的新列'new_col'。
当您将Series对象作为新列添加到现有DF时，您需要确保它们都具有相同的索引。 然后添加到DF中
e_series = pd.Series([-0.335485, -1.166658,-0.385571])
print(e_series)
e_series.index = d_f.index
d_f['e'] = e_series
d_f
你可以像这样通过for循环插入新列:
for label,row in your_dframe.iterrows():
your_dframe.loc[label,"new_column_length"]=len(row["any_of_column_in_your_dframe"])
示例代码如下:
import pandas as pd
data = {
"any_of_column_in_your_dframe" : ["ersingulbahar","yagiz","TS"],
"calories": [420, 380, 390],
"duration": [50, 40, 45]
}
#load data into a DataFrame object:
your_dframe = pd.DataFrame(data)
for label,row in your_dframe.iterrows():
your_dframe.loc[label,"new_column_length"]=len(row["any_of_column_in_your_dframe"])
print(your_dframe)
输出如下:
| any_of_column_in_your_dframe | calories | duration | new_column_length |
|---|---|---|---|
| ersingulbahar | 420 | 50 | 13.0 |
| yagiz | 380 | 40 | 5.0 |
| TS | 390 | 45 | 2.0 |
你也可以这样用:
your_dframe["new_column_length"]=your_dframe["any_of_column_in_your_dframe"].apply(len)
向现有数据框架添加新列的简单方法是:
new_cols = ['a' , 'b' , 'c' , 'd']
for col in new_cols:
df[f'{col}'] = 0 #assiging 0 for the placeholder
print(df.columns)
import pandas as pd
# Define a dictionary containing data
data = {'a': [0,0,0.671399,0.446172,0,0.614758],
'b': [0,0,0.101208,-0.243316,0,0.075793],
'c': [0,0,-0.181532,0.051767,0,-0.451460],
'd': [0,0,0.241273,1.577318,0,-0.012493]}
# Convert the dictionary into DataFrame
df = pd.DataFrame(data)
# Declare a list that is to be converted into a column
col_e = [-0.335485,-1.166658,-0.385571,0,0,0]
df['e'] = col_e
# add column 'e'
df['e'] = col_e
# Observe the result
df
向pandas数据框架插入新列的4种方法
using simple assignment, insert(), assign() and Concat() methods.
import pandas as pd
df = pd.DataFrame({
'col_a':[True, False, False],
'col_b': [1, 2, 3],
})
print(df)
col_a col_b
0 True 1
1 False 2
2 False 3
使用简单赋值
ser = pd.Series(['a', 'b', 'c'], index=[0, 1, 2])
print(ser)
0 a
1 b
2 c
dtype: object
df['col_c'] = pd.Series(['a', 'b', 'c'], index=[1, 2, 3])
print(df)
col_a col_b col_c
0 True 1 NaN
1 False 2 a
2 False 3 b
使用分配()
e = pd.Series([1.0, 3.0, 2.0], index=[0, 2, 1])
ser = pd.Series(['a', 'b', 'c'], index=[0, 1, 2])
df.assign(colC=s.values, colB=e.values)
col_a col_b col_c
0 True 1.0 a
1 False 3.0 b
2 False 2.0 c
使用insert ()
df.insert(len(df.columns), 'col_c', ser.values)
print(df)
col_a col_b col_c
0 True 1 a
1 False 2 b
2 False 3 c
使用concat ()
ser = pd.Series(['a', 'b', 'c'], index=[10, 20, 30])
df = pd.concat([df, ser.rename('colC')], axis=1)
print(df)
col_a col_b col_c
0 True 1.0 NaN
1 False 2.0 NaN
2 False 3.0 NaN
10 NaN NaN a
20 NaN NaN b
30 NaN NaN c
