我已经创建了一个熊猫数据框架
df = DataFrame(index=['A','B','C'], columns=['x','y'])
得到了这个
x y
A NaN NaN
B NaN NaN
C NaN NaN
现在，我想给特定的单元格赋值，例如给C行和x列赋值。 我希望得到这样的结果:
x y
A NaN NaN
B NaN NaN
C 10 NaN
下面的代码:
df.xs('C')['x'] = 10
但是df的内容没有改变。数据帧仍然只包含nan。
有什么建议吗?
当前回答
如果你不想改变整行的值，而只是改变一些列的值:
x = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]})
x.iloc[1] = dict(A=10, B=-10)
其他回答
RukTech的答案是df。set_value('C'， 'x'， 10)比我下面建议的选项快得多。然而，它已被弃用。
接下来，推荐的方法是.iat/.at。
为什么df.xs('C')['x']=10无效:
df.xs('C')在默认情况下返回一个新的数据框架，其中包含数据的副本，因此
df.xs('C')['x']=10
只修改这个新的数据帧。
Df ['x']返回Df数据框架的视图，因此
df['x']['C'] = 10
修改df本身。
警告:有时很难预测一个操作返回的是一个副本还是一个视图。出于这个原因，文档建议避免使用“链式索引”进行赋值。
所以建议的替代方案是
df.at['C', 'x'] = 10
它改变了df。
In [18]: %timeit df.set_value('C', 'x', 10)
100000 loops, best of 3: 2.9 µs per loop
In [20]: %timeit df['x']['C'] = 10
100000 loops, best of 3: 6.31 µs per loop
In [81]: %timeit df.at['C', 'x'] = 10
100000 loops, best of 3: 9.2 µs per loop
建议的设置方法(根据维护人员)为:
df.ix['x','C']=10
使用“链式索引”(df['x']['C'])可能会导致问题。
See:
https://stackoverflow.com/a/21287235/1579844 http://pandas.pydata.org/pandas-docs/dev/indexing.html#indexing-view-versus-copy https://github.com/pydata/pandas/pull/6031
我建议:
df.loc[index_position, "column_name"] = some_value
同时修改多个单元格:
df。loc[start_idx_pos: End_idx_pos， "column_name"] = some_value . loc[start_idx_pos: End_idx_pos， "column_name"] = some_value
使用index with condition的一种方法是首先获取满足条件的所有行的索引，然后简单地以多种方式使用这些行索引
conditional_index = df.loc[ df['col name'] <condition> ].index
示例条件如下
==5, >10 , =="Any string", >= DateTime
然后您可以以各种方式使用这些行索引，例如
替换conditional_index的一列值
df.loc[conditional_index , [col name]]= <new value>
替换conditional_index的多列值
df.loc[conditional_index, [col1,col2]]= <new value>
保存conditional_index的一个好处是，您可以将一个列的值分配给具有相同行索引的另一个列
df.loc[conditional_index, [col1,col2]]= df.loc[conditional_index,'col name']
这一切都是可能的，因为.index返回一个索引数组，.loc可以直接寻址，这样就避免了一次又一次的遍历。
除了上面的答案之外，这里还有一个基准测试，比较了向已有的数据框架添加数据行的不同方法。它表明使用at或set-value对于大数据帧是最有效的方法(至少对于这些测试条件)。
为每一行创建新的数据框架，然后… ．.． 追加它(13.0 s) ．.． 串联它(13.1秒) 首先将所有新行存储在另一个容器中，转换为新数据帧一次，然后追加… 容器=列表的列表(2.0 s) 容器=列表字典(1.9 s) 预分配整个数据框架，遍历新行和所有列，并使用填充 ．.． (0.6秒) ．.． Set_value (0.4 s)
在测试中，使用了包含100,000行和1,000列的现有数据框架和随机numpy值。在这个数据框架中，添加了100个新行。
代码见下文:
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Wed Nov 21 16:38:46 2018
@author: gebbissimo
"""
import pandas as pd
import numpy as np
import time
NUM_ROWS = 100000
NUM_COLS = 1000
data = np.random.rand(NUM_ROWS,NUM_COLS)
df = pd.DataFrame(data)
NUM_ROWS_NEW = 100
data_tot = np.random.rand(NUM_ROWS + NUM_ROWS_NEW,NUM_COLS)
df_tot = pd.DataFrame(data_tot)
DATA_NEW = np.random.rand(1,NUM_COLS)
#%% FUNCTIONS
# create and append
def create_and_append(df):
for i in range(NUM_ROWS_NEW):
df_new = pd.DataFrame(DATA_NEW)
df = df.append(df_new)
return df
# create and concatenate
def create_and_concat(df):
for i in range(NUM_ROWS_NEW):
df_new = pd.DataFrame(DATA_NEW)
df = pd.concat((df, df_new))
return df
# store as dict and
def store_as_list(df):
lst = [[] for i in range(NUM_ROWS_NEW)]
for i in range(NUM_ROWS_NEW):
for j in range(NUM_COLS):
lst[i].append(DATA_NEW[0,j])
df_new = pd.DataFrame(lst)
df_tot = df.append(df_new)
return df_tot
# store as dict and
def store_as_dict(df):
dct = {}
for j in range(NUM_COLS):
dct[j] = []
for i in range(NUM_ROWS_NEW):
dct[j].append(DATA_NEW[0,j])
df_new = pd.DataFrame(dct)
df_tot = df.append(df_new)
return df_tot
# preallocate and fill using .at
def fill_using_at(df):
for i in range(NUM_ROWS_NEW):
for j in range(NUM_COLS):
#print("i,j={},{}".format(i,j))
df.at[NUM_ROWS+i,j] = DATA_NEW[0,j]
return df
# preallocate and fill using .at
def fill_using_set(df):
for i in range(NUM_ROWS_NEW):
for j in range(NUM_COLS):
#print("i,j={},{}".format(i,j))
df.set_value(NUM_ROWS+i,j,DATA_NEW[0,j])
return df
#%% TESTS
t0 = time.time()
create_and_append(df)
t1 = time.time()
print('Needed {} seconds'.format(t1-t0))
t0 = time.time()
create_and_concat(df)
t1 = time.time()
print('Needed {} seconds'.format(t1-t0))
t0 = time.time()
store_as_list(df)
t1 = time.time()
print('Needed {} seconds'.format(t1-t0))
t0 = time.time()
store_as_dict(df)
t1 = time.time()
print('Needed {} seconds'.format(t1-t0))
t0 = time.time()
fill_using_at(df_tot)
t1 = time.time()
print('Needed {} seconds'.format(t1-t0))
t0 = time.time()
fill_using_set(df_tot)
t1 = time.time()
print('Needed {} seconds'.format(t1-t0))
