如何删除重复索引值的行?

在下面的天气数据框架中,有时科学家会回过头来纠正观测结果——不是通过编辑错误的行,而是通过在文件末尾追加重复的行。

我正在从网上阅读一些自动的天气数据(观测每5分钟发生一次,并编译成每个气象站的月度文件)。解析完一个文件后,DataFrame看起来像这样:

                      Sta  Precip1hr  Precip5min  Temp  DewPnt  WindSpd  WindDir  AtmPress
Date                                                                                      
2001-01-01 00:00:00  KPDX          0           0     4       3        0        0     30.31
2001-01-01 00:05:00  KPDX          0           0     4       3        0        0     30.30
2001-01-01 00:10:00  KPDX          0           0     4       3        4       80     30.30
2001-01-01 00:15:00  KPDX          0           0     3       2        5       90     30.30
2001-01-01 00:20:00  KPDX          0           0     3       2       10      110     30.28

重复的例子:

import pandas 
import datetime

startdate = datetime.datetime(2001, 1, 1, 0, 0)
enddate = datetime.datetime(2001, 1, 1, 5, 0)
index = pandas.DatetimeIndex(start=startdate, end=enddate, freq='H')
data1 = {'A' : range(6), 'B' : range(6)}
data2 = {'A' : [20, -30, 40], 'B' : [-50, 60, -70]}
df1 = pandas.DataFrame(data=data1, index=index)
df2 = pandas.DataFrame(data=data2, index=index[:3])
df3 = df2.append(df1)

df3
                       A   B
2001-01-01 00:00:00   20 -50
2001-01-01 01:00:00  -30  60
2001-01-01 02:00:00   40 -70
2001-01-01 03:00:00    3   3
2001-01-01 04:00:00    4   4
2001-01-01 05:00:00    5   5
2001-01-01 00:00:00    0   0
2001-01-01 01:00:00    1   1
2001-01-01 02:00:00    2   2

所以我需要df3最终变成:

                       A   B
2001-01-01 00:00:00    0   0
2001-01-01 01:00:00    1   1
2001-01-01 02:00:00    2   2
2001-01-01 03:00:00    3   3
2001-01-01 04:00:00    4   4
2001-01-01 05:00:00    5   5

我认为,添加一列行号(df3['rownum'] =范围(df3.shape[0]))将帮助我选择DatetimeIndex的任何值的最底部行,但我被困在计算group_by或枢轴(或??)语句使其工作。


当前回答

这将把索引添加为DataFrame列,删除重复项,然后删除新列:

df = (df.reset_index()
        .drop_duplicates(subset='index', keep='last')
        .set_index('index').sort_index())

注意,在末尾使用.sort_index()是必要的,是可选的。

其他回答

不幸的是,我不认为熊猫允许一个下降的指数。我建议如下:

df3 = df3.reset_index() # makes date column part of your data
df3.columns = ['timestamp','A','B','rownum'] # set names
df3 = df3.drop_duplicates('timestamp',take_last=True).set_index('timestamp') #done!

我建议对熊猫指数本身使用重复的方法:

df3 = df3[~df3.index.duplicated(keep='first')]

虽然所有其他方法都可以工作,但.drop_duplicate是目前为止提供的示例中性能最差的。此外,虽然groupby方法的性能略差,但我发现复制的方法可读性更好。

使用提供的示例数据:

>>> %timeit df3.reset_index().drop_duplicates(subset='index', keep='first').set_index('index')
1000 loops, best of 3: 1.54 ms per loop

>>> %timeit df3.groupby(df3.index).first()
1000 loops, best of 3: 580 µs per loop

>>> %timeit df3[~df3.index.duplicated(keep='first')]
1000 loops, best of 3: 307 µs per loop

注意,可以通过将keep参数更改为'last'来保留最后一个元素。

还应该注意的是,这个方法也适用于MultiIndex(使用Paul的例子中指定的df1):

>>> %timeit df1.groupby(level=df1.index.names).last()
1000 loops, best of 3: 771 µs per loop

>>> %timeit df1[~df1.index.duplicated(keep='last')]
1000 loops, best of 3: 365 µs per loop

如果有人像我一样喜欢使用熊猫点符号(比如管道)进行可链数据操作,那么下面的代码可能会有用:

df3 = df3.query('~index.duplicated()')

这使得链接语句像这样:

df3.assign(C=2).query('~index.duplicated()').mean()

这将把索引添加为DataFrame列,删除重复项,然后删除新列:

df = (df.reset_index()
        .drop_duplicates(subset='index', keep='last')
        .set_index('index').sort_index())

注意,在末尾使用.sort_index()是必要的,是可选的。

删除重复的(保留优先)

idx = np.unique( df.index.values, return_index = True )[1]
df = df.iloc[idx]

删除重复文件(保留最后)

df = df[::-1]
df = df.iloc[ np.unique( df.index.values, return_index = True )[1] ]

测试:使用OP的数据进行10k循环

numpy method - 3.03 seconds
df.loc[~df.index.duplicated(keep='first')] - 4.43 seconds
df.groupby(df.index).first() - 21 seconds
reset_index() method - 29 seconds