最简单的解决方案:

删除基于一列的重复项:

df = df.drop_duplicates('column_name', keep='last')

删除基于多个列的重复数据。

df = df.drop_duplicates(['col_name1','col_name2','col_name3'], keep='last')

我不会给你完整的答案(我不认为你在寻找解析和写入文件的部分)，但一个关键的提示应该足够了:使用python的set()函数，然后sorted()或.sort()加上.reverse():

>>> a=sorted(set([10,60,30,10,50,20,60,50,60,10,30]))
>>> a
[10, 20, 30, 50, 60]
>>> a.reverse()
>>> a
[60, 50, 30, 20, 10]

我将首先对数据帧进行排序，列B降序，然后删除列A的重复项并保持优先

df = df.sort_values(by='B', ascending=False)
df = df.drop_duplicates(subset='A', keep="first")

没有任何分组

这是最后一个。但不是最大值:

In [10]: df.drop_duplicates(subset='A', keep="last")
Out[10]: 
   A   B
1  1  20
3  2  40
4  3  10

你还可以这样做:

In [12]: df.groupby('A', group_keys=False).apply(lambda x: x.loc[x.B.idxmax()])
Out[12]: 
   A   B
A       
1  1  20
2  2  40
3  3  10

试试这个:

df.groupby(['A']).max()

我是通过一个重复问题的链接来到这里的。

对于只有两列，这样做不是更简单吗:

df.groupby('A')['B'].max().reset_index()

并且要保留一整行(当有更多列时，这就是把我带到这里的“重复问题”所问的问题):

df.loc[df.groupby(...)[column].idxmax()]

例如，为了保留'C'取最大值的整行，对于每一组['A'， 'B']，我们会这样做:

out = df.loc[df.groupby(['A', 'B')['C'].idxmax()]

当有相对较少的组(即，大量的重复)时，这比drop_duplicate()解决方案(更少的排序)更快:

设置:

n = 1_000_000
df = pd.DataFrame({
    'A': np.random.randint(0, 20, n),
    'B': np.random.randint(0, 20, n),
    'C': np.random.uniform(size=n),
    'D': np.random.choice(list('abcdefghijklmnopqrstuvwxyz'), size=n),
})

(增加sort_index()以确保相等的解):

%timeit df.loc[df.groupby(['A', 'B'])['C'].idxmax()].sort_index()
# 101 ms ± 98.7 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

%timeit df.sort_values(['C', 'A', 'B'], ascending=False).drop_duplicates(['A', 'B']).sort_index()
# 667 ms ± 784 µs per loop (mean ± std. dev. of 7 runs, 1 loop each)