@kalu的回答更新了一下，用了最新的熊猫:

def find_duplicated_columns(df):
    dupes = []

    columns = df.columns

    for i in range(len(columns)):
        col1 = df.iloc[:, i]
        for j in range(i + 1, len(columns)):
            col2 = df.iloc[:, j]
            # break early if dtypes aren't the same (helps deal with
            # categorical dtypes)
            if col1.dtype is not col2.dtype:
                break
            # otherwise compare values
            if col1.equals(col2):
                dupes.append(columns[i])
                break

    return dupes

虽然@Gene Burinsky的回答很好，但它有一个潜在的问题，重新分配的df可能是原始df的副本或视图。 这意味着后续的赋值如df['newcol'] = 1会生成SettingWithCopy警告，可能会失败(https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#why-does-assignment-fail-when-using-chained-indexing)。以下解决方案可以防止该问题:

duplicate_cols = df.columns[df.columns.duplicated()]
df.drop(columns=duplicate_cols, inplace=True)

快速和简单的方法删除复制列的值:

df = df.T.drop_duplicates().T

更多信息:Pandas DataFrame drop_duplicate manual。

下面是一个基于重复列名删除列的单行解决方案:

df = df.loc[:,~df.columns.duplicated()].copy()

工作原理:

假设数据帧的列是['alpha'，'beta'，'alpha']

df.columns. replicated()返回一个布尔数组:每一列为True或False。如果它为False，则列名在此之前是唯一的，如果它为True，则列名在之前被复制。例如，使用给定的示例，返回值将是[False,False,True]。

Pandas允许使用布尔值进行索引，因此它只选择True值。因为我们想要保留未复制的列，我们需要翻转上面的布尔数组(即[True, True, False] = ~[False,False,True])

最后,df。loc[:，[True,True,False]]使用前面提到的索引功能只选择非重复的列。

最后的.copy()用于复制数据帧，以(主要)避免在稍后尝试修改现有数据帧时出错。

注意:上面只检查列的名称，而不是列的值。

删除重复索引

因为它足够相似，所以在索引上做同样的事情:

df = df.loc[~df.index.duplicated(),:].copy()

通过检查值而不换位来删除重复项

更新和警告:请小心应用此。根据评论中dr . what提供的反例，这种解决方案可能在所有情况下都没有理想的结果。

df = df.loc[:,~df.apply(lambda x: x.duplicated(),axis=1).all()].copy()

这避免了转位的问题。它快吗?不。这有用吗?是的。来，试试这个:

# create a large(ish) dataframe
ldf = pd.DataFrame(np.random.randint(0,100,size= (736334,1312))) 


#to see size in gigs
#ldf.memory_usage().sum()/1e9 #it's about 3 gigs

# duplicate a column
ldf.loc[:,'dup'] = ldf.loc[:,101]

# take out duplicated columns by values
ldf = ldf.loc[:,~ldf.apply(lambda x: x.duplicated(),axis=1).all()].copy()

下面的方法将识别dupe列，以检查最初构建数据框架时出错的地方。

dupes = pd.DataFrame(df.columns)
dupes[dupes.duplicated()]

请注意，Gene Burinsky的答案(在编写所选答案时)保留了每个重复列的第一列。保留最后一个:

df=df.loc[:, ~df.columns[::-1].duplicated()[::-1]]