下面是一个基于重复列名删除列的单行解决方案:

df = df.loc[:,~df.columns.duplicated()].copy()

工作原理:

假设数据帧的列是['alpha'，'beta'，'alpha']

df.columns. replicated()返回一个布尔数组:每一列为True或False。如果它为False，则列名在此之前是唯一的，如果它为True，则列名在之前被复制。例如，使用给定的示例，返回值将是[False,False,True]。

Pandas允许使用布尔值进行索引，因此它只选择True值。因为我们想要保留未复制的列，我们需要翻转上面的布尔数组(即[True, True, False] = ~[False,False,True])

最后,df。loc[:，[True,True,False]]使用前面提到的索引功能只选择非重复的列。

最后的.copy()用于复制数据帧，以(主要)避免在稍后尝试修改现有数据帧时出错。

注意:上面只检查列的名称，而不是列的值。

删除重复索引

因为它足够相似，所以在索引上做同样的事情:

df = df.loc[~df.index.duplicated(),:].copy()

通过检查值而不换位来删除重复项

更新和警告:请小心应用此。根据评论中dr . what提供的反例，这种解决方案可能在所有情况下都没有理想的结果。

df = df.loc[:,~df.apply(lambda x: x.duplicated(),axis=1).all()].copy()

这避免了转位的问题。它快吗?不。这有用吗?是的。来，试试这个:

# create a large(ish) dataframe
ldf = pd.DataFrame(np.random.randint(0,100,size= (736334,1312))) 


#to see size in gigs
#ldf.memory_usage().sum()/1e9 #it's about 3 gigs

# duplicate a column
ldf.loc[:,'dup'] = ldf.loc[:,101]

# take out duplicated columns by values
ldf = ldf.loc[:,~ldf.apply(lambda x: x.duplicated(),axis=1).all()].copy()

虽然@Gene Burinsky的回答很好，但它有一个潜在的问题，重新分配的df可能是原始df的副本或视图。 这意味着后续的赋值如df['newcol'] = 1会生成SettingWithCopy警告，可能会失败(https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#why-does-assignment-fail-when-using-chained-indexing)。以下解决方案可以防止该问题:

duplicate_cols = df.columns[df.columns.duplicated()]
df.drop(columns=duplicate_cols, inplace=True)

下面的方法将识别dupe列，以检查最初构建数据框架时出错的地方。

dupes = pd.DataFrame(df.columns)
dupes[dupes.duplicated()]

快速和简单的方法删除复制列的值:

df = df.T.drop_duplicates().T

更多信息:Pandas DataFrame drop_duplicate manual。

我遇到了这个问题，第一个答案提供的一行工作得很好。但是，我遇到了额外的复杂情况，即列的第二个副本拥有所有数据。第一份拷贝没有。

解决方案是通过切换否定操作符来分割一个数据帧，从而创建两个数据帧。有了这两个数据帧之后，我使用l后缀运行了一个连接语句。这样，我就可以引用和删除没有数据的列。

- E

2021年3月更新

@CircArgs随后的帖子可能提供了一个简洁的单行程序来完成我在这里描述的内容。

第一步:-读取第一行，即所有列，删除所有重复的列。

第二步:最后只读那些专栏。

cols = pd.read_csv("file.csv", header=None, nrows=1).iloc[0].drop_duplicates()
df = pd.read_csv("file.csv", usecols=cols)