dplyr包中的distinct()函数执行任意重复删除，可以从特定列/变量中删除(如本问题中所示)，也可以考虑所有列/变量。Dplyr是潮汐宇宙的一部分。

数据和包装

library(dplyr)
dat <- data.frame(a = rep(c(1,2),4), b = rep(LETTERS[1:4],2))

删除在特定列中重复的行(例如，columna)

注意.keep_all = TRUE保留所有列，否则只保留列a。

distinct(dat, a, .keep_all = TRUE)

  a b
1 1 A
2 2 B

删除与其他行完全重复的行:

distinct(dat)

  a b
1 1 A
2 2 B
3 1 C
4 2 D

sqldf:

# Example by Mehdi Nellen
a <- c(rep("A", 3), rep("B", 3), rep("C",2))
b <- c(1,1,2,4,1,1,2,2)
df <-data.frame(a,b)

解决方案:

 library(sqldf)
    sqldf('SELECT DISTINCT * FROM df')

输出:

  a b
1 A 1
2 A 2
3 B 4
4 B 1
5 C 2

dplyr包中的distinct()函数执行任意重复删除，可以从特定列/变量中删除(如本问题中所示)，也可以考虑所有列/变量。Dplyr是潮汐宇宙的一部分。

数据和包装

library(dplyr)
dat <- data.frame(a = rep(c(1,2),4), b = rep(LETTERS[1:4],2))

删除在特定列中重复的行(例如，columna)

注意.keep_all = TRUE保留所有列，否则只保留列a。

distinct(dat, a, .keep_all = TRUE)

  a b
1 1 A
2 2 B

删除与其他行完全重复的行:

distinct(dat)

  a b
1 1 A
2 2 B
3 1 C
4 2 D

这个问题也可以通过从每个组中选择第一行来解决，其中组是我们想要选择唯一值的列(在共享的示例中，它只是第一列)。

使用底数R:

subset(df, ave(V2, V1, FUN = seq_along) == 1)

#                      V1  V2 V3     V4 V5
#1 platform_external_dbus 202 16 google  1

在dplyr

library(dplyr)
df %>% group_by(V1) %>% slice(1L)

或者使用data.table

library(data.table)
setDT(df)[, .SD[1L], by = V1]

如果我们需要根据多个列找出唯一的行，只需在分组部分为上面的每个答案添加这些列名。

data

df <- structure(list(V1 = structure(c(1L, 1L, 1L, 1L, 1L), 
.Label = "platform_external_dbus", class = "factor"), 
V2 = c(202L, 202L, 202L, 202L, 202L), V3 = c(16L, 16L, 16L, 
16L, 16L), V4 = structure(c(1L, 4L, 3L, 5L, 2L), .Label = c("google", 
"hughsie", "localhost", "space-ghost.verbum", "users.sourceforge"
), class = "factor"), V5 = c(1L, 1L, 1L, 8L, 1L)), class = "data.frame", 
row.names = c(NA, -5L))

对于那些来这里寻找重复行删除的一般答案的人，请使用!duplicate ():

a <- c(rep("A", 3), rep("B", 3), rep("C",2))
b <- c(1,1,2,4,1,1,2,2)
df <-data.frame(a,b)

duplicated(df)
[1] FALSE  TRUE FALSE FALSE FALSE  TRUE FALSE  TRUE

> df[duplicated(df), ]
  a b
2 A 1
6 B 1
8 C 2

> df[!duplicated(df), ]
  a b
1 A 1
3 A 2
4 B 4
5 B 1
7 C 2

回答:从R数据帧中删除重复的行

默认情况下，该方法将保留每个副本的第一次出现。您可以使用fromLast = TRUE参数来保留每个重复项的最后一次出现。在此步骤之前，您可以对数据进行排序，以便保留所需的行。

数据。表包也有独特的和复制的方法，它自己的一些额外的功能。

unique.data.table和duplicate .data.table方法都有一个附加的by参数，允许您分别传递列名或列名位置的字符或整数向量

library(data.table)
DT <- data.table(id = c(1,1,1,2,2,2),
                 val = c(10,20,30,10,20,30))

unique(DT, by = "id")
#    id val
# 1:  1  10
# 2:  2  10

duplicated(DT, by = "id")
# [1] FALSE  TRUE  TRUE FALSE  TRUE  TRUE

这些方法的另一个重要特征是，对于较大的数据集，可以获得巨大的性能提升

library(microbenchmark)
library(data.table)
set.seed(123)
DF <- as.data.frame(matrix(sample(1e8, 1e5, replace = TRUE), ncol = 10))
DT <- copy(DF)
setDT(DT)

microbenchmark(unique(DF), unique(DT))
# Unit: microseconds
#       expr       min         lq      mean    median        uq       max neval cld
# unique(DF) 44708.230 48981.8445 53062.536 51573.276 52844.591 107032.18   100   b
# unique(DT)   746.855   776.6145  2201.657   864.932   919.489  55986.88   100  a 


microbenchmark(duplicated(DF), duplicated(DT))
# Unit: microseconds
#           expr       min         lq       mean     median        uq        max neval cld
# duplicated(DF) 43786.662 44418.8005 46684.0602 44925.0230 46802.398 109550.170   100   b
# duplicated(DT)   551.982   558.2215   851.0246   639.9795   663.658   5805.243   100  a