如何选择最佳的聚类数量来进行k均值分析。在绘制以下数据的子集后,多少个簇是合适的?如何进行聚类树突分析?

n = 1000
kk = 10    
x1 = runif(kk)
y1 = runif(kk)
z1 = runif(kk)    
x4 = sample(x1,length(x1))
y4 = sample(y1,length(y1)) 
randObs <- function()
{
  ix = sample( 1:length(x4), 1 )
  iy = sample( 1:length(y4), 1 )
  rx = rnorm( 1, x4[ix], runif(1)/8 )
  ry = rnorm( 1, y4[ix], runif(1)/8 )
  return( c(rx,ry) )
}  
x = c()
y = c()
for ( k in 1:n )
{
  rPair  =  randObs()
  x  =  c( x, rPair[1] )
  y  =  c( y, rPair[2] )
}
z <- rnorm(n)
d <- data.frame( x, y, z )

当前回答

这些方法很棒,但是当试图为更大的数据集找到k时,这些方法在R中可能会非常慢。

我发现的一个很好的解决方案是“RWeka”包,它具有X-Means算法的有效实现——K-Means的扩展版本,可以更好地扩展,并为您确定最佳的集群数量。

首先,您需要确保在您的系统上安装了Weka,并通过Weka的包管理器工具安装了XMeans。

library(RWeka)

# Print a list of available options for the X-Means algorithm
WOW("XMeans")

# Create a Weka_control object which will specify our parameters
weka_ctrl <- Weka_control(
    I = 1000,                          # max no. of overall iterations
    M = 1000,                          # max no. of iterations in the kMeans loop
    L = 20,                            # min no. of clusters
    H = 150,                           # max no. of clusters
    D = "weka.core.EuclideanDistance", # distance metric Euclidean
    C = 0.4,                           # cutoff factor ???
    S = 12                             # random number seed (for reproducibility)
)

# Run the algorithm on your data, d
x_means <- XMeans(d, control = weka_ctrl)

# Assign cluster IDs to original data set
d$xmeans.cluster <- x_means$class_ids

其他回答

本的回答很精彩。然而,我感到惊讶的是,这里建议使用亲和传播(AP)方法来为k-means方法找到聚类的数量,而在一般情况下,AP在数据聚类方面做得更好。请在《科学》杂志上看到支持这种方法的科学论文:

弗雷,布兰登·J,和德尔伯特·迪埃克。《科学》315.5814(2007):972-976。

所以如果你不倾向于k-means,我建议直接使用AP,它将在不需要知道集群数量的情况下对数据进行聚类:

library(apcluster)
apclus = apcluster(negDistMat(r=2), data)
show(apclus)

如果负欧几里得距离不合适,那么您可以使用同一包中提供的另一种相似度度量。例如,对于基于斯皮尔曼相关性的相似性,这是你需要的:

sim = corSimMat(data, method="spearman")
apclus = apcluster(s=sim)

请注意,提供AP包中的相似性函数只是为了简单起见。事实上,R中的apcluster()函数将接受任何关联矩阵。之前用corSimMat()也可以这样做:

sim = cor(data, method="spearman")

or

sim = cor(t(data), method="spearman")

这取决于你想在你的矩阵上聚类什么(行或cols)。

在聚类方法中确定最优k-聚类。我通常使用弯头法,并辅以并行处理,以避免时间消耗。这段代码可以像这样进行采样:

弯头的方法

elbow.k <- function(mydata){
dist.obj <- dist(mydata)
hclust.obj <- hclust(dist.obj)
css.obj <- css.hclust(dist.obj,hclust.obj)
elbow.obj <- elbow.batch(css.obj)
k <- elbow.obj$k
return(k)
}

平行运行弯头

no_cores <- detectCores()
    cl<-makeCluster(no_cores)
    clusterEvalQ(cl, library(GMD))
    clusterExport(cl, list("data.clustering", "data.convert", "elbow.k", "clustering.kmeans"))
 start.time <- Sys.time()
 elbow.k.handle(data.clustering))
 k.clusters <- parSapply(cl, 1, function(x) elbow.k(data.clustering))
    end.time <- Sys.time()
    cat('Time to find k using Elbow method is',(end.time - start.time),'seconds with k value:', k.clusters)

它工作得很好。

这些方法很棒,但是当试图为更大的数据集找到k时,这些方法在R中可能会非常慢。

我发现的一个很好的解决方案是“RWeka”包,它具有X-Means算法的有效实现——K-Means的扩展版本,可以更好地扩展,并为您确定最佳的集群数量。

首先,您需要确保在您的系统上安装了Weka,并通过Weka的包管理器工具安装了XMeans。

library(RWeka)

# Print a list of available options for the X-Means algorithm
WOW("XMeans")

# Create a Weka_control object which will specify our parameters
weka_ctrl <- Weka_control(
    I = 1000,                          # max no. of overall iterations
    M = 1000,                          # max no. of iterations in the kMeans loop
    L = 20,                            # min no. of clusters
    H = 150,                           # max no. of clusters
    D = "weka.core.EuclideanDistance", # distance metric Euclidean
    C = 0.4,                           # cutoff factor ???
    S = 12                             # random number seed (for reproducibility)
)

# Run the algorithm on your data, d
x_means <- XMeans(d, control = weka_ctrl)

# Assign cluster IDs to original data set
d$xmeans.cluster <- x_means$class_ids

很难再加上一个如此详尽的答案。虽然我觉得我们应该在这里提到identify,特别是因为@Ben展示了很多树状图的例子。

d_dist <- dist(as.matrix(d))   # find distance matrix 
plot(hclust(d_dist)) 
clusters <- identify(hclust(d_dist))

Identify允许您从树状图中交互式地选择集群,并将您的选择存储到一个列表中。按Esc退出交互模式并返回R控制台。注意,该列表包含索引,而不是行名(与cutree相反)。

浏览这么多函数而不考虑性能因素是非常令人困惑的。我知道,在可用的包中,除了查找最优的集群数量之外,很少有函数能做很多事情。以下是这些函数的基准测试结果,供任何考虑将这些函数用于他/她的项目的人使用

n = 100
g = 6 
set.seed(g)
d <- data.frame(x = unlist(lapply(1:g, function(i) rnorm(n/g, runif(1)*i^2))), 
                y = unlist(lapply(1:g, function(i) rnorm(n/g, runif(1)*i^2))))


mydata <- d
require(cluster)
require(vegan)
require(mclust)
require(apcluster)
require(NbClust)
require(fpc)

microbenchmark::microbenchmark(
  wss = {
    wss <- (nrow(mydata)-1)*sum(apply(mydata,2,var))
    for (i in 2:15) wss[i] <- sum(kmeans(mydata, centers=i)$withinss)
  },
  
  fpc = {
    asw <- numeric(20)
    for (k in 2:20)
      asw[[k]] <- pam(d, k) $ silinfo $ avg.width
    k.best <- which.max(asw)
  },
  fpc_1 = fpc::pamk(d),
  
  vegan = {
    fit <- cascadeKM(scale(d, center = TRUE,  scale = TRUE), 1, 10, iter = 1000)
    plot(fit, sortg = TRUE, grpmts.plot = TRUE)
    calinski.best <- as.numeric(which.max(fit$results[2,]))
  },
  
  mclust = {
    d_clust <- Mclust(as.matrix(d), G=1:20)
    m.best <- dim(d_clust$z)[2]
  },
  d.apclus = apcluster(negDistMat(r=2), d),
  clusGap = clusGap(d, kmeans, 10, B = 100, verbose = interactive()),
  NbClust = NbClust(d, diss=NULL, distance = "euclidean",
                method = "kmeans", min.nc=2, max.nc=15, 
                index = "alllong", alphaBeale = 0.1),
  
  
  times = 1)
Unit: milliseconds
     expr         min          lq        mean      median          uq         max neval
      wss    16.83938    16.83938    16.83938    16.83938    16.83938    16.83938     1
      fpc   221.99490   221.99490   221.99490   221.99490   221.99490   221.99490     1
    fpc_1    43.10493    43.10493    43.10493    43.10493    43.10493    43.10493     1
    vegan  1096.08568  1096.08568  1096.08568  1096.08568  1096.08568  1096.08568     1
   mclust  1531.69475  1531.69475  1531.69475  1531.69475  1531.69475  1531.69475     1
 d.apclus    28.56100    28.56100    28.56100    28.56100    28.56100    28.56100     1
  clusGap  1096.50680  1096.50680  1096.50680  1096.50680  1096.50680  1096.50680     1
  NbClust 10940.98807 10940.98807 10940.98807 10940.98807 10940.98807 10940.98807     1

我发现fpc包中的功能pamk对我的需求最有用。