k-均值聚类后为新数据分配簇的简单方法

Question

我在数据帧df1上运行k-means聚类，并且正在寻找一种简单的方法来计算每个观测的最近聚类中心新数据框架df2（​​具有相同的变量名称）。将df1视为训练集，将df2视为测试集;我想在训练集上进行聚类，并将每个测试点分配给正确的聚类。

我知道如何与apply功能和一些简单的用户定义函数做到这一点（的话题以前的职位通常有提出类似的东西）：

df1 <- data.frame(x=runif(100), y=runif(100)) 
df2 <- data.frame(x=runif(100), y=runif(100)) 
km <- kmeans(df1, centers=3) 
closest.cluster <- function(x) { 
    cluster.dist <- apply(km$centers, 1, function(y) sqrt(sum((x-y)^2))) 
    return(which.min(cluster.dist)[1]) 
} 
clusters2 <- apply(df2, 1, closest.cluster) 

不过，我准备这个集群例如学生不熟悉apply函数的课程，所以我更喜欢是否可以使用内置函数将群集分配给df2。有没有方便的内置功能来找到最近的集群？

Answer 1

你可以使用flexclust包，它具有用于k均值的实施predict方法：

library("flexclust") 
data("Nclus") 

set.seed(1) 
dat <- as.data.frame(Nclus) 
ind <- sample(nrow(dat), 50) 

dat[["train"]] <- TRUE 
dat[["train"]][ind] <- FALSE 

cl1 = kcca(dat[dat[["train"]]==TRUE, 1:2], k=4, kccaFamily("kmeans")) 
cl1  
# 
# call: 
# kcca(x = dat[dat[["train"]] == TRUE, 1:2], k = 4) 
# 
# cluster sizes: 
# 
# 1 2 3 4 
#130 181 98 91 

pred_train <- predict(cl1) 
pred_test <- predict(cl1, newdata=dat[dat[["train"]]==FALSE, 1:2]) 

image(cl1) 
points(dat[dat[["train"]]==TRUE, 1:2], col=pred_train, pch=19, cex=0.3) 
points(dat[dat[["train"]]==FALSE, 1:2], col=pred_test, pch=22, bg="orange") 

也有转换方法从簇函数的结果转换等stats::kmeans或cluster::pam到类kcca的对象，反之亦然：

as.kcca(cl, data=x) 
# kcca object of family ‘kmeans’ 
# 
# call: 
# as.kcca(object = cl, data = x) 
# 
# cluster sizes: 
# 
# 1 2 
# 50 50 

Answer 2

我注意到关于这个问题的方法和flexclust方法的一些事情是，它们相当慢（基准测试集合中有100万个观察结果和2个特征）。

件原始模型是相当快的：

set.seed(144) 
df1 <- data.frame(x=runif(1e6), y=runif(1e6)) 
df2 <- data.frame(x=runif(1e6), y=runif(1e6)) 
system.time(km <- kmeans(df1, centers=3)) 
# user system elapsed 
# 1.204 0.077 1.295 

我张贴在这个问题的解决方案是在计算测试设置群集分配缓慢，因为它单独调用closest.cluster为每个测试设定点：

system.time(pred.test <- apply(df2, 1, closest.cluster)) 
# user system elapsed 
# 42.064 0.251 42.586 

同时，flexclust包似乎增添了不少开销，无论我们把与as.kcca拟合模型或安装一个新的自己与kcca（虽然PR ediction末的速度要快得多）

# APPROACH #1: Convert from the kmeans() output 
system.time(km.flexclust <- as.kcca(km, data=df1)) 
# user system elapsed 
# 87.562 1.216 89.495 
system.time(pred.flexclust <- predict(km.flexclust, newdata=df2)) 
# user system elapsed 
# 0.182 0.065 0.250 

# Approach #2: Fit the k-means clustering model in the flexclust package 
system.time(km.flexclust2 <- kcca(df1, k=3, kccaFamily("kmeans"))) 
# user system elapsed 
# 125.193 7.182 133.519 
system.time(pred.flexclust2 <- predict(km.flexclust2, newdata=df2)) 
# user system elapsed 
# 0.198 0.084 0.302 

似乎有另一种明智的做法在这里：使用快速k最近像kd树的邻居解决发现的内每个测试设置观察近邻集群质心集。这可以紧凑地写和比较快速的：

library(FNN) 
system.time(pred.knn <- get.knnx(km$center, df2, 1)$nn.index[,1]) 
# user system elapsed 
# 0.315 0.013 0.345 
all(pred.test == pred.knn) 
# [1] TRUE