《K-Means算法的简单介绍.doc》由会员分享，可在线阅读，更多相关《K-Means算法的简单介绍.doc（3页珍藏版）》请在三一文库上搜索。
1、K-Means算法的简单介绍KMeans是十大经典数据挖掘算法之一。KMeans和KNN（K邻近）看上去都是K打头，但却是不同种类的算法。kNN是监督学习中的分类算法，而KMeans则是非监督学习中的聚类算法；二者相同之处是均利用近邻信息来标注类别。提到聚类一词，使人不禁想到：物以类聚，人以群分。聚类是数据挖掘中一种非常重要的学习流派，指将未标注的样本数据中相似的分为同一类。Kmeans算法是很典型的基于距离的聚类算法。于1982年由Lloyod提出。它是简单而又有效的统计聚类算法。一般采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。该算法认为簇是由距离靠近的对象组成的
2、，因此把得到紧凑且独立的簇作为最终目标。KMeans概念：Kmeans算法是硬聚类算法，是典型的基于原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。Kmeans算法以欧式距离作为相似度测度，它是求对应某一初始聚类中心向量V最优分类，使得评价指标J最小。算法采用误差平方和准则函数作为聚类准则函数。KMeans核心思想：由用户指定k个初始质心（iniTIal centroids），作为聚类的类别（cluster），重复迭代直至算法收敛。即以空间中k个点为中心进行聚类，对最靠近他们的对象归类。通过迭代的方法，逐次更新各聚类中心的
3、值，直至得到最好的聚类结果。k个初始类聚类中心点的选取对聚类结果具有较大的。KMeans算法描述：假设要把样本集分为c个类别，算法描述如下：1）适当选择c个类的初始中心；2）在第k次迭代中，对任意一个样本，求其到c个中心的距离，将该样本归到距离最短的中心所在的类；3）利用均值等方法更新该类的中心值；4）对于所有的c个聚类中心，如果利用2）和3）的迭代法更新后，值保持不变，则迭代结束，否则继续迭代。具体如下：输入：k， datan；1）选择k个初始中心点，例如c0data0，ck1datak1；2）对于data0datan，分别与c0ck1比较，假定与ci差值最少，就标记为i；3）对于所有标记为
4、i点，重新计算ci 所有标记为i的dataj之和标记为i的个数；4）重复2）和3），直到所有ci值的变化小于给定阈值。该算法的最大优势在于简洁和快速。算法的关键在于初始中心的选择和距离公式。KMeans工作流程：1）从 n个数据对象任意选择k个对象作为初始聚类中心；2）根据每个聚类对象的均值（中心对象），计算每个对象与这些中心对象的距离；并根据最小距离重新对相应对象进行划分；3）重新计算每个（有变化）聚类的均值（中心对象）；4）循环2）到3）直到每个聚类不再发生变化为止，即标准测度函数收敛为止。注：一般采用均方差作为标准测度函数。KMeans算法接受输入量k；然后将n个数据对象划分为k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。即，各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。聚类相似度是利用各聚类中对象的均值所获得一个中心对象（引力中心）来进行计算的。