关键词：

目录

• 1 Canopy算法配合初始聚类
• • 1.1 实现流程
  • 1.2 Canopy算法优缺点
• 2 K-means++
• 3 二分k-means
• 4 k-medoids（k-中心聚类算法）
• 5 Kernel k-means
• 6 ISODATA
• 7 Mini Batch K-Means
• 8 小结

---

1 Canopy算法配合初始聚类

k-means算法小结

优点：

• 1.原理简单（靠近中心点），实现容易
• 2.聚类效果中上（依赖K的选择）
• 3.空间复杂度o(N)，时间复杂度o(IKN)

N为样本点个数，K为中心点个数，I为迭代次数

缺点：

• 1.对离群点，噪声敏感 （中心点易偏移）
• 2.很难发现大小差别很大的簇及进行增量计算
• 3.结果不一定是全局最优，只能保证局部最优（与K的个数及初值选取有关）

---

1.1 实现流程

1.2 Canopy算法优缺点

优点：

1.Kmeans对噪声抗干扰较弱，通过Canopy对比，将较小的NumPoint的Cluster直接去掉有利于抗干扰。

2.Canopy选择出来的每个Canopy的centerPoint作为K会更精确。

3.只是针对每个Canopy的内做Kmeans聚类，减少相似计算的数量。

缺点：

1.算法中 T1、T2的确定问题 ，依旧可能落入局部最优解

2 K-means++

其中：

为方便后面表示，把其记为A

kmeans++目的，让选择的质心尽可能的分散

如下图中，如果第一个质心选择在圆心，那么最优可能选择到的下一个点在P(A)这个区域（根据颜色进行划分）

3 二分k-means

实现流程:

• 1.所有点作为一个簇
• 2.将该簇一分为二
• 3.选择能最大限度降低聚类代价函数（也就是误差平方和）的簇划分为两个簇。
• 4.以此进行下去，直到簇的数目等于用户给定的数目k为止。

隐含的一个原则

因为聚类的误差平方和能够衡量聚类性能，该值越小表示数据点越接近于他们的质心，聚类效果就越好。所以需要对误差平方和最大的簇进行再一次划分，因为误差平方和越大，表示该簇聚类效果越不好，越有可能是多个簇被当成了一个簇，所以我们首先需要对这个簇进行划分。

二分K均值算法可以加速K-means算法的执行速度，因为它的相似度计算少了并且不受初始化问题的影响，因为这里不存在随机点的选取，且每一步都保证了误差最小

4 k-medoids（k-中心聚类算法）

K-medoids和K-means是有区别的，不一样的地方在于中心点的选取

• K-means中，将中心点取为当前cluster中所有数据点的平均值，对异常点很敏感!

• K-medoids中，将从当前cluster 中选取到其他所有（当前cluster中的）点的距离之和最小的点作为中心点。

  

算法流程：

• ( 1 )总体n个样本点中任意选取k个点作为medoids
• ( 2 )按照与medoids最近的原则，将剩余的n-k个点分配到当前最佳的medoids代表的类中
• ( 3 )对于第i个类中除对应medoids点外的所有其他点，按顺序计算当其为新的medoids时，代价函数的值，遍历所有可能，选取代价函数最小时对应的点作为新的medoids
• ( 4 )重复2-3的过程，直到所有的medoids点不再发生变化或已达到设定的最大迭代次数
• ( 5 )产出最终确定的k个类

k-medoids对噪声鲁棒性好。

例：当一个cluster样本点只有少数几个，如（1,1）（1,2）（2,1）（1000,1000）。其中（1000,1000）是噪声。如果按照k-means质心大致会处在（1,1）（1000,1000）中间，这显然不是我们想要的。这时k-medoids就可以避免这种情况，他会在（1,1）（1,2）（2,1）（1000,1000）中选出一个样本点使cluster的绝对误差最小，计算可知一定会在前三个点中选取。

k-medoids只能对小样本起作用，样本大，速度就太慢了，当样本多的时候，少数几个噪音对k-means的质心影响也没有想象中的那么重，所以k-means的应用明显比k-medoids多。

5 Kernel k-means

kernel k-means实际上，就是将每个样本进行一个投射到高维空间的处理，然后再将处理后的数据使用普通的k-means算法思想进行聚类。

6 ISODATA

类别数目随着聚类过程而变化；

对类别数会进行合并，分裂，

“合并”：（当聚类结果某一类中样本数太少，或两个类间的距离太近时）

“分裂”：（当聚类结果中某一类的类内方差太大，将该类进行分裂）

7 Mini Batch K-Means

适合大数据的聚类算法

大数据量是什么量级？通常当样本量大于1万做聚类时，就需要考虑选用Mini Batch K-Means算法。

Mini Batch KMeans使用了Mini Batch（分批处理）的方法对数据点之间的距离进行计算。

Mini Batch计算过程中不必使用所有的数据样本，而是从不同类别的样本中抽取一部分样本来代表各自类型进行计算。由于计算样本量少，所以会相应的减少运行时间，但另一方面抽样也必然会带来准确度的下降。

该算法的迭代步骤有两步：

• (1)从数据集中随机抽取一些数据形成小批量，把他们分配给最近的质心
• (2)更新质心

与Kmeans相比，数据的更新在每一个小的样本集上。对于每一个小批量，通过计算平均值得到更新质心，并把小批量里的数据分配给该质心，随着迭代次数的增加，这些质心的变化是逐渐减小的，直到质心稳定或者达到指定的迭代次数，停止计算。

---

8 小结

• k-means算法优缺点总结

  【知道】

  • 优点：
    • 1.原理简单（靠近中心点），实现容易
    • 2.聚类效果中上（依赖K的选择）
    • 3.空间复杂度o(N)，时间复杂度o(IKN)
  • 缺点：
    • 1.对离群点，噪声敏感 （中心点易偏移）
    • 2.很难发现大小差别很大的簇及进行增量计算
    • 3.结果不一定是全局最优，只能保证局部最优（与K的个数及初值选取有关）

• 优化方法【知道】

优化方法	思路
Canopy+kmeans	Canopy粗聚类配合kmeans
kmeans++	距离越远越容易成为新的质心
二分k-means	拆除SSE最大的簇
k-medoids	和kmeans选取中心点的方式不同
kernel kmeans	映射到高维空间
ISODATA	动态聚类，可以更改K值大小
Mini-batch K-Means	大数据集分批聚类

机器学习算法优化(代码片段)

目录1Canopy算法配合初始聚类1.1实现流程1.2Canopy算法优缺点2K-means++3二分k-means4k-medoids（k-中心聚类算法）5Kernelk-means6ISODATA7MiniBatchK-Means8小结1Canopy算法配合初始聚类k-means算法小结优点：1.原理简单（靠近中心... 查看详情

机器学习常见优化器(代码片段)

在机器学习、深度学习中使用的优化算法除了常见的梯度下降，还有Adadelta，Adagrad，RMSProp等几种优化器，都是什么呢，又该怎么选择呢？在SebastianRuder的这篇论文中给出了常用优化器的比较，今天来学习一下：https://arxiv.org/pdf/16... 查看详情

梯度下降算法原理讲解(代码片段)

其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。书的购买链接书的勘误，优化，源代码资源导言最优化问题在... 查看详情

机器学习逻辑回归算法(代码片段)

逻辑回归算法学习目标1.逻辑回归的介绍1.1逻辑回归的应用场景1.2逻辑回归的原理1.2.1输入1.2.2激活函数1.3损失以及优化1.3.1损失1.3.2优化1.4小结2.逻辑回归api介绍3.案例：癌症分类预测-良／恶性乳腺癌肿瘤预测3.1背景介绍3.... 查看详情

机器学习的相关算法了解和总结(代码片段)

文章目录机器学习的相关算法了解和总结1、机器学习的一般步骤2、相关算法3、决策树4、支持向量机SVM5、神经网络6、随机森林算法机器学习的相关算法了解和总结1、机器学习的一般步骤训练集训练->提取特征向量->结合一... 查看详情

机器学习线性回归优化损失函数(代码片段)

目录1损失函数2优化算法2.1正规方程2.1.1什么是正规方程2.1.2正规方程求解举例2.1.3正规方程的推导2.2梯度下降2.2.1什么是梯度下降2.2.2梯度的概念2.2.3梯度下降举例2.2.4梯度下降公式3梯度下降和正规方程的对比3.1两种方法对比3.2算... 查看详情

机器学习算法：知道canopyk-means++二分k-meansk-medoids的优化原理(代码片段)

学习目标知道k-means算法的优缺点知道canopy、K-means++、二分K-means、K-medoids的优化原理了解kernelK-means、ISODATA、Mini-batchK-means的优化原理k-means算法小结优点：​1.原理简单（靠近中心点），实现容易​2.聚类效果... 查看详情

机器学习实战应用案例100篇-粒子群优化算法(pso)从原理到实战应用案例（附代码）(代码片段)

粒子群优化算法(原理)1粒子群算法简介完整代码详见机器学习实战应用案例-粒子群优化算法(PSO)实战应用案例粒子群算法(Particleswarmoptimization,PSO)是一种仿生算法，它是一种 在求解空间中寻找最优解 的简单算法。它与其... 查看详情

机器学习之集成学习算法(代码片段)

...#xff0c;因此优于任何一个单分类的做出预测。1.2复习：机器学习的两个核⼼任务任务一：如何优化训练数据 —>主要用于解决欠拟合问题任务二：如何提升泛化性能 — 查看详情

机器学习线性回归的损失和优化(代码片段)

线性回归的损失和优化线性回归的损失和优化1.损失函数2.优化算法2.1正规方程2.1.1什么是正规方程2.1.2正规方程求解举例2.1.3正规方程的推导推导方式一推导方式二2.2梯度下降(GradientDescent)2.2.1什么是梯度下降2.2.2梯度的概念2.2.3梯... 查看详情

美团图灵机器学习平台性能起飞的秘密(代码片段)

美团图灵机器学习平台在长期的优化实践中，积累了一系列独特的优化方法。本文主要介绍了图灵机器学习平台在内存优化方面沉淀的优化技术，我们深入到源码层面，介绍了Spark算子的原理并提供了最佳实践。希望... 查看详情

开始学习机器学习时你必须要了解的模型有哪些？机器学习系列之决策树进阶篇(代码片段)

前言在上一篇文章中我们已经详细介绍了决策树模型，并且提到了ID3算法及其局限性，那么在本篇文章中，我们将会介绍基于ID3算法进行改良的C4.5算法以及决策树拟合度的优化问题。目录前言1C4.5算法1.1修改局部最优... 查看详情

问答机器人召回优化(代码片段)

【QA_Bot】召回过程优化1.优化思路2.通过BM25算法代替TFIDF2.1BM25算法原理2.2BM25算法实现2.3修改之前的召回代码3.使用Fasttext实现获取句子向量3.1基础方法介绍3.2训练模型和封装代码3.2.1分词写入文件3.2.2训练模型3.2.3基础封装1.优化思... 查看详情

机器学习基础：kmeans算法及其优化(代码片段)

机器学习基础：Kmeans算法及其优化CONTENT算法原理算法流程算法优化Kmeans++ElkanKmeansMiniBatchKmeans与KNN的区别算法小结sklearn代码实践1.算法原理对于给定的样本集，按照样本之间的距离大小，将样本集划分为K个簇。让簇内的点尽量紧... 查看详情

机器学习算法之dcgan(代码片段)

目录1、基本介绍2、模型3、优缺点/其他参考1、基本介绍DCGAN是生成对抗网络GAN中一种常见的模型结构。其中的生成器和判别器都是神经网络模型。GAN是一种生成式对抗网络，即通过对抗的方式，去学习数据分布的生成式模型。... 查看详情

spark.mllib源码阅读-优化算法2-updater(代码片段)

Updater是Spark中进行机器学习时对用于更新参数的轮子，参数更新的过程是1、第i轮的机器学习求解得到的参数wi2、第i+1轮计算得到的梯度值3、正则化选项来计算第i+1轮的机器学习要求解的参数wi+1 Spark实现了三类Updat... 查看详情

机器学习实战应用案例100篇（二十三）-粒子群算法从原理到实战应用案例(代码片段)

粒子群优化算法(原理)1粒子群算法简介粒子群算法(Particleswarmoptimization,PSO)是一种仿生算法，它是一种 在求解空间中寻找最优解 的简单算法。它与其他优化算法的不同之处在于，它只需要 目标函数，不依赖于目标的... 查看详情

机器学习-对数几率回归（逻辑回归）算法(代码片段)

文章目录简介激活函数损失函数优化算法代码前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。简介对数几率回归（LogisticRegression），也称逻辑... 查看详情