关键词:
Clustering Algorithm
1. 聚类算法简介
学习目标
- 掌握聚类算法实现过程
- 知道K-means算法原理
- 知道聚类算法中的评估模型
- 说明K-means的优缺点
- 了解聚类中的算法优化方式
- 知道特征降维的实现过程
- 应用Kmeans实现聚类任务
1.1 认识聚类算法
使用不同的聚类准则,产生的聚类结果不同。
1.1.1 聚类算法在现实中的应用
-
用户画像,广告推荐,Data Segmentation,搜索引擎的流量推荐,恶意流量识别
-
基于位置信息的商业推送,新闻聚类,筛选排序
-
图像分割,降维,识别;离群点检测;信用卡异常消费;发掘相同功能的基因片段
1.1.2 聚类算法的概念
聚类算法:
一种典型的无监督学习算法,主要用于将相似的样本自动归到一个类别中。
在聚类算法中根据样本之间的相似性,将样本划分到不同的类别中,对于不同的相似度计算方法,会得到不同的聚类结果,常用的相似度计算方法有欧式距离法。
1.1.3 聚类算法与分类算法最大的区别
聚类算法是无监督的学习算法,而分类算法属于监督的学习算法。
1.2 小结
- 聚类算法分类
- 粗聚类
- 细聚类
- 聚类的定义
- 一种典型的无监督学习算法,
- 主要用于将相似的样本自动归到一个类别中
- 计算样本和样本之间的相似性,一般使用欧式距离
2. 聚类算法api初步使用
2.1 api介绍
-
sklearn.cluster.KMeans(n_clusters=8)
- 参数:
- n_clusters:开始的聚类中心数量
- 整型,缺省值=8,生成的聚类数,即产生的质心(centroids)数。
- n_clusters:开始的聚类中心数量
- 方法:
- estimator.fit(x)
- estimator.predict(x)
- estimator.fit_predict(x)
- 计算聚类中心并预测每个样本属于哪个类别,相当于先调用fit(x),然后再调用predict(x)
- 参数:
2.2 案例
随机创建不同二维数据集作为训练集,并结合k-means算法将其聚类,你可以尝试分别聚类不同数量的簇,并观察聚类效果:
聚类参数n_cluster
传值不同,得到的聚类结果不同
2.2.1 流程分析
2.2.2 代码实现
1.创建数据集
import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs
from sklearn.cluster import KMeans
from sklearn.metrics import calinski_harabasz_score
# 创建数据集
# X为样本特征,Y为样本簇类别, 共1000个样本,每个样本4个特征,共4个簇,
# 簇中心在[-1,-1], [0,0],[1,1], [2,2], 簇方差分别为[0.4, 0.2, 0.2, 0.2]
X, y = make_blobs(n_samples=1000, n_features=2, centers=[[-1, -1], [0, 0], [1, 1], [2, 2]],
cluster_std=[0.4, 0.2, 0.2, 0.2],
random_state=9)
# 数据集可视化
plt.scatter(X[:, 0], X[:, 1], marker='o')
plt.show()
2.使用k-means进行聚类,并使用CH方法评估
y_pred = KMeans(n_clusters=2, random_state=9).fit_predict(X)
# 分别尝试n_cluses=2\\3\\4,然后查看聚类效果
plt.scatter(X[:, 0], X[:, 1], c=y_pred)
plt.show()
# 用Calinski-Harabasz Index评估的聚类分数
print(calinski_harabaz_score(X, y_pred))
# kmeans训练,且可视化 聚类=2
y_pre = KMeans(n_clusters=2, random_state=9).fit_predict(x)
# 可视化展示
plt.scatter(x[:, 0], x[:, 1], c=y_pre)
plt.show()
# 用ch_score查看最后效果
print(calinski_harabasz_score(x, y_pre))
3116.1706763322227
# kmeans训练,且可视化 聚类=3
y_pre = KMeans(n_clusters=3, random_state=9).fit_predict(x)
# 可视化展示
plt.scatter(x[:, 0], x[:, 1], c=y_pre)
plt.show()
# 用ch_score查看最后效果
print(calinski_harabasz_score(x, y_pre))
2931.625030199556
# kmeans训练,且可视化 聚类=4
y_pre = KMeans(n_clusters=4, random_state=9).fit_predict(x)
# 可视化展示
plt.scatter(x[:, 0], x[:, 1], c=y_pre)
plt.show()
# 用ch_score查看最后效果
print(calinski_harabasz_score(x, y_pre))
5924.050613480169
2.3 小结
-
api:
sklearn.cluster.KMeans(n_clusters=8)
- 参数:
n_clusters
:开始的聚类中心数量
- 方法:
estimator.fit_predict(x)
- 计算聚类中心并预测每个样本属于哪个类别,相当于先调用
fit(x)
,然后再调用predict(x)
- 计算聚类中心并预测每个样本属于哪个类别,相当于先调用
- 参数:
3. 聚类算法实现流程
请参考:【聚类算法】实现流程
4. 模型评估
请参考:【聚类算法】模型评估
5. 算法优化
6. 特征降维
请参考:【机器学习】特征工程-特征降维
7. 案例:探究用户对物品类别的喜好细分
8. 算法选择指导
关于在计算的过程中,如何选择合适的算法进行计算,可以参考scikit learn官方给的指导意见:
加油!
感谢!
努力!
史诗级干货长文k-近邻算法(代码片段)
K-近邻算法前言1.K-近邻算法简介1.1什么是K-近邻算法1.2K-近邻算法(KNN)概念1.3电影类型分析1.4KNN算法流程总结2.KNN算法API初步使用2.1Scikit-learn工具介绍2.1.1安装Scikit-learn2.1.2Scikit-learn包含的内容2.2K-近邻算法API2.3案例2.3.1步骤分析2.3.2... 查看详情
史诗级干货长文线性回归算法(代码片段)
线性回归算法前言1.线性回归简介1.1线性回归应用场景1.2什么是线性回归1.2.1定义与公式1.2.2线性回归的特征与目标的关系分析2.线性回归API初步使用2.1线性回归API2.2举例2.2.1步骤分析2.2.2代码过程3.数学:求导3.1常见函数的导数3.2导... 查看详情
史诗级干货长文支持向量机(代码片段)
支持向量机SVM1.SVM算法简介1.1SVM算法导入1.2SVM算法定义1.2.1定义1.2.2超平面最大间隔介绍1.2.3硬间隔和软间隔1.2.3.1硬间隔分类1.2.3.2软间隔分类1.3小结2.SVM算法API初步使用3.SVM算法原理3.1定义输入数据3.2线性可分支持向量机3.3SVM的计... 查看详情
史诗级干货长文决策树算法(代码片段)
决策树算法1.决策树算法简介2.决策树分类原理3.cart剪枝3.1为什么要剪枝?3.2常用的减枝方法3.2.1预剪枝3.2.2后剪枝3.3小结4.特征工程-特征提取5.决策树算法API6.案例:泰坦尼克号乘客生存预测7.回归决策树1.决策树算法简介决策... 查看详情
史诗级干货长文朴素贝叶斯(代码片段)
朴素贝叶斯学习目标1.朴素贝叶斯算法简介2.概率基础复习2.1概率定义2.2案例:判断女神对你的喜欢情况2.3联合概率、条件概率与相互独立2.4贝叶斯公式2.4.1公式介绍2.4.2案例计算2.4.3文章分类计算2.5小结3.案例:商品评论... 查看详情
史诗级干货长文集成学习进阶(xgboost&lightgbm)(代码片段)
集成学习进阶1.xgboost算法原理1.1最优模型的构建方法1.2XGBoost的目标函数推导1.2.1目标函数确定1.2.2CART树的介绍1.2.3树的复杂度定义1.2.3.1定义每课树的复杂度1.2.3.2树的复杂度举例1.2.4目标函数推导1.3XGBoost的回归树构建方法1.3.1计算... 查看详情
史诗级干货长文hmm模型(代码片段)
HMM模型1.马尔科夫链1.1简介1.2经典举例1.3小结2.HMM简介2.1简单案例2.2案例进阶2.2.1问题阐述2.2.2问题解决2.2.2.1一个简单问题【对应问题2】2.2.2.2看见不可见的,破解骰子序列【对应问题1】2.2.2.3谁动了我的骰子?【对应问题3... 查看详情
nlp电商评论处理-史诗级长文(代码片段)
#autherbioamin#nlpof电商评论#-*-conding=utf-8-*-importnumpyasnpimportpandasaspd#画图的包importmatplotlib.pyplotaspltimportseabornassnsplt.rcParams[‘font.sans-serif‘]=[‘SimHei‘]plt.rcParams[‘axes.unicode_minus 查看详情
史诗级选手之函数(代码片段)
函数上来就抛一个例子先赏赏眼>>>>>>>packagemainimport"fmt"funcadd(xint,yint)intreturnx+yfuncmain()fmt.Println(add(42,13))函数定义语法funcfunc_name(arg1type1,arg2type2)return_typefunctio 查看详情
361机器学习常见算法
...tNeighbors)参考:机器学习实战教程(一):K-近邻算法(史诗级干货长文)决策树算法(DecisionTree)参考:机器学习实战教程(二):决策树基础篇之让我们从相亲说起参考:机器学习实战教程(三):决策树实战篇之为自己配... 查看详情
birch聚类算法的实现(代码片段)
目录1.作者介绍2.BIRCH聚类算法介绍2.1BIRCH聚类算法介绍2.2聚类特征CF与聚类特征树CFTree2.3Birch聚类算法优缺点3.scikit-learn学习Birch聚类3.1Brich类参数4.实验代码与结果展示4.1完整代码4.2实现过程4.3实验结果1.作者介绍冯达,男... 查看详情
springboot❤springclould常用注解史诗级汇总(代码片段)
什么是注解?Java注解是附加在代码中的一些元信息,用于一些工具在编译、运行时进行解析和使用,起到说明、配置的功能注解本质上继承Annotation接口,我们可以通过反射获取注解的相关信息,从而做些逻辑操作springboot里... 查看详情
10种顶流聚类算法实现(附完整代码)(代码片段)
Datawhale干货 编辑:Peter,Datawhale成员来自:海豚科学实验室分享一篇关于聚类的文章:10种聚类算法和Python代码。文末提供jupyternotebook的完整代码获取方式。聚类或聚类分析是无监督学习问题。它通常被用作数... 查看详情
微信“史诗级”更新,小而美终于回来啦!(代码片段)
...,版本号也来到了8.0.30。此次更新又被业界称之为“史诗级”更新,主要原因是新版本微信安装包体 查看详情
微信又变天,“史诗级”更新!网友“怕”了……(代码片段)
...完成PC端的登录。对此,网友表示,该功能属于“史诗级”更新,有网友调侃“别让我媳妇看到这个功能”ÿ 查看详情
birch聚类算法的实现(代码片段)
目录1.作者介绍2.BIRCH聚类算法介绍2.1BIRCH聚类算法介绍2.2聚类特征CF与聚类特征树CFTree2.3Birch聚类算法优缺点3.scikit-learn学习Birch聚类3.1Brich类参数4.实验代码与结果展示4.1完整代码4.2实现过程4.3实验结果1.作者介绍冯达,男... 查看详情
birch聚类算法的实现(代码片段)
目录1.作者介绍2.BIRCH聚类算法介绍2.1BIRCH聚类算法介绍2.2聚类特征CF与聚类特征树CFTree2.3Birch聚类算法优缺点3.scikit-learn学习Birch聚类3.1Brich类参数4.实验代码与结果展示4.1完整代码4.2实现过程4.3实验结果1.作者介绍冯达,男... 查看详情
一行小错为何产生巨大破坏-facebook史诗级故障大反思(代码片段)
...是生存的障碍,傲慢才是。10月4日FaceBook发生了一次史诗级中断事故,故障期间FaceBook所有旗下APP全面对外服务中断,而且故障的时间长达7个小时之久。根据Facebook最新的声明来看,故障的原因是由于工程师错误地... 查看详情