k近邻算法简单介绍——机器学习(代码片段)

神的孩子都在歌唱 神的孩子都在歌唱     2022-12-25     193

关键词:

悄悄介绍自己:

作者:神的孩子在跳舞
本人是快升大四的小白,在山西上学,学习的是python方面的知识,希望能找到一个适合自己的实习公司,哪位大佬看上我的可以留下联系方式我去找您,或者加我微信chenyunzhiLBP

一. 简介

  1. 简单理解:以你为起点找到最接近你的那个点
  2. 定义:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。
  3. 常用公式

以下公式是我个人方便理解写的,具体方法自行百度
(1) 欧式距离(Euclidean Distance):平面内,已知两点求直线距离
(2)曼哈顿距离(Manhattan Distance):平面内,已知两点求垂直距离
(3)切比雪夫距离 (Chebyshev Distance):方格中,直行、横行、斜行
(4)闵可夫斯基距离(Minkowski Distance)
(5)标准化欧氏距离 (Standardized EuclideanDistance):将各个分量都“标准化”到均值、方差相等
(6)余弦距离 (Cosine Distance)

二. KNN算法API使用

2.1 导入Scikit-learn工具

  1. 安装scikit-learn需要Numpy, Scipy等库
pip3 install scikit-learn==0.19.1
import sklearn
  1. 包含内容
    (1)分类、聚类、回归
    (2)特征工程
    (3)模型选择、调优

2.2 k-近邻算法API案例

API介绍

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')
  1. n_neighbors:int类型(默认= 5),n_neighbors查询默认使用的邻居数

我们一般将n_neighbors叫做k值,K值过小:​ 容易受到异常点的影响,k值过大:​ 受到样本均衡的问题

  1. algorithm:‘auto’,‘ball_tree’,‘kd_tree’,‘brute’

快速k近邻搜索算法,默认参数为auto,可以理解为算法自己决定合适的搜索算法。除此之外,用户也可以自己指定搜索算法ball_tree、kd_tree、brute方法进行搜索,

(1)brute:是蛮力搜索,也就是线性扫描,当训练集很大时,计算非常耗时。比如问是1吗?不是,是0么?是,一个个问
(2)kd_tree:构造kd树存储数据以便对其进行快速检索的树形数据结构,kd树也就是数据结构中的二叉树。以中值切分构造的树,每个结点是一个超矩形,在维数小于20时效率高。
(3)ball_tree:特征值大于20,就用ball_tree

  1. 实现流程

(1)计算已知类别数据集中的点与当前点之间的距离
(2)按距离递增次序排序
(3)选取与当前点距离最小的k个点
(4)统计前k个点所在的类别出现的频率
(5)返回前k个点出现频率最高的类别作为当前点的预测分类

  1. 代码演示
#导入模块
from sklearn.neighbors import KNeighborsClassifier
import matplotlib.pyplot as plt

#获取数据
x = [[0], [1], [2], [3]]
y = [0, 0, 1, 1]
#机器学习——模型训练
# 实例化API
estimator = KNeighborsClassifier(n_neighbors=2)
print(estimator)
# 使用fit方法进行训练
estimator.fit(x, y)
print(estimator.fit(x, y))
estimator.predict([[2]])

输出

KNeighborsClassifier(n_neighbors=2)
KNeighborsClassifier(n_neighbors=2)
array([0])

本人博客:https://blog.csdn.net/weixin_46654114
本人b站求关注:https://space.bilibili.com/391105864
转载说明:跟我说明,务必注明来源,附带本人博客连接。

请给我点个赞鼓励我吧

机器学习(算法篇)——k-近邻算法(代码片段)

目录K-近邻算法简介K-近邻算法(KNN)概念实现流程k近邻算法api初步使用机器学习流程:Scikit-learn工具介绍Scikit-learn包含的内容K-近邻算法API距离度量欧式距离(EuclideanDistance)曼哈顿距离(ManhattanDistance)切比雪夫距离(ChebyshevDistance)... 查看详情

机器学习分类算法--k近邻算法knn(代码片段)

一、K近邻算法基础KNN-------K近邻算法--------K-NearestNeighbors思想极度简单应用数学知识少(近乎为零)效果好(缺点?)可以解释机器学习算法使用过程中很多细节问题更完整的刻画机器学习应用的流程 importnumpyasnpimportmatplotlib... 查看详情

机器学习sklearn的k近邻算法api初步使用(代码片段)

目录1k近邻算法api初步使用2Scikit-learn工具介绍2.1安装2.2Scikit-learn包含的内容3K-近邻算法API4案例4.1步骤分析4.2代码过程5小结1k近邻算法api初步使用K近邻算法介绍:https://blog.csdn.net/ZGL_cyy/article/details/125583129机器学习流程复习... 查看详情

机器学习实战——k-近邻算法(代码片段)

...了!《机器学习实战》这本书中的第二章为我们介绍了K-近邻算法,这是本书中第一个机器学习算法,它非常有效而且易于掌握,所以可以算是入门级算法了。那我们现在就一起去学习一下!2.1k-近邻算法概述简单的说,k-近邻算... 查看详情

机器学习k近邻算法鸢尾花种类预测(代码片段)

目录1再识K-近邻算法API2案例:鸢尾花种类预测2.1数据集介绍2.2步骤分析2.3代码过程3案例小结4KNN算法总结4.1k近邻算法优缺点汇总1再识K-近邻算法APIsklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm=‘auto’)n_neighbors:i... 查看详情

机器学习k-近邻算法(代码片段)

目录1K-近邻算法简介2K-近邻算法(KNN)2.1定义2.2距离公式3电影类型分析3.1问题3.2K-近邻算法数据的特征工程处理4K-近邻算法API5案例:预测签到位置5.1分析5.2代码5.3结果分析6K-近邻总结1K-近邻算法简介目标说明K-近邻算法的距离... 查看详情

《机器学习实战》-k近邻算法(代码片段)

目录K-近邻算法k-近邻算法概述解析和导入数据使用Python导入数据实施kNN分类算法测试分类器使用k-近邻算法改进约会网站的配对效果收集数据准备数据:使用Python解析文本文件分析数据:使用Matplotlib画二维散点图准备数据:归... 查看详情

基本机器学习算法思想以及编程实现(代码片段)

概要把常用的机器学习算法:\(k\)-近邻算法、决策树、朴素贝叶斯、\(K\)-均值聚类其思想有及python代码实现总结一下。做到既要知其然又要知其所以然。参考《机器学习实战》。??\(k\)-近邻算法?基本原理?\(k\)-近邻算法是分类数... 查看详情

机器学习实战---k-近邻(代码片段)

一:简单实现K-近邻算法(一)导入数据importnumpyasnpimportmatplotlib.pyplotaspltimportpandasaspddefCreateDataSet():data=np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])labels=np.array([‘A‘,‘A‘,‘B‘,‘B‘])returndata,labelsda 查看详情

机器学习实战task1(knn)k近邻算法的应用(代码片段)

1背景1.1k近邻算法的概述(1)k近邻算法的简介k-近邻算法是属于一个非常有效且易于掌握的机器学习算法,简单的说就是采用测量不同特征值之间距离的方法对数据进行分类的一个算法。(2)k近邻算法的工作... 查看详情

机器学习:k-近邻分类

   今天的主题为:K-近邻分类算法。主要包括对算法的解释及理解,以及对算法用实例代码展示出来。    K-近邻算法属于分类的一种,由之前机器学习简介中所介绍的,分类是需要一些样本数据来供算法进行学习,因... 查看详情

机器学习实战☛k-近邻算法(k-nearestneighbor,knn)(代码片段)

机器学习实战☛k-近邻算法(K-NearestNeighbor,KNN)文章目录机器学习实战☛k-近邻算法(K-NearestNeighbor,KNN)k-近邻算法概述原理简介k-近邻算法一般流程伪代码与实现示例:使用kNN改进约会网站的配对效... 查看详情

机器学习k近邻算法(代码片段)

k临近算法(解决分类问题):  已知数据集,以及该数据对应类型  给出一个数据x,在已知数据集中选择最接近x的k条数据,根据这k条数据的类型判断x的类型具体实现:fromnumpyimport*importoperatordefcreateDataSet():group=array([[1.0,1.... 查看详情

机器学习机器学习分类算法--k近邻算法knn(下)(代码片段)

六、网格搜索与K邻近算法中更多的超参数七、数据归一化FeatureScaling解决方案:将所有的数据映射到同一尺度      八、scikit-learn中的Scalerpreprocessing.pyimportnumpyasnpclassStandardScaler:def__init__(self):self.mean_=None 查看详情

machinelearninginaction机器学习——第二章k-近邻算法代码详解(代码片段)

一、近邻算法的定义与作用也就是意义k-近邻算法,近邻算法近邻算法顾名思义,找到最近的点然后进行归纳,距离哪些点最近这个点就属于那个类。这和线性回归算法有异曲同工之妙,但是我感觉还是一元线性... 查看详情

机器学习100天(三十):030k近邻分类算法-k值的选择(代码片段)

机器学习100天,今天讲的是:K近邻分类算法-K值的选择。《机器学习100天》完整目录:目录上一节我们讲了K折交叉验证的理论,下面我们将K折交叉验证算法应用到K近邻分类算法中,用来选择最合适的超参数K值。数据集iris_data.c... 查看详情

机器学习100天(三十):030k近邻分类算法-k值的选择(代码片段)

机器学习100天,今天讲的是:K近邻分类算法-K值的选择。《机器学习100天》完整目录:目录上一节我们讲了K折交叉验证的理论,下面我们将K折交叉验证算法应用到K近邻分类算法中,用来选择最合适的超参数K值。数据集iris_data.c... 查看详情

k近邻算法api初步使用(代码片段)

...含的内容 分类、聚类、回归特征工程模型选择、调优2K-近邻算法APIsklearn.neighbors.KNeighborsClassifier(n_neighbors=5)n_neighbors:int,可选(默认=5),k_neighbors查询默认使用的邻居数3案例3.1步骤分析1.获取数据集2.数据... 查看详情