关键词：

阅读对象：了解指示函数,了解训练集、测试集的概念。

1.简介

knn算法是监督学习中分类方法的一种。所谓监督学习与非监督学习，是指训练数据是否有标注类别，若有则为监督学习，若否则为非监督学习。所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类（加权），就把该输入实例分类到这个类中。

最初的近邻法是由Cover和Hart于1968年提出的，随后得到理论上深入的分析与研究，是非参数法中最重要的方法之一，它在论文Nearest Neighbor Pattern Classification中给出了算法准确率的详细描述，最近邻法的错误率是高于贝叶斯错误率。[没来得及看，标注，方便以后翻阅]

knn计算输入实例与每一个训练实例的距离，当训练集很大时，计算非常耗时，为了提高knn搜索的效率，可以考虑使用特殊结构存储训练数据，以减少计算距离的次数。[见参考资料1，本篇数据不大，暂时没有看]

2.k-最近邻分类算法

图1来自参考文献2

3.knn特性

计算量大、对噪声敏感、样本各个属性的量纲差异很大时要进行数据预处理。

图2来自参考文献2

 

 

 

参考资料：

[1]《统计学习方法》, 李航,P41-44

[2]数据挖掘导论（完整版）,Pang-Ning Tan、Michael Steinbach、Vipin Kumar著（范明、范宏建等译）,P137-139

 

end!!

大数据学习笔记-knn算法

...用这个分类模型来预测待分类样本。建立一个有效的分类算法模型最终将待分类的样本进行处理是非常有必要的。目前常用的分类算法主要有：朴素贝叶斯分类算法（NaïveBayes）、支持向量机分类算法（SupportVectorM... 查看详情

1.knn算法

...”这两个判断就是标签 一、介绍   KNN分类算法，是理论比较成熟，最简单的机器学习算法之一，既可用于分类，又可应用于回归   核心思想：计算一个样本在特征空间中的k个最相邻的样本，k个样本大... 查看详情

大数据学习笔记-knn算法

...用这个分类模型来预测待分类样本。建立一个有效的分类算法模型最终将待分类的样本进行处理是非常有必要的。目前常用的分类算法主要有：朴素贝叶斯分类算法（NaïveBayesÿ 查看详情

机器学习算法---knn

...征最接近；   K最近邻(k-NearestNeighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相 查看详情

《机器学习实战》读书笔记2：k-近邻(knn)算法

...解，另外修改了部分代码，并添加了注释1、什么是K-近邻算法？简单地说，k-近邻算法采用测量不同特征值之间距离的方法进行分类。不恰当但是形象地可以表述为近朱者赤，近墨者黑。它有如下特点：优点：精度高、对异常值... 查看详情

机器学习-k-近邻算法(代码片段)

TableofContents前言算法介绍距离计算算法实现数据转换K值选取结语前言K-近邻算法(k-nearestneighborsalgorithm)，又称为KNN算法，是这学期机器学习课教的第一个算法，也是我接触的第一个机器学习算法。学习之后的感触便是：机器学习... 查看详情

机器学习-knn算法(代码片段)

从KNN算法步入机器学习殿堂本文中介绍的机器学习算法中的一种监督学习的算法：KNN算法，全称是K-NearestNeighbor，中文称之为K近邻算法。它是机器学习可以说是最简单的分类算法之一，同时也是最常用的分类算法... 查看详情

knn(代码片段)

一、KNN分类算法 K最近邻(K-NearestNeighbor,KNN)算法，是著名的模式识别统计学方法，在机器学习分类算法中占有相当大的地位。它是一个理论上比较成熟的方法。既是最简单的机器学习算法之一，也是基于实例的学习方法中最基... 查看详情

r语言学习笔记—k近邻算法(代码片段)

K近邻算法（KNN)是指一个样本如果在特征空间中的K个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。即每个样本都可以用它最接近的k个邻居来代表。KNN算法适合分类，也适... 查看详情

（理论和代码相结合）knn（最近邻）算法⭐(代码片段)

KNN：一种非参数、惰性学习方法，导致预测时速度慢当训练样本集较大时，会导致其计算开销高样本不平衡时，对稀有类别的预测准确率低KNN模型的可解释性不强文章目录KNN（思想：物以类聚）一、距... 查看详情

ng机器学习视频笔记——k-均值算法理论

ng机器学习视频笔记（十一）——K-均值算法理论  （转载请附上本文链接——linhxx） 一、概述        K均值（K-Means）算法，是一种无监督学习（Unsupervisedlearning）算法，其核心是聚类（Clus... 查看详情

机器学习--diy笔记与感悟--①k-临近算法(代码片段)

...之后的所作所想记录在此。 今天我开始第一课--K临近算法。 一、k-临近的基础概念理解学习开始前，我将用最简单的话来解释k-临近算法的思想。K最近邻(k-NearestNeighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是... 查看详情

通过knn算法，确定球星的风格（很水）

KNN算法，故名思议，K个最邻近值的分类算法。监督学习中的一种，典型的懒人算法，通过计算所有的预测样本到学习样本的距离，选取其中K个最小值加入样本组中，样本组中的样本隶属于那个分类的个数最多，那么我们就预测... 查看详情

机器学习100天（二十六）：026k近邻分类算法-理论

机器学习100天，今天讲的是：K近邻分类算法-理论。《机器学习100天》完整目录：目录一、什么是K近邻算法K近邻算法也叫KNN(k-NearestNeighbor)算法，它是一个比较成熟也是最简单的机器学习算法之一。K近邻分类算法的思路是：如果... 查看详情

⭐（理论和代码相结合）knn（最近邻）算法——分类问题和回归问题都能做的算法(代码片段)

KNN：一种非参数、惰性学习方法，导致预测时速度慢当训练样本集较大时，会导致其计算开销高样本不平衡时，对稀有类别的预测准确率低KNN模型的可解释性不强文章目录KNN（思想：物以类聚）一、距... 查看详情

第2章knn算法笔记_函数classify0

《机器学习实战》知识点笔记目录　 K-近邻算法(KNN)思想：1，计算未知样本与所有已知样本的距离2，按照距离递增排序，选前K个样本(K<20)3，针对K个样本统计各个分类的出现次数，取最大次数的分类为未知样本的分类 ... 查看详情

机器学习——knnk-邻近算法

KNN分类算法，是理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。KNN算法中... 查看详情

手写数字识别的k-近邻算法实现

...转载）前言手写字符识别是机器学习的入门问题，k-近邻算法（kNN算法）是机器学习的入门算法。本文将介绍k-近邻算法的原理、手写字符识别问题分析、手写字符识别的kNN实现、测试。kNN算法原理kNN算法是一种分类算法，即如... 查看详情