机器学习100天（三十一）：031k近邻回归算法

红色石头Will  红色石头Will  2023-01-13  492

关键词：

机器学习100天，今天讲的是：K 近邻回归算法！

一、理论介绍

我们之前讲了 K 近邻分类算法，用来处理分类问题。其实 K 近邻也可以用来处理回归问题。

如左图所示，K 近邻分类算法的思路是选取与测试样本距离最近的前 k 个训练样本。然后对着 k 个训练样本的 label 进行投票，票数最多的那一类别即为测试样本的类别。

而 K 近邻回归算法也是类似，如右图所示，即选取与测试样本距离最近的前 K 个训练样本，以这 K 个训练样本的平均值作为测试样本的回归预测值。例如在房价预测问题中， $K$

机器学习100天，今天讲的是：K近邻分类算法-K值的选择。《机器学习100天》完整目录：目录上一节我们讲了K折交叉验证的理论，下面我们将K折交叉验证算法应用到K近邻分类算法中，用来选择最合适的超参数K值。数据集iris_data.c... 查看详情

机器学习100天，今天讲的是：K近邻分类算法-理论。《机器学习100天》完整目录：目录一、什么是K近邻算法K近邻算法也叫KNN(k-NearestNeighbor)算法，它是一个比较成熟也是最简单的机器学习算法之一。K近邻分类算法的思路是：如果... 查看详情

机器学习100天，今天讲的是：K近邻分类算法-Python实现。《机器学习100天》完整目录：目录一、导入数据集我们打开spyder，新建一个knn.py脚本。首先导入标准库，然后导入数据集iris_data.csv文件。数据集下载地址：iris_data.csv，提... 查看详情

机器学习100天，今天讲的是：使用梯度下降算法求解线性回归问题。一、梯度下降更新公式之前我们介绍了正规方程法直接求解线性回归问题，但是梯度下降算法在机器学习中更为常用，因为面对复杂问题时，梯度下降算法能够... 查看详情

机器学习100天，今天讲的是：KD树的构造和搜索！《机器学习100天》完整目录：目录在K近邻算法中，我们计算测试样本与所有训练样本的距离，类似于穷举法。如果数据量少的时候，算法运行时间没有大的影响，但是如果数据量... 查看详情

...https://github.com/Avik-Jain/100-Days-Of-ML-Code项目中介绍了常见的机器学习算法，包含了基础介绍、资源内容、代码细节等内容，帮助初学者在100天内逐步探索机器学习的实践细节，可以说对于0基础用户非常的友好，如果... 查看详情

机器学习100天，今天讲的是：逻辑回归基本原理一、线性回归与逻辑回归我们之前介绍过线性回归，我们知道线性回归用于数值预测，例如房屋价格预测、信用卡额度预测等。线性回归最重要的一点就是它的预测值，即因变量一... 查看详情

机器学习100天，今天讲的是：线性回归评估指标！一、哪个模型更好？我们之前已经对房价预测的问题构建了线性模型，并对测试集进行了预测。如图所示，横坐标是地区人口，纵坐标是房价，红色的点是实际样本分布。使用不... 查看详情

《机器学习100天》完整目录：目录机器学习100天，今天讲的是：朴素贝叶斯-处理连续数据！打开spyder，新建一个naive_bayes_gauss.py脚本。首先导入标准库。然后导入数据集，这里我们选择鸢尾花数据集。数据集的下载地址：数据集... 查看详情

机器学习100天，今天讲的是：K折交叉验证！《机器学习100天》完整目录：目录机器学习中，我们常会遇到一个问题，就是超参数的选择，超参数就是机器学习算法中的调优参数，比如上一节K近邻算法中的K值。K折交叉验证就是... 查看详情