关键词：
机器学习100天，今天讲的是：最通俗地理解梯度下降算法！
一、下山问题
梯度下降算法的解释非常简单：局部下降最快的方向就是梯度的负方向！这是我们日常经验得到的，其本质的原因到底是什么呢？也许很多同学还不太清楚。没关系，接下来我将以通俗的语言来详细解释梯度下降算法公式的数学推导过程。
我们来看一个下山问题！
假设我们位于黄山的某个山腰处，山势连绵不绝，不知道怎么下山。于是决定走一步算一步，也就是每次沿着当前位置最陡峭最易下山的方向前进一小步，然后继续沿下一个位置最陡方向前进一小步。这样一步一步走下去，一直走到了山脚。这里的下山最陡的方向就是梯度的负方向。
首先理解什么是梯度？通俗来说，梯度就是表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在当前位置的导数。梯度的公式在这里：
∇ = d f ( θ
机器学习100天（十四）：014梯度下降算法求解线性回归
机器学习100天，今天讲的是：使用梯度下降算法求解线性回归问题。一、梯度下降更新公式之前我们介绍了正规方程法直接求解线性回归问题，但是梯度下降算法在机器学习中更为常用，因为面对复杂问题时，梯度下降算法能够... 查看详情
机器学习100天（十四）：014梯度下降算法求解线性回归
机器学习100天，今天讲的是：使用梯度下降算法求解线性回归问题。一、梯度下降更新公式之前我们介绍了正规方程法直接求解线性回归问题，但是梯度下降算法在机器学习中更为常用，因为面对复杂问题时，梯度下降算法能够... 查看详情
机器学习100天（十七）：017逻辑回归梯度下降
机器学习100天，今天讲的是：逻辑回归-梯度下降！在讲解了逻辑回归的基本原理和损失函数之后，我们来推导逻辑回归模型中参数w和b的梯度表达式。我们之前介绍过，计算逻辑回归的代价函数实际上包含了下面三个过程：Z=WTX+... 查看详情
机器学习100天（十七）：017逻辑回归梯度下降
机器学习100天，今天讲的是：逻辑回归-梯度下降！在讲解了逻辑回归的基本原理和损失函数之后，我们来推导逻辑回归模型中参数w和b的梯度表达式。我们之前介绍过，计算逻辑回归的代价函数实际上包含了下面三个过程：Z=WTX+... 查看详情
机器学习100天（三十三）：033kd树的python实现(代码片段)
《机器学习100天》完整目录：目录机器学习100天，今天讲的是：KD树的Python实现！打开spyder，我们新建一个kd_tree.py脚本。首先，我们新建一个类，名为Node，它定义了KD树节点中包含的数据结构。例如数据、深度、左节点、右节点... 查看详情
机器学习100天（二十三）：023欠拟合与过拟合
机器学习100天，今天讲的是欠拟合与过拟合！《机器学习100天》完整目录：目录一、过拟合与欠拟合机器学习中，我们构建一个模型，通常可能会遇到欠拟合或者过拟合的问题。以这张图为例，面对同样一批数据，我们建立了3... 查看详情
机器学习100天（二十三）：023欠拟合与过拟合
机器学习100天，今天讲的是欠拟合与过拟合！《机器学习100天》完整目录：目录一、过拟合与欠拟合机器学习中，我们构建一个模型，通常可能会遇到欠拟合或者过拟合的问题。以这张图为例，面对同样一批数据，我们建立了3... 查看详情
机器学习100天：004数据预处理之类别特征编码
机器学习100天，今天讲的是：数据预处理之类别特征编码。在上一节，我们对特征X的NaN值进行了平均数插值处理。我们打开X，查看第一列特征，国家这一列：发现这一列特征都是字符串，例如：法国、德国、韩国。大部分机器... 查看详情
机器学习100天：004数据预处理之类别特征编码
机器学习100天，今天讲的是：数据预处理之类别特征编码。在上一节，我们对特征X的NaN值进行了平均数插值处理。我们打开X，查看第一列特征，国家这一列：发现这一列特征都是字符串，例如：法国、德国、韩国。大部分机器... 查看详情
机器学习100天：001开发环境搭建
机器学习实战需要编写代码，选择一个好的IDE能大大提高我们的开发效率。基于Python的广泛使用，我们给大家介绍当前最流行的机器学习开发工具包：Anaconda。一、为什么选择Anaconda我们知道Python是人工智能的首选语言。为了更... 查看详情
机器学习100天（三十二）：032kd树的构造和搜索
机器学习100天，今天讲的是：KD树的构造和搜索！《机器学习100天》完整目录：目录在K近邻算法中，我们计算测试样本与所有训练样本的距离，类似于穷举法。如果数据量少的时候，算法运行时间没有大的影响，但是如果数据量... 查看详情
机器学习100天（十六）：016逻辑回归损失函数
机器学习100天，今天讲的是：逻辑回归损失函数。一、如何找到最佳分类直线讲完了逻辑回归基本原理之后，我们再来思考一个非常关键的问题：就是如何找到最佳的分类直线呢？如图中所示，如何判断这三条直线哪个更好？线... 查看详情
机器学习100天（十六）：016逻辑回归损失函数
机器学习100天，今天讲的是：逻辑回归损失函数。一、如何找到最佳分类直线讲完了逻辑回归基本原理之后，我们再来思考一个非常关键的问题：就是如何找到最佳的分类直线呢？如图中所示，如何判断这三条直线哪个更好？线... 查看详情
机器学习笔记十三：ensemble思想(上)
...人类直观理解的.用通俗的不能更通俗的话来说,要是一个机器学习器解决不了问题,那就多训练几个.再把这些学习器结合起来完成机器学习任务.可以类比开会,一群人讨论得到的解决办法一般比一个人拍板的要好.用过集成学习之... 查看详情
机器学习笔记十三：ensemble思想(上)
...人类直观理解的.用通俗的不能更通俗的话来说,要是一个机器学习器解决不了问题,那就多训练几个.再把这些学习器结合起来完毕机器学习任务.能够类比开会,一群人讨论得到的解决的方法一般比一个人拍板的要好.用过集成学习... 查看详情
机器学习笔记十三：ensemble思想(上)
...人类直观理解的.用通俗的不能更通俗的话来说,要是一个机器学习器解决不了问题,那就多训练几个.再把这些学习器结合起来完毕机器学习任务.能够类比开会,一群人讨论得到的解决的方法一般比一个人拍板的要好.用过集成学习... 查看详情
机器学习实战应用案例100篇（二十三）-粒子群算法从原理到实战应用案例(代码片段)
粒子群优化算法(原理)1粒子群算法简介粒子群算法(Particleswarmoptimization,PSO)是一种仿生算法，它是一种 在求解空间中寻找最优解 的简单算法。它与其他优化算法的不同之处在于，它只需要 目标函数，不依赖于目标的... 查看详情
机器学习100天（二十六）：026k近邻分类算法-理论
机器学习100天，今天讲的是：K近邻分类算法-理论。《机器学习100天》完整目录：目录一、什么是K近邻算法K近邻算法也叫KNN(k-NearestNeighbor)算法，它是一个比较成熟也是最简单的机器学习算法之一。K近邻分类算法的思路是：如果... 查看详情