正文 

当前位置： 首页 > 代码 > java教程

机器学习之逐次下降法(机器学习算法原理与实践）郑捷

jude_python jude_python     2022-11-12     401

关键词：

逐次下降法的定义：

  1. 对于给定的方程组这里写图片描述，使用公式： 
    迭代公式 
    其中k为迭代次数（k=0,1,2,…） 
    逐步代入求近似解的方法称为迭代法
  2. 如果这里写图片描述存在（记为这里写图片描述），称此迭代法收敛，显然这里写图片描述就是方程组的解，否则称此迭代法发散。
  3. 研究这里写图片描述的收敛性。引进误差向量： 
    这里写图片描述 
    得到： 
    这里写图片描述 
    递推得到： 
    这里写图片描述 
    要考察这里写图片描述的收敛性，就要研究B在这里写图片描述或这里写图片描述的条件。

下面给出Python实现

# -*- coding: utf-8 -*-
import numpy as np
from numpy import *
from common_libs import *
import matplotlib.pyplot as plt

#消元发求解方程组的解
#求解元方程
def method_nomal():
A=mat([[8,-3,2],
[4,11,-1],
[6,3,12]])
b=mat([20,33,36])

result=linalg.solve(A,b.T)
print result

 

#迭代法进行计算
def interationMethod(n,B0,f):
error = 1.0e-6 # 迭代阈值
steps = 100 # 迭代次数
xk=zeros((n,1))
errorlist=[]
for i in range(steps):
xk_1=xk
xk=B0*xk+f
errorlist.append(linalg.norm(xk_1-xk))
if errorlist[-1]<error:
print i+1
break
print xk
return i,errorlist

 

 

method_nomal()
B0=mat([[0.0,3.0/8,-2.0/8],
[-4.0/11,0.0,1.0/11],
[-6.0/12,-3.0/12,0.0]])
print(B0)
f=mat([20.0/8,33.0/11,36.0/12])
[k,errorlist]=interationMethod(3,B0,f)

 


# 绘制散点图
matpts= zeros((2,k+1))
matpts[0]=linspace(1,k+1,k+1)
print matpts[0]
matpts[1]=array(errorlist)
drawScatter(plt,matpts)
plt.show()

 

郑捷《机器学习算法原理与编程实践》学习笔记（第七章预测技术与哲学）7.3岭回归

7.3岭回归7.3.1验证多重共线性7.3.2岭回归理论7.3.3岭际分析7.3.4k值的判断7.3.5辅助函数 （1）导入多维数据集：加载数据集defloadDataSet(filename):numFeat=len(open(filename).readline().split(‘ ‘))-1#getnumberoffieldsdataMat=[]labelMat=[]fr=ope 查看详情

郑捷《机器学习算法原理与编程实践》学习笔记（第六章神经网络初步）6.5boltzmann机算法

6.5Boltzmann机算法6.5.1问题的提出6.5.2模拟退化原理6.5.3Boltzmann分布与退火过程6.5.4Boltzmann机类与退火过程 　　Boltzmann网络初始时，需要根据参数设置一系列的初始值，主要参数在_init_中　　（1）构造方法如下classBoltzmannNet(object... 查看详情

郑捷《机器学习算法原理与编程实践》学习笔记（第七章预测技术与哲学）7.1线性系统的预测

 7.1.1回归与现代预测 7.1.2最小二乘法 7.1.3代码实现（1）导入数据defloadDataSet(self,filename):#加载数据集X=[];Y=[]fr=open(filename)forlineinfr.readlines():curLine=line.strip().split(‘ ‘)X.append(float(curLine[0]) 查看详情

郑捷《机器学习算法原理与编程实践》学习笔记（第二章中文文本分类—朴素贝叶斯算法）

（上接第二章）　　2.3分类算法：朴素贝叶斯　　2.3.1贝叶斯公式推导（略）　　分类的流程：　　　　第一阶段：训练数据生成训练样本集：TF-IDF　　第二阶段：对每个类别计算p（yi）。　　第三个阶段：对每个特征属性计算... 查看详情

郑捷《机器学习算法原理与编程实践》学习笔记（第三章决策树的发展）_scikit-learn与回归树

　　（上接第三章）　　　3.4Scikit-Learn与回归树　　3.4.1回归算法原理　　在预测中，CART使用最小剩余方差（squaredResidualsMinimization）来判断回归时的最优划分，这个准则期望划分之后的子树与样本点的误差方差最小。这样决策... 查看详情

郑捷《机器学习算法原理与编程实践》学习笔记（第六章神经网络初步）6.3自组织特征映射神经网路（smo）

 具体原理网址：http://wenku.baidu.com/link?url=zSDn1fRKXlfafc_tbofxw1mTaY0LgtH4GWHqs5rl8w2l5I4GF35PmiO43Cnz3YeFrrkGsXgnFmqoKGGaCrylnBgx4cZC3vymiRYvC4d3DF3自组织特征映射神经网络（Self-OrganizingFeatureMap。也称Kohonen映 查看详情

机器学习之梯度下降法

...描述如下：　　　以上就是梯度下降法的由来，大部分的机器学习任务，都可以利用Gr 查看详情

机器学习之梯度下降法

在吴恩达的机器学习课程中，讲了一个模型，如何求得一个参数令错误函数值的最小，这里运用梯度下降法来求得参数。首先任意选取一个θ令这个θ变化，怎么变化呢，怎么让函数值变化的快，变化的小怎么变化，那么函数值... 查看详情

机器学习之logistic回归算法

1Logistic回归算法的原理1.1需要的数学基础我在看机器学习实战时对其中的代码非常费解，说好的利用偏导数求最值怎么代码中没有体现啊，就一个简单的式子：θ=θ - α Σ[(hθ(x(i))-y(i) )]*xi。经过查找资料才知道，... 查看详情

机器学习之——正规方程法

1.梯度下降法(1)需要选择学习率a(2)需要多次迭代优点：梯度下降法在特征变量很多的情况下也能运行地相当好2.正规方程法(1)不需要选择学习率a(2)不需要迭代(3)正规方程法不需要做特征缩放 缺点：当正规方程法的特征矩阵维... 查看详情

机器学习之k-近邻算法实践学习

      关于本文说明，笔者原博客地址位于http://blog.csdn.net/qq_37608890，本文来自笔者于2017年12月04日22:54:26所撰写内容（http://blog.csdn.net/qq_37608890/article/details/78714664）。     查看详情

机器学习之adaboost算法原理

　　　　转自：http://www.cnblogs.com/pinard/p/6133937.html　　在集成学习原理小结中，我们讲到了集成学习按照个体学习器之间是否存在依赖关系可以分为两类，第一个是个体学习器之间存在强依赖关系，另一类是个体学习器之间不存... 查看详情

机器学习之学习率

 梯度下降法公式：求   就是找到一个 能够最小化代价函数J() 如何确保梯度下降正常工作？如何选择学习率a(learningrate)？今天就给大家总结一下学习率有关的知识当学习率a选择过大可能出现随着迭代次数... 查看详情

梯度下降法介绍-黑马程序员机器学习讲义

学习目标知道全梯度下降算法的原理知道随机梯度下降算法的原理知道随机平均梯度下降算法的原理知道小批量梯度下降算法的原理上一节中给大家介绍了最基本的梯度下降法实现流程，常见的梯度下降算法有：全梯度... 查看详情

梯度下降法

...ecent)是一个最优化算法，通常也称为最速下降法。常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。 二、原理  梯度下降法，顾名思义，从高处寻找最佳通往低处的方向 查看详情

机器学习之支持向量机（svm）的求解方法(代码片段)

...使用SMO等算法进行高效的求解。推导过程可以参考：机器学习之支持向量机之线性可分型原理介绍及代码实现（SVM）下面主要实现模型的求解方法。梯度下降法梯度下降法是一种比较普适的方法，当模型无法得出... 查看详情

机器学习之支持向量机（svm）的求解方法(代码片段)

...使用SMO等算法进行高效的求解。推导过程可以参考：机器学习之支持向量机之线性可分型原理介绍及代码实现（SVM）下面主要实现模型的求解方法。梯度下降法梯度下降法是一种比较普适的方法，当模型无法得出... 查看详情

集成学习之随机森林案例专题python机器学习系列（十七）(代码片段)

集成学习之随机森林案例专题【Python机器学习系列（十七）】文章目录1.Bagging与随机森林简介2.随机森林--分类任务2.1准备数据2.2python实现随机森林--分类任务2.3绘制ROC曲线与计算AUC2.4绘制决策树3.随机森林--回归任务集成... 查看详情