菜鸟之路——机器学习之非线性回归个人理解及python实现(代码片段)

关键词：

关键词：

梯度下降：就是让数据顺着梯度最大的方向，也就是函数导数最大的放下下降，使其快速的接近结果。

Cost函数等公式太长，不在这打了。网上多得是。

这个非线性回归说白了就是缩小版的神经网络。

python实现：

 1 import numpy as np
 2 import random
 3 
 4 def graientDescent(x,y,theta,alpha,m,numIterations):#梯度下降算法
 5     xTrain =x.transpose()
 6     for i in range(0,numIterations):#重复多少次
 7         hypothesis=np.dot(x,theta)          #h函数
 8         loss=hypothesis-y
 9 
10         cost=np.sum(loss**2) / (2*m)
11         print("Iteration %d / cost:%f"%(i,cost))
12         graient=np.dot(xTrain,loss)/m
13         theta=theta-alpha*graient
14     return theta
15 
16 def getData(numPoints,bias,variance):#自己生成待处理数据
17     x=np.zeros(shape=(numPoints,2))
18     y=np.zeros(shape=numPoints)
19     for i in range(0,numPoints):
20         x[i][0]=1
21         x[i][1] = i
22         y[i]=(i+bias)+random.uniform(0,1)*variance
23     return x,y
24 
25 X,Y=getData(100,25,10)
26 print("X:",X)
27 print("Y:",Y)
28 
29 numIterations=100000
30 alpha=0.0005
31 theta=np.ones(X.shape[1])
32 theta=graientDescent(X,Y,theta,alpha,X.shape[0],numIterations)
33 print(theta)

运行结果：

......输出数据太多，只截取后面十几行

Iteration 99988 / cost:3.930135
Iteration 99989 / cost:3.930135
Iteration 99990 / cost:3.930135
Iteration 99991 / cost:3.930135
Iteration 99992 / cost:3.930135
Iteration 99993 / cost:3.930135
Iteration 99994 / cost:3.930135
Iteration 99995 / cost:3.930135
Iteration 99996 / cost:3.930135
Iteration 99997 / cost:3.930135
Iteration 99998 / cost:3.930135
Iteration 99999 / cost:3.930135
[30.54541676 0.99982553]

其中遇到一个错误。

TypeError: unsupported operand type(s) for *: ‘builtin_function_or_method‘ and ‘float‘

因为我第五行xTrain =x.transpose()。刚开始没加括号。直接用的xTrain =x.transpose

打印一下xTrain是

<built-in method transpose of numpy.ndarray object at 0x00000219C1D14850>

只是创建了一个transpose方法，并没有真的给x转置。加上括号就好了。再打印xTrain就能正常显示转置后的x了

菜鸟之路——机器学习之hierarchicalclustering层次分析及个人理解(代码片段)

这个算法。我个人感觉有点鸡肋。最终的表达也不是特别清楚。原理很简单，从所有的样本中选取Euclideandistance最近的两个样本，归为一类，取其平均值组成一个新样本，总样本数少1；不断的重复，最终样本数为1。这样的话就... 查看详情

菜鸟之路——机器学习之bp神经网络个人理解及python实现(代码片段)

关键词：输入层（Inputlayer）。隐藏层（Hiddenlayer）。输出层（Outputlayer）理论上如果有足够多的隐藏层和足够大的训练集，神经网络可以模拟出任何方程。隐藏层多的时候就是深度学习啦没有明确的规则来设计最好有多少个隐藏... 查看详情

机器学习之线性回归

...归。优点：结果易于理解，计算上不复杂。 缺点：对非线性数据拟合不好。 适用数 查看详情

机器学习之线性回归(代码片段)

...优缺点：?优点：结果易于理解，计算上不复杂?缺点：对非线性的数据拟合不好?适用数据类型：数值型和标称型数据回归的目的：预测数值型的目标值预测汽车功率大小的计算公式：功率=0.0015*耗油量+0.99*百米加速时长(纯属虚构... 查看详情

机器学习之线性回归以及logistic回归

1、线性回归回归的目的是预测数值型数据的目标值。目标值的计算是通过一个线性方程得到的，这个方程称为回归方程，各未知量（特征）前的系数为回归系数，求这些系数的过程就是回归。对于普通线性回归使用的损失函数... 查看详情

机器学习之一元线性回归模型

一元线性回归模型样本数量m           输入变量x              输出变量y    &nb 查看详情

机器学习之线性回归岭回归lasso回归(代码片段)

...性数据，结果易于理解，计算复杂度不高，但是处理不了非线性数据。线性回归用最适直线(回归线)去建立因变量Y和一个或多个自变量X之间的关系。可以用公式来表示：Y=wX+b。其中w为权重，也称为回归系数，b为偏置顶。3、理... 查看详情

机器学习之线性回归---logistic回归---softmax回归

1摘要     本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识。前四节主要讲述了回归问题，回归属于有监督学习中的一种方法。该方法的核心思想是从连续型统计数据中得到数学... 查看详情

javascript机器学习之线性回归

译者按:AI时代，不会机器学习的JavaScript开发者不是好的前端工程师。原文:MachineLearningwithJavaScript:Part1译者:Fundebug为了保证可读性，本文采用意译而非直译。另外，本文版权归原作者所有，翻译仅用于学习。使用JavaScript做机器学... 查看详情

机器学习之线性回归(代码片段)

文章目录评价方法一元线性回归np.polyfit求解带入公式求解化简公式求解lstsq求解多元线性回归代码实现一元多项式回归代码实现参考评价方法回归问题有很多的评价方法。这里主要想写一下R^2的计算方法。需要计算R^2需要先弄清... 查看详情

机器学习之线性回归

1.机器学习算法**监督学习：**已经知道类别的样本，通过一定的模型或者是特定的算法，可以预测出某种特定的结果，例如预测房价，最终可以预测出房价是什么，或者是预测肿瘤疾病，判断肿瘤是良... 查看详情

机器学习之线性回归

1.机器学习算法**监督学习：**已经知道类别的样本，通过一定的模型或者是特定的算法，可以预测出某种特定的结果，例如预测房价，最终可以预测出房价是什么，或者是预测肿瘤疾病，判断肿瘤是良... 查看详情

机器学习之线性回归(代码片段)

以kaggle上的HousePrices:AdvancedRegressionTechniques为例讲述线性回归fromsklearn.linear_modelimportLinearRegression,RidgeCV,LassoCV,ElasticNetCV1、回归模型（1）一般线性回归：LinearRegressionwithoutregularizationfromsklearn.linear_modelimportLinearRegressionlr=LinearRegression... 查看详情

20171028机器学习之线性回归过拟合问题的解决方案

在函数中加入一个正则项： 三种方式：一、Ridge回归（岭回归）：　　优点：具有较高的准确性、鲁棒性以及稳定性　　缺点：求解速度慢二、Lasso回归：　　优点：求解速度快（原理降维计算，把数据维度中存在的噪音和... 查看详情

机器学习之linearregression线性回归(代码片段)

一、预测先来看看这样一个场景：假如你手头有一套房子要出售，你咨询了房产中介。中介跟你要了一系列的数据，例如房子面积、位置、楼层、年限等，然后进行一系列计算后，给出了建议的定价。房产中介是如何帮你定价的... 查看详情

机器学习之线性回归算法

...回归算法总结：　　回归是统计学中最有力的工具之一。机器习监督学习算法分为分类算法和回归算法两种，其实就是根据类别标签分布类型为离散型、连续性而定义的。回归算法用于连续型分布预测，针对的是数值型的样本，... 查看详情

机器学习之逻辑回归

1.用自己的话描述一下，什么是逻辑回归，与线性回归对比，有什么不同？逻辑回归又称逻辑回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域；与线性回归相比大致有两大不同：①... 查看详情

机器学习之线性回归概念总结速记

目录线性回归简介线性回归应用场景线性回归定义线性回归模型线性回归初步使用步骤分析代码过程线性回归的损失和优化损失函数优化算法正规方程梯度下降梯度的概念梯度下降和正规方程的对比算法选择依据欠拟合和过拟合... 查看详情