关键词：
Logistic回归的主要目的：寻找一个非线性函数sigmod最佳的拟合参数
拟合、插值和逼近是数值分析的三大工具
回归：对一直公式的位置参数进行估计
拟合：把平面上的一些系列点，用一条光滑曲线连接起来
logistic主要思想：根据现有数据对分类边界线建立回归公式、以此进行分类
sigmoid函数：在神经网络中它是所谓的激励函数。当输入大于0时，输出趋向于1，输入小于0时，输出趋向0，输入为0时，输出为0.5
梯度上升：要找到某个函数的最大值，最好的方法是沿着该函数的梯度方向探寻
收敛：随着迭代的运行算法的结果和真实结果的误差越来越小，且趋向于一个固定值。
爬山算法：是完完全全的贪心算法，每次鼠目寸光的选择一个当前最优解，英雌只能搜寻到局部最优值
模拟退火算法：也是一种贪心算法但它的sou索过程引入了随机因素，模拟退火算法以一定的概念来接受一个比当前解要差的解，因此有可能会跳出这个局部最优解，达到全局最优解。
处理数据中的缺失值：
使用可用特征的均值来填补缺失值
使用特殊值来填补缺失值，如-1
忽略有缺失值的样本
使用相似样本的均值添补缺失值
使用其它机器学习算法预测缺失值
标签与特征不同，很难确定采用某个合适的值来替换。
本文出自 “付炜超” 博客，谢绝转载！
《机器学习实战》logistic回归算法
=====================================================================《机器学习实战》系列博客是博主阅读《机器学习实战》这本书的笔记也包含一些其他python实现的机器学习算法 查看详情
机器学习实战笔记logistic回归
参考链接http://blog.csdn.net/lu597203933/article/details/38468303Logistic代码#Logistic回归分类使用梯度上升找最佳参数importnumpyasnpdefloadDataSet():datMat=[];labelMat=[]fr=open(‘testSet.txt‘)forlineinfr.readlines():lineAr 查看详情
机器学习实战精读--------决策树
感觉自己像个学走路的孩子，每一步都很吃力和认真！机器根据数据集创建规则，就是机器学习。决策树：从数据集合中提取一系列规则，适用于探索式的知识发现。决策树本质：通过一系列规则对数据进行分类的过程。决策树... 查看详情
机器学习实战精读--------回归
回归的目的是预测数值型的目标值神经网络学习机理：分解和整合回归：求回归系数的过程最小二乘法：它的主要思想就是选择未知参数，使得理论值与观测值之差的平方和达到最小欠拟合：模型没有很好地捕捉到数据特征，不... 查看详情
机器学习实战精读--------apriori算法
关联分析（关联规则学习）：从大规模数据集中寻找物品间的隐含关系，Apriori算法：一种挖掘关联规则的频繁项算法，其核心是通过候选集生成和情节的向下封闭检测ll阶段来挖掘频繁项集，它是最具影响的挖掘布尔关联规则频... 查看详情
[机器学习实战]logistic回归
1.Logistic回归： 1）优点：计算代价不高，易于理解和实现； 2）缺点：容易欠拟合，分类精度可能不高； 3）适用数据类型：数值型和标称型数据； 2.分类思想： 根据现有数据对分类边界线建立回归公式，以此... 查看详情
机器学习实战精读--------奇异值分解（svd）
奇异值分解（SVD）：是一种强大的降维工具，通过利用SVD来逼近矩阵并从中提取重要特征，通过保留矩阵80%~90%的能量，就能得到重要的特征并去掉噪声SVD分解会降低程序的速度，大型系统中SVD每天运行一次或者频率更低，并且... 查看详情
机器学习实战第五章logistic回归(代码片段)
defgradAscent(dataMatIn,classLabels):dataMatrix=mat(dataMatIn)#converttoNumPymatrixlabelMat=mat(classLabels).transpose()#converttoNumPymatrixm,n=shape(dataMatrix)alpha=0.001maxCycles=500weights=ones(( 查看详情
机器学习实战第5章logistic回归
第5章Logistic回归Logistic回归概述Logistic回归虽然名字叫回归，但是它是用来做分类的。其主要思想是:根据现有数据对分类边界线建立回归公式，以此进行分类。须知概念Sigmoid函数回归概念假设现在有一些数据点，我们用一条直线... 查看详情
机器学习实战精读--------主成分分析（pca）
对数据进行简化的原因：①使得数据集更容易使用②降低许多算法的计算开销③去除噪声④使得结果易懂方差是衡量数据源和期望值相差的度量值。PCA：数据从原来的坐标系转换到新的坐标系，新坐标系是有数据本身决定的。因... 查看详情
[机器学习实战-logistic回归]使用logistic回归预测各种实例(代码片段)
[机器学习实战-Logistic回归]使用Logistic回归预测各种实例目录[机器学习实战-Logistic回归]使用Logistic回归预测各种实例本实验代码已经传到gitee上，请点击查收！一、实验目的二、实验内容与设计思想实验内容设计思想三、实验使... 查看详情
机器学习实战精读--------fp-growth算法
从数据集获取有趣信息的方法：常用的两种分别是频繁项集和关联规则。FP-growth：虽然可以高效的发现频繁项集，但是不能用于发现关联规则。FP-growth算法只需要对数据库进行两次扫描，速度要比Apriori算法块。FP-growth发现频繁... 查看详情
机器学习实战精读--------k-均值聚类算法
一个聚类算法只需要知道如何计算相似度就可以了K-均值（k-means）聚类算法：该算法可以发现K个不同的簇，每个簇的中心采用簇中所安置的均值计算而成。分层聚类算法①BIRCH算法：结合了层次聚类算... 查看详情
《机器学习实战》学习笔记：logistic回归(代码片段)
欢迎关注WX公众号：【程序员管小亮】【机器学习】《机器学习实战》读书笔记及代码总目录https://blog.csdn.net/TeFuirnever/article/details/99701256GitHub代码地址：https://github.com/TeFuirnever/Machine-Learning-in-Action——————————... 查看详情
机器学习实战------利用logistics回归预测病马死亡率
...战部分一直托更，很不好意思。本文实验数据与代码来自机器学习实战这本书，倾删。一：前期代码准备1.1数据预处理还是一样，设置两个数组，前两个作为特征值，后一个作为标签。当然这是简单的处理，实际开发中特征值都... 查看详情
机器学习实战 logistic回归(代码片段)
logistic回归梯度上升法importnumpyasnp"""function:加载数据parameter:无returns:dataMat-数据集labelMat-标签集"""defloadDataSet():dataMat=[]#数据集labelMat=[]#标签集fr=open('testSet.txt')forlineinfr.readlines():lineArr=line.strip().split()dat... 查看详情
机器学习实战四（logisticregression）
机器学习实战四（LogisticRegression）这一章会初次接触最优化算法，在日常生活中应用很广泛。这里我们会用到基本的梯度上升法，以及改进的随机梯度上升法。Logistic回归优点：计算代价不高，易于理解和实现缺点：容易欠拟合... 查看详情
机器学习实战之logistic回归
...2.logistic回归分类函数 一、概述 分类技术是机器学习和数据挖掘应用中的重要组成部分。在数据科学中，大约70%的问题属于分类问题。解决分类问题的算法也有很多种，比如 查看详情