关键词：

机器学习算法总结

一、Bagging之决策树、随机森林原理与案例

二、boosting之GBDT、XGBT原理推导与案例

三、SVM原理推导与案例

四、逻辑回归与反欺诈检测案例

五、聚类之K-means

---

四、逻辑回归

1、概述

1. 由线性回归变化而来的，应用于分类问题中的广义回归算法。

2. 组成：

   • 回归函数
     $$z=w_1{x}_1+w_2{x}_2+...+w_n{x}_n+b=\left[\begin{array}{c}{w}_1{w}_2{w}_{n}b\end{array}\right]\ast \left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\\ 1\end{array}\right]=w^{T}X$$

• 激活函数/sigmoid函数

$$g(z)=\frac{1}{1+e^{-z}}$$

$$\begin{array}{lc}\frac{{\delta }^{\prime }g(z)}{\delta z}& =-(1+e^{-z}{)}^{-2}\ast e^{-z}\ast -1=\frac{e^{-z}}{(1+e^{-z}{)}^2}=\frac{1}{1+e^{-z}}\ast \frac{1+e^{-z}-1}{1+e^{-z}}\\ & =sigmoid\ast (1-sigmoid)\end{array}$$

3. 机率/统计学几率：事件发生的概率与该事件不发生的概率的比值

4. 对数几率：分类为1的概率/分类不为1的概率的比值再取对数
   $$ln(\frac{g(z)}{1-g(z)})=ln(\frac{\frac{1}{1+e^{-z}}}{1-\frac{1}{1+e^{-z}}})=ln(e^z)=z$$
   可以看出：逻辑回归中线性回归部分预测结果是在求预测为1的几率(取对数)

2、原理

2.1、损失函数

衡量参数w优劣的评估指标，用来求解最优参数的工具。

注：没有“求解参数”需求的模型没有损失函数，比如决策树、knn、随机森林
$$\begin{gathered} J(w)=-\sum _{i=1}^n[y_{i}lo{g}_{2}g(x_i)+(1-y_i)lo{g}_2(1-g(x_i))] \\ n:样本数量；x_i,y_i：样本特征和真实标签 \end{gathered}$$

2.2、损失函数推导方式1

对 于 二 分 类 为 例 ： 设 p = g ( y i ^ = 1 ∣ x i ,

实战案例｜基于机器学习的python信用卡欺诈检测！(代码片段)

...关重要的一部分。为了解决这个问题，我们需要利用机器学习算法构建一个异常行为的识别系统，如果发现可疑，中止操作。在本文中，我将分享 查看详情

机器学习总结线性回归与逻辑回归

线性回归（LinearRegression）是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合（自变量都是一次方）。只有一个... 查看详情

机器学习逻辑回归

逻辑回归分类问题在分类问题中，我们尝试预测的是结果是否属于某一个类（例如正确或错误）。分类问题的例子有：判断一封电子邮件是否是垃圾邮件；判断一次金融交易是否是欺诈；之前我们也谈到了... 查看详情

机器学习逻辑回归算法(代码片段)

逻辑回归算法学习目标1.逻辑回归的介绍1.1逻辑回归的应用场景1.2逻辑回归的原理1.2.1输入1.2.2激活函数1.3损失以及优化1.3.1损失1.3.2优化1.4小结2.逻辑回归api介绍3.案例：癌症分类预测-良／恶性乳腺癌肿瘤预测3.1背景介绍3.... 查看详情

《机器学习》学习笔记：线性回归逻辑回归

《机器学习》学习笔记（一）：线性回归、逻辑回归   本笔记主要记录学习《机器学习》的总结体会。如有理解不到位的地方，欢迎大家指出，我会努力改正。   在学习《机器学习》时，我主要是通过Andrew... 查看详情

机器学习：逻辑回归

...*****注：本系列博客是博主学习Stanford大学AndrewNg教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结非常easy遗忘，依据课程加上自己对不明确问题的补充遂有此系列博客。本系列博客包含线性回归、逻辑回归、神... 查看详情

基于逻辑回归信用卡欺诈检测(代码片段)

文件读取importpandasaspdimportmatplotlib.pyplotaspltimportnumpyasnp%matplotlibinline#由于数据太多，只读取前1000行data=pd.read_csv("creditcard.csv",nrows=1000)data.head()数据预处理缺失值、异常值的处理、删除多余列#判断是否有缺失值data.isnull()#如果有 查看详情

机器学习逻辑回归对肿瘤预测(代码片段)

目录1逻辑回归api介绍2案例：癌症分类预测-良／恶性乳腺癌肿瘤预测2.1背景介绍2.2案例分析2.3代码实现2.4小结1逻辑回归api介绍sklearn.linear_model.LogisticRegression(solver=‘liblinear’,penalty=‘l2’,C=1.0)solver可选参数:‘libl... 查看详情

机器学习：线性模型学习总结：逻辑回归分类(代码片段)

基于周志华老师的《机器学习》、上一篇学习笔记以及网络的其他资料，对线性模型的这一部分内容进行一个总结。上接：机器学习：线性模型学习总结（1）。学习时间：2022.04.18文章目录1.用SK-Learn做逻辑... 查看详情

机器学习--逻辑回归的原理与基础实现(代码片段)

文章目录概述一、逻辑回归二、小案例总结概述逻辑回归(LogisticRegression,简称LR)，其实是一个很有误导性的概念，虽然它的名字中带有“回归”两个字，但是它最擅长处理的却是分类问题。LR分类器适用于各项广义上... 查看详情

机器学习：逻辑回归模型算法原理（附案例实战）(代码片段)

机器学习：逻辑回归模型算法原理作者：i阿极作者简介：Python领域新星作者、多项比赛获奖者：博主个人首页😊😊😊如果觉得文章不错或能帮助到你学习，可以点赞👍收藏📁评论📒&... 查看详情

机器学习算法(代码片段)

机器学习常用算法一、线性回归1.基本概念2.代码实现二、逻辑回归1.基本概念Sigmoid预测函数2.代码实现三决策树1.基本概念2.代码实现四支持向量机（SVM）1.基本概念2.代码实现五全连接神经网络DNN1.基本概念全连接神经网... 查看详情

机器学习——从线性回归到逻辑斯特回归

...行总结，其中图片多来自coursera课程上。线性回归是机器学习中很好理解的一种算法。我们以常见的房屋销售为例来进行简单分析：假设我们统计的一个房屋销售的数据如下：在此࿰ 查看详情

分类算法之逻辑回归--理论+案例+代码

...理论+案例+代码标签（空格分隔）：SPARK机器学习1.逻辑回归概述1.1概述逻辑回归与线性回归类似，但它不属于回归分析家族（主要为二分类），而属于分类家族，差异主要在于变量不同，... 查看详情

机器学习：基于逻辑回归对某银行客户违约预测分析(代码片段)

机器学习：基于逻辑回归对某银行客户违约预测分析文章目录机器学习：基于逻辑回归对某银行客户违约预测分析一、实验目的二、实验原理三、实验环境四、实验内容五、实验步骤1.逻辑回归2.业务理解3.读取数据4.数据... 查看详情

introductiontologisticregression(逻辑回归介绍)

...isticRegression（逻辑回归函数）是一个用来解决分类问题的机器学习算法，它是一个基于概率概念的预测分析算法。++++更新中 查看详情

aiot(人工智能+物联网)知识总结+实战项目(代码片段)

...类8.2HMM算法8.3最大熵模型8.4CRF算法9.深度学习课程大纲9.1机器视觉9.1.1基本操作9.1.2人脸检测9.1.3高级应用9.2TensorFlow深度 查看详情

机器学习：算法与应用byxdu2022冬季课程笔记1：线性回归与逻辑回归

机器学习：[算法与应用byXDU2022冬季课程笔记集合]文章目录1.回顾与总览2.线性模型与线性回归（LinearRegression）3.逻辑回归（LogisticRegression）分类器4.总结1.回顾与总览上节课程概括了整个机器学习算法流程，... 查看详情