关键词：
1、LR 的推导，特性？
Logistic Regression 虽然被称为回归，但其实际上是分类模型，并常用于二分类。Logistic Regression 简单、可并行化、可解释强。Logistic 回归的本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。
即线性回归的公式是
z
=
w
×
x
+
b
z = w×x+b
z=w×x+b，Sigmoid函数的公式
y
=
1
1
+
e
−
z
y =\\frac11+e^-z
y=1+e−z1，则逻辑回归的公式就是，将是将线性回归的z输入到Sigmoid函数中，得到逻辑回归的输出即
y
^
=
1
1
+
e
−
w
×
x
+
b
\\haty = \\frac11+e^-w×x+b
y^=1+e−w×x+b1
LR的损失函数是对数损失函数（Log loss），逻辑回归假设样本服从伯努利分布（0-1分布），然后求得满足该分布的似然函数，接着取对数求极值，最小化负的似然函数（即
m
a
x
F
(
y
,
f
(
x
)
)
—
m
i
n
−
[
F
(
y
,
f
(
x
)
)
]
max F(y, f(x)) —min -[F(y, f(x))]
maxF(y,f(x))—min−[F(y,f(x))]，则LR的损失函数为负的对数损失函数：
J
(
θ
)
=
−
1
m
×
∑
i
=
1
m
(
y
i
×
l
o
g
y
^
+
(
1
−
y
i
)
×
l
o
g
(
1
−
y
^
)
J(\\theta) = -\\frac1m ×\\sum_i=1^m(y_i×log \\haty +(1-y_i)×log(1-\\haty)
J(θ)=−m1×i=1∑m(yi×logy^+(1−yi)×log(1−y^)
2、决策树的特性？
-
不要求任何先验假设，不假定类和其他属性服从一定的概率分布。
-
效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。
-
决策树相对容易解释，特别是小型的决策树
-
对缺失值不敏感
-
冗余属性不会对决策树的准确率造成不利的影响。一个属性如果在数据中它与另一个属性是强相关的，那么它是冗余的。在两个冗余的属性中，如果已经选择其中一个作为用于划分的属性，则另一个将被忽略。假设两个属性完全一样，那么当其中一个被选中作为划分属性时，那么划分过后的子女结点中包含的另一个属性应该是完全一样的。这时如果你想对子女结点用第二个属性划分时，将只有一个属性值。非上述极端情况下，增益也会很小，这样就不会被选中作为划分属性。
机器学习支持向量机svm逻辑回归lr决策树dt的直观对比和理论对比，该如何选择（面试回答）？
1、支持向量机SVM、逻辑回归LR、决策树DT的直观对比和理论对比，该如何选择？（1）直观区别：逻辑回归：逻辑回归的决策边界总是一条直线（或者一个平面，在更高维度上是超平面），逻... 查看详情
机器学习逻辑回归和线性回归的区别？(面试回答)
逻辑回归和线性回归的区别？逻辑回归=线性回归+sigmoid函数逻辑回归引入了sigmoid函数，这是一个非线性函数，增加了模型的表达能力逻辑回归输出有限离散值，可以用来解决概率问题、分类问题等。两者使... 查看详情
机器学习—逻辑回归与svm区别
1、LR和SVM有什么相同点 （1）都是监督分类算法； （2）如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的； （3）LR和SVM都是判别模型。2、LR和SVM有什么不同点 （1）本质上是其l... 查看详情
逻辑回归（lr）
...清除为什么有这个东西，线性回归有什么不足，延申出了逻辑回归，线性回归为什么会不足以解决问题。2.逻辑回归能怎么解决问题。自己能说出什么一般的例子，解决这些问题的推导过程是什么？3.用到什么数学工具来构造逻... 查看详情
机器学习—逻辑回归lr
1、关于模型在各个维度进行不均匀伸缩后，最优解与原来等价吗？ 答：等不等价要看最终的误差优化函数。如果经过变化后最终的优化函数等价则等价。明白了这一点，那么很容易得到，如果对原来的特征乘除某一常... 查看详情
机器学习面试总结————
目录1、使用机器学习模型时，一般怎么处理数据集2、什么是训练误差和测试误差3、什么是过拟合与欠拟合?怎么解决4、机器学习当中的回归模型有哪些5、机器学习当中的分类模型有哪些6、回归和分类模型的评价指标都有哪... 查看详情
面试题：逻辑回归与朴素贝叶斯有什么区别
更多题目请看公众号“机器学习算法面试”逻辑回归是判别模型，朴素贝叶斯是生成模型，所以生成和判别的所有区别它们都有。朴素贝叶斯属于贝叶斯，逻辑回归是最大似然，两种概率哲学间的区别。朴素贝叶... 查看详情
逻辑回归算法的原理及实现(lr)
Logistic回归虽然名字叫”回归” ，但却是一种分类学习方法。使用场景大概有两个：第一用来预测，第二寻找因变量的影响因素。逻辑回归(LogisticRegression,LR)又称为逻辑回归分析，是分类和预测算法中的一种。通过历史数据... 查看详情
逻辑回归算法的原理及实现(lr)
Logistic回归虽然名字叫”回归” ，但却是一种分类学习方法。使用场景大概有两个：第一用来预测，第二寻找因变量的影响因素。逻辑回归(LogisticRegression,LR)又称为逻辑回归分析，是分类和预测算法中的一种。通过历史数据... 查看详情
机器学习6逻辑归回
1.用自己的话描述一下，什么是逻辑回归，与线性回归对比，有什么不同？ 逻辑回归是一种广义的线性回归分析模型，它的输入可以连续型输入，输出为离场型输出；区别：线性回归要求因变量必须是连续性数据变量；逻辑... 查看详情
机器学习15逻辑回归与交叉熵
正文参考：https://zhuanlan.zhihu.com/p/126272731逻辑回归是分类问题，解决是与不是的问题。推理结果为0和1.LR的公式sigmoid函数具备让线性函数转化为0<y<1范围的非线性函数的能力使用该函数可以得到一个0-1间的概率LR的损... 查看详情
机器学习算法---逻辑回归及梯度下降
一、逻辑回归简介 logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。 logistic回归是一种广义线性回归（generalizedlinearmodel），因此与多重线性回归分析... 查看详情
机器学习/深度学习问题总结及解答
...coder.com/discuss/71482来源：牛客网问题总结及资料链接（1）机器学习部分1逻辑回归部分常问，推导要会推导：https://zhuanlan.zhihu.com/p/343256022SVM部分常问，推导要会，精简版看下面链接，但是写的不是很详细，最好把cs229讲义好好看... 查看详情
lr-逻辑回归
...个逻辑函数，但也就由于这个逻辑函数，逻辑回归成为了机器学习领域一颗耀眼的明星，更是计算广告学的核心。逻辑回归其实仅为在 查看详情
机器学习笔记：多类逻辑回归
...开始 。这篇的主要目的，是从一堆服饰图片中，通过机器学习识别出每个服饰图片对应的分类是什么（比如：一个看起来象短袖上衣的图片，应该归类到T-Shirt分类）示例代码如下，这篇的代码略复杂，分成几个步骤解读：&n... 查看详情
机器学习故事汇-逻辑回归算法
机器学习故事汇-逻辑回归算法今天我们要来讨论的一个分类算法-逻辑回归（你有没有搞错，这不还是回归吗，虽然名字带上了回归其实它是一个非参考技术A机器学习故事汇-逻辑回归算法今天我们要来讨论的一个分类算法-逻辑... 查看详情
逻辑回归理解及代码实现
...逻辑回归本文算法均使用python3实现1.什么是逻辑回归??《机器学习实战》一书中提到：利用逻辑回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类（主要用于解决二分类问题）。??由以上描述... 查看详情
机器学习：逻辑回归
...*****注：本系列博客是博主学习Stanford大学AndrewNg教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结非常easy遗忘，依据课程加上自己对不明确问题的补充遂有此系列博客。本系列博客包含线性回归、逻辑回归、神... 查看详情