关键词：
构建广义线性模型
先了解一下指数族分布的形式，如果一个分布能用以下的形式写出来，则这个式子为指数族分布
?
稍微对比思考会发现，之前的分类用的伯努利分布以及高斯分布都是属于指数族分布的
对于伯努利分布，有如下的式子
?
与指数族的式子相对比会发现，对应关系为
即
其实也就是我们上篇博客说到的logistic函数，从某种层面上也可以解释我们选择logistic函数作为二元分类的概率模型预估。
其他的分布这里就不一一列出来对比了。
设想你要构建一个模型，来估计在给定的某个小时内来到你商店的顾客人数（或者是你的网站的页面访问次数），基于某些确定的特征 x ，例如商店的促销、最近的广告、天气、今天周几啊等等。我们已经知道泊松分布（Poisson distribution）通常能适合用来对访客数目进行建模。知道了这个之后，怎么来建立一个模型来解决咱们这个具体问题呢？非常幸运的是，泊松分布是属于指数分布族的一个分部，所以我们可以使用一个广义线性模型（Generalized Linear Model，缩写为 GLM）。在本节，我们讲一种对刚刚这类问题来构建广义线性模型的方法。
进一步泛化，设想一个分类或者回归问题，要预测一些随机变量 y 的值，作为 x 的一个函数。要导出适用于这个问题的广义线性模型，就要对我们的模型、给定 x 下 y 的条件分布来做出以下三个假设：
1、y | x; θ ～ Exponential Family(η)，即给定 x 和 θ, y 的分布属于指数分布族，是一个参数为 η 的指数分布。 ?
2、给定 x，目的是要预测对应这个给定 x 的 T(y) 的期望值。咱们的例子中绝大部分情况都是 T(y) = y，这也就意味着我们的学习假设 h 输出的预测值 h(x) 要满足 h(x) = E[y|x]。 (注意，这个假设通过对 hθ(x) 的选择而满足，在逻辑回归和线性回归中都是如此。例如在逻辑回归中， hθ (x) = [p (y = 1|x; θ)] =[ 0 · p (y = 0|x; θ)+1·p(y = 1|x;θ)] = E[y|x;θ]。译者注：这里的E[y|x]应该就是对给定x时的y值的期望的意思。)
3、自然参数 η 和输入值 x 是线性相关的，η = θT x，或者如果 η 是有值的向量，则有ηi = θiT x。
上面的几个假设中，第三个可能看上去证明得最差，所以也更适合把这第三个假设看作是一个我们在设计广义线性模型时候的一种 “设计选择 design choice”，而不是一个假设。那么这三个假设/设计，就可以用来推导出一个非常合适的学习算法类别，也就是广义线性模型 GLMs，这个模型有很多特别友好又理想的性质，比如很容易学习。
此外，这类模型对一些关于 y 的分布的不同类型建模来说通常效率都很高；例如，我们下面就将要简单介绍一些逻辑回归以及普通最小二乘法这两者如何作为广义线性模型来推出。（ps:以上这一段直接从课堂笔记中直接复制过来了）
普通最小二乘法
普通最小二乘法其实是广义线性模型的一种特例，假设如下的背景设置：目标变量y（也称响应变量）是连续的，然后我们将x的y分布用高斯分布来建模，其中
μ 可以使依赖 x 的一个函数。这样，我们就让上面的指数分布族的(η)分布成为了一个高斯分布。在前面内容中我们提到过，在把高斯分布写成指数分布族的分布的时候，有μ = η。所以就能得到下面的等式：
?
第一行的等式是基于假设2；第二个等式是基于定理当 y|x; θ ～ N (μ, σ2)，则 y 的期望就是 μ；第三个等式是基于假设1，以及之前我们此前将高斯分布写成指数族分布的时候推导出来的性质 μ = η；最后一个等式就是基于假设3。
softmax 回归
softmax回归其实本质上就是一个多元的分类模型，之前提到的分类问题都是二元（结果为两个种类：eg：是、不是）的，而softamx则是针对多元的分类问题，比如我们设计邮件分类器的时候，不能简单的分为垃圾邮件和非垃圾邮件，在实际生活中往往需要更精细的划分，比如个人私密邮件，工作邮件，垃圾邮件等等，这个时候就不是简单地伯努利分布，而是服从一个多项式分布的实际问题。
要对一个可能有k个输出值的多项式进行参数化，可以用k个参数φ1,...,φk来对应各自输出值的概率，为了表述方便我们可以把第k个φ用前k-1个φ来表示（因为总的和为1），按照下面的方式定义一个 T (y) ∈ ：
?
在介绍一种非常有用的记号。指示函数（indicator function）1·，如果参数为真，则等于1；反之则等于0（1True = 1, 1False = 0）。在此基础上，就有了E[(T(y))i] = P (y = i) = φi。现在一切就绪，可以把多项式写成指数族分布了。
?
其中有
?
所以就已经化成了指数族分布的形式
这样咱们就把多项式方程作为一个指数族分布来写了出来。
与 i （for i = 1, ..., k）对应的链接函数为：
?
为了方便起见，我们再定义 ηk = log(φk/φk) = 0。对链接函数取反函数然后推导出响应函数，就得到了下面的等式：
?
这就说明了φk = 1/ Σki=1 eηi ，然后可以把这个关系代入回到等式(7)，这样就得到了响应函数：
?
上面这个函数从η 映射到了φ，其实这也就是softmax函数，这个其实和上面伯努利分布推出来的logistic函数一样，所以化为这样可以帮助我们更好地理解某一类问题的内在规律。所以给定x后y的条件分布为
?
所以可以写出似然函数的对数：
?
注：这里的y和x都是存在矩阵中。所以得到上面的式子后可以利用梯度上升或者牛顿法求出最大似然来拟合参数。
so cool!
machinelearning入门-1
机器学习的算法分为两大类：监督学习和无监督学习。 监督学习即在机器学习的过程中提供对错指示。一般是在数据组中包含最终结果（0,1），通过算法让机器减少误差。这一类学习主要应用于分类与预测（Regression&Classi... 查看详情
关于学习machinelearning的一些基本知识点
一、使用机器学习方法的几个基本出发点1、待解决的问题涉及的数据中，存在一些潜在可学习的pattern。2、待解决的问题通过一般的编程范式不容易处理。3、有一定量的数据用于机器学习建模。二、机器学习与人工智能的简要... 查看详情
机器学习傻瓜入门-1
在coursera上斯坦福的machinelearning，lecturer极力推荐开源的编程环境Octave入手，所以我也下载了来试一试吧==参考链接：http://www.linuxdiyf.com/linux/22034.html******************************************************************************安装（U 查看详情
machinelearning入门-2
Scikit-learnScikit-learn是Python中开发和实践机器学习的类库之一，依赖于Scipy及其相关类库来运行。Scikit-learn的基本功能主要分为六大类：分类，回归，聚类，数据降维，模型选择，数据处理。需要指出的是，由于Scikit-learn本身不支... 查看详情
机器学习入门-1.介绍与决策树(decisiontree)
机器学习(MachineLearning)介绍与决策树(DecisionTree)机器学习入门系列是个人学习过程中的一些记录与心得。其主要以要点形式呈现，简洁明了。1.什么是机器学习？一个比较概括的理解是:根据现有的数据，预测未来2.核心思想：Genera... 查看详情
机器学习：从入门到晋级(代码片段)
...一窥究竟。如果你对人工智能有所了解，但对机器学习（MachineLearning）的理解有很多的困惑，那么看完本文后你将会对此有进一步深入理解。在这里，不会详细介绍机器学习算法的基本原理，而是通过将比较有意思的视频（YouTub... 查看详情
机器学习：从入门到晋级
...一窥究竟。如果你对人工智能有所了解，但对机器学习（MachineLearning）的理解有很多的困惑，那么看完本文后你将会对此有进一步深入理解。在这里，不会详细介绍机器学习算法的基本原理，而是通过将比较有意思的视频（YouTub... 查看详情
machinelearning:机器学习算法
原文链接：https://riboseyim.github.io/2018/02/10/Machine-Learning-Algorithms/摘要机器学习算法分类：监督学习、半监督学习、无监督学习、强化学习基本的机器学习算法：线性回归、支持向量机(SVM)、最近邻居(KNN)、逻辑回归、决策树、k平均... 查看详情
机器学习入门四------降低损失(代码片段)
...失：迭代方法介绍了损失的概念。在本单元中，您将了解机器学习模型如何以迭代方式降低损失。迭代学习可能会让您想到“HotandCold” 查看详情
机器学习(machinelearning)&深度学习(deeplearning)资料
机器学习(MachineLearning)&深度学习(DeepLearning)资料《BriefHistoryofMachineLearning》介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost到随机森林、DeepLearning.《DeepLearninginNeuralNetworks:AnOverv... 查看详情
导航-机器学习(machinelearning)
1逻辑回归2决策树3支持向量机4提升方法5聚类准备在近期复习巩固一下基本机器学期算法的原理和实现，写一些笔记，方便以后自己回顾。1逻辑回归(1）理论推导(2）python实现 查看详情
machinelearn机器学习及其基础概念简介
机器学习及其基础概念简介作者：白宁超2016年12月23日21:24:51摘要：随着机器学习和深度学习的热潮，各种图书层出不穷。然而多数是基础理论知识介绍，缺乏实现的深入理解。本系列文章是作者结合视频学习和书籍基础的笔记... 查看详情
机器学习(machinelearning)&深度学习(deeplearning)资料
机器学习(MachineLearning)&深度学习(DeepLearning)资料機器學習、深度學習方面不錯的資料，轉載。原作：https://github.com/ty4z2008/Qix/blob/master/dl.md原作作者會不斷更新。本文更新至2014-12-21《BriefHistoryofMachineLearning》介绍:这是一篇介绍... 查看详情
machinelearning-机器学习概念篇
一、何为机器学习 对于没有了解过机器学习的人来说，机器学习是很神秘的，如果只是按照字面意思来理解可能会认为是机械性的学习，认为是一种概念，当然这个名称也是有误导性的。在不了解机器学习前&... 查看详情
attentionplease!twohundredsofmachinelearningturorialsummary
MachineLearningTheFirstColumnTheSecondColumnMachineLearning1从机器学习入手MachineLearning2机器学习很有趣！MachineLearning3机器学习规则：ML工程的最佳实践MachineLearning4机器学习速成课程：第一部分MachineLearning5第二部分;伯克利机器学习MachineLearnin... 查看详情
machinelearning—监督学习与非监督学习
斯坦福大学的MachineLearning课程（讲师是AndrewNg）公开课是学习机器学习的“圣经”，以下内容是听课笔记。一、何谓机器学习MachineLearningisfieldofstudythatgivescomputerstheabilitytolearnwithoutbeingexplicitlyprogrammed.也就是说机器学习不需要制定... 查看详情
machinelearning|andrewng|coursera吴恩达机器学习笔记
Week1:MachineLearning: AcomputerprogramissaidtolearnfromexperienceEwithrespecttosomeclassoftasksTandperformancemeasureP,ifitsperformanceattasksinT,asmeasuredbyP,improveswithexperienceE. Supe 查看详情
机器学习（machinelearning）的定义
关于机器学习有两个相关的定义:1）给计算机赋予没有固定编程的学习能力的研究领域。2）一种计算机的程序，能从一些任务（T）和性能的度量（P），经验（E）中进行学习。在学习中，任务T的性能P能够随着P能去改善经验E。&n... 查看详情