关键词：
第五章 隐含马尔可夫模型
1 通信模型
通信的本质是一个编解码和传输的过程。
典型的通信系统：
包含雅格布森通信的六个要素：发送者（信息源），信道，接收者，信息，上下文和编码。
其中S1,S2,S3，... 表示信息源发出的信号，比如手机。O1,O2,O3，...是接收器接收到的信号。通信中的解码就是根据接收到的信号O1,O2,O3,...还原出发送的信号S1,S2,S3,...。
在通信中，如何实现上面的解码呢？只需要从所有的源信号中找到最可能产生出观测信号的那一个信息。
用概率论表述：就是在已知O1,O2,O3,...的情况下，求得令条件概率P(S1,S2,S3,...丨O1,O2,O3,...)达到最大值的那个信息串S1,S2,S3,...,即
利用贝叶斯将上式变成：
分子第一个表示信息S1,S2,S3,...在传输后变成接收信号O1,O2,O3,...的可能性；第二个表示S1,S2,S3,...本身是一个在接收端正常的信号的可能性；分母表示发送端产生信息O1,O2,O3,...的可能性。其中，P(O1,O2,O3,...)是可以忽略的常数。等价于求分子：
分子可以用隐含马尔可夫模型来估计
2 隐含马尔可夫模型
一个离散的马尔可夫过程：
四个圈表示四个状态，每条边表示一个可能的状态转换，边上的权值是转移概率。文中有具体解释
隐含马尔可夫模型是上述马尔可夫链的一个扩展：任一时刻 t 的状态St是不可见的。所以无法通过观察到一个状态序列S1,S2,S3,...,ST来推测转移概率等参数。但是，在每个时刻 t 会输出一个符号Ot ，而且Ot 跟St 相关且仅跟St 相关。这个被称为独立输出假设。
隐含马尔可夫模型的结构如下：
基于上述内容，我们可以计算出某个特定的状态序列S1,S2,S3,...产生出输出符号O1,O2,O3,...的概率。
该式子与上面式子（上面那个分子）相似。把马尔可夫假设和独立输出假设用于通信的解码问题（上面的那个分子）
就是把
带入分子，可以等到上式。PS：等号右边第一个概率相当于分子的第二个概率，而第二个概率相当于分子的第一个概率。
3 延伸阅读：隐含马尔可夫模型的训练
该模型有三个基本问题：
①给定一个模型，如何计算某个特定的输出序列的概率。（Forward-Backward算法）
②给定一个模型和某个特定的输出序列，如何找到最可能产生这个输出的状态序列。（维特比算法）
③给定足够量的观测数据，如何估计隐含马尔可夫模型的参数。（接下里讨论的问题）
实际中，首先要知道P(St丨St-1),也就是转移概率，和P(Ot丨St)，也称为生成概率。这些概率被称为隐含马尔可夫模型的参数，
计算或估计这些参数的过程称为模型的训练。
从条件概率出发：
对于状态输出概率，如果有足够多人工标记的数据，知道经过状态St有多少次#(St),每次经过这个状态时，分别产生的输出Ot是什么，而且分别有多少次#(Ot,St)就可以用两者的比值
直接估算出模型的参数。因为数据是人工标注的，因此这种方法被称为有监督的训练方法。
对于转移概率，和前面提到的训练统计语言模型的条件概率是完全相同的，因此依照
有监督的训练的前提是需要大量人工标注的数据。很多应用无法做到
因此，训练马尔可夫模型更实用的方法是仅仅通过大量观测到的信号O1,O2,O3,...就能推算模型的参数P(St丨St-1)和P(Ot丨St) 的方法，这类方法称为无监督的训练方法。其中主要使用的是鲍姆-韦尔奇算法（Baum-Welch Algorithm）
文中具体对鲍姆-韦尔奇算法做了说明。
鲍姆-韦尔奇算法每一次迭代都是不断地估计新的模型参数，使得输出的概率（目标函数）达到最大化，因此这个过程被称为期望值最大化（Expectation-Maximiztion）,简称EM过程。
EM过程保证一定能收敛到一个局部最优点，但全局却不是。（目标函数是凸函数则可以）
《数学之美》——第三章个人笔记
第三章 统计语言模型 1用数学的方法描述语言规律普遍描述：假定S表示某一个有意义的句子，由一连串特定顺序排列的词w1,w2,...,wn组成，(这里应该是特征列表)这里n是句子的长度。现在，我们想知道S在文本... 查看详情
《数学之美》——第四章个人笔记
第四章 谈谈分词1中文分词方法的演变最早的方法（北航）：查字典，可以解决七八成问题，成本不高，效果还行。随后（哈工大）:最少词数的分词理论，即一句话应该分词数量最少的词串。不足之处在于二义性。... 查看详情
《数学之美》——第二章个人笔记
第二章 自然语言处理——从规则到统计这一章开头这句话：字母，文字，数字是信息编码的不同单位。任何一种语言都是一种编码的方式，而语言的语法规则是编解码的算法。我们表达一个意思要通过语言表达出来... 查看详情
离散数学第四第五章
架构之美阅读笔记之五
... 今天我学习的是架构之美的第五章——面向资源的架构：在web中。这一章，作者讲述说明了，企业中聚焦信息的架构展示了雨web一样的特点：伸缩性，弹性，架构歉意策略，信息驱动和访问控... 查看详情
《架构之美》阅读笔记四
今天我阅读了《架构之美》第五章面向资源的架构在web中，这一章讲到现在我们过分强调了软件和服务，而却忽视了数据，现在大多数组织机构更容易在web上找到信息，而不是在他们自己的系统中。web在很大程度上是因为它... 查看详情
第五章笔记
第五章CSS常用属性 1.span标签 突显，强调局部文字的作用. 2.字体样式 font-size:字体大小 font-style:normal,italic(倾斜) font-weight:normal,bold(加粗) font-familty:字体类型(楷体) font:样式粗细字体大小字体类型. 3.文本样式 color:文本样式 te... 查看详情
第五章数学知识(代码片段)
目录筛质数1292.哥德巴赫猜想【线性筛】1293.夏洛克和他的女朋友【二分图】196.质数距离【大区间内筛质数】分解质因数197.阶乘分解快速幂1289.序列的第k个数【简单快速幂】1290.越狱【组合数/快速幂】筛质数1292.哥德巴赫猜想【... 查看详情
c++第五章个人银行账户管理程序案例
【第五章】 个人银行账户管理程序 案例实现//5_11.cpp#include"account.h"#include<iostream>#include"account.cpp"usingnamespacestd;intmain(){ //建立几个账户 SavingsAccountsa0(1,21325302,0.015); SavingsAccountsa1(1, 查看详情
《学习之道》第五章认识拖延
...是让我们感到不安的事情。 医学成像研究显示，恐惧数学的人会回避数学，因为仅是想到数学就让他们畏缩了。 当他们冥思苦想地对付数学时，大脑中的痛觉中心就会被激活。 值得注意的是，令人痛苦的就是预感本... 查看详情
第五章笔记
循环结构（一）学习本章会用到的单词：while：循环，当...的时候do：做，执行，干index：索引，指标，指出bug：漏洞，缺陷，计算机程序中的故障debug：调试，除错，改正... 查看详情
第五章css常用属性笔记
1.span标签 突显，强调局部文字的作用. 2.字体样式 font-size:字体大小 font-style:normal,italic(倾斜) font-weight:normal,bold(加粗) font-familty:字体类型(楷体) font:样式粗细字体大小字体类型. 3.文本样式 color:文本样式 text-align:水平对齐方... 查看详情
第五章笔记
循环结构（一）学习本章会用到的单词：while：循环，当...的时候do：做，执行，干index：索引，指标，指出bug：漏洞，缺陷，计算机程序中的故障debug：调试，除错，改正有毛病的部分equal：等于，相等step：步骤，一步error：误... 查看详情
第五章笔记
####用户理解#### *用户就是系统使用者的身份***用户信息涉及到的系统配置文件***：/etc/passwd #用户信息 用户：密码：uid：gid：说明：家目录：用户使用的shell /etc/shadow#用户认证信息 用户：密... 查看详情
javascript高程笔记-------第五章引用类型
一、Object类型1.1创建方式①new关键字：varperson=newOject(); ②给定直接量：varperson={ name:"zhangsan", age:"18"}1.2.访问方式：一种为对象点属性名称 “person.name” 或者使用中括号 “person["name"]”使用中括号必须用引号括起... 查看详情
java笔记第五章
循环结构（一）1 whilc循环 whilc（条件）{ //循环语句1 } 条件；布尔类型 变量或表达式。 顺序； 当条件为真，则继续运行循环语句1直到条件为假在执行后面的语句。 2 do—w... 查看详情
读书笔记之《headfirstservletandjsp》第五章属性和监听者
本章大纲1.servletConfig和servletContext的区别 1.servletConfig和servletContext的区别从部署位置来看，servletConfig是在servlet中，而servletContext是在web-app下从代码来说，getServletContext().getInitParameter("foo");getServletConfig( 查看详情
第五章简易笔记
第五章-继承1.继承已存在的类就是复用（继承）这些类的方法和域。在此基础上，还可以添加一些新的方法和域，以满足新的需求。2.反射是指在程序运行期间发现更多的类及其属性的能力。3.在java中所有继承都是公有继承。4.... 查看详情