关键词：
再一次遇到了Markov模型与条件随机场的问题，学而时习之，又有了新的体会。所以我决定从头开始再重新整理一次马尔科夫模型与条件随机场。
马尔科夫模型是一种无向概率图模型，其与马尔科夫链并不是很一样。马尔科夫链的节点是状态，边是转移概率，是template CPD的一种有向状态转移表达。而马尔科夫模型是与贝叶斯模型并列的一种概率图模型。其作用是描述互相影响，互相作用，不存在因果关系的两个随机变量之间的关系。因为作用是相互的，所有马尔科夫模型的边是无向的，或者可以说是双向的。马尔科夫模型的强大之处在于它解除了贝叶斯模型中的因果关系，这也就使得它可以对很多平等的东西建立相互关系。比如一幅图片的各个像素就是平等的，但是各个像素之间可以相互影响（天在上，地在下）。所有马尔科夫模型被广泛的应用于图像处理，与图像理解。（图像处理与图像理解所使用的网络结构并不一样）。
1.toy Example
假设有4个人，之间搞三角恋的关系。其关系如图所示，有边的部分代表有联系，没边的部分代表不联系。
这四个人可以持有不同的意见0，1. 比如DA,BC两对完全赞同对方的意见，CD两个人完全反对对方的意见，AB 对对方的意见存疑。四个人各自的意见都是随机变量，但是经过一番交流后肯定会达成某个共识。我们认为达成不同共识的概率是不同的。因为我们对最终的概率感兴趣，所以要对不同意见组合的可能性进行量化（打分）。注意，这里的打分是凭着直觉给的，并不完全要求归一化。比如上图中的打分。
最终，我们希望得到不同意见组合的概率，直觉上，只需要把随机变量对应取值，按照边的关系相乘就可以获得了。
这里Z是归一化因子，把上面所有数据加起来，再归一化，数据看起来就像是概率了。但是这个概率看起来很诡异啊，明明a=b的概率比较大，可是边际化之后确实a0b1比较可能，其根本原因在于a,b之间不止一条边。a还可以通过DC影响B。补充一句：我们凭感觉给的那个数，就是“势”。
2. Gibbs 分布
谈概率就一定要谈分布，分布的本质就是概率密度函数的表达式。“势”可以有很多方法确定，假设是已知的，那么随机变量的联合概率则可表达为：
思路和上面是一样的，如果有各个“团”的“势”，那么则可以通过“超级边际化”来获得总因子，将整个势进行归一化。这个过程称为Gibbs分布。
3.分布--->图，图--->分布
在有了Gibbs分布这一工具之后，就可以建立概率图的数学模型了。需要注意的是：对于给定的分布，可以建立不同的图，对于给定的图，也有不同的分布写法。
实际上，“团”代表的是影响流动的方向。一旦某个随机变量被观察到，影响则被隔断了。trail就死了。
4.条件随机场
其实条件随机场是一种更给力的“naive bayes classfier"。 之前在学习朴素贝叶斯分类器的时候，其实我一直有疑问，直观上如果是推测 Y 的种类，我们使用了P(y,x1,x2,x3,x4....)这样的概率。但是这并不符合我们的直觉啊，因为我们基于证据进行推理，那么应该计算的是P(y|x1,x2,x3,x4.....)。我的直觉确实是对的， 当x1,x2,x3,x4之间，不存在相关性的时候，朴素贝叶斯的联合概率和后面的条件概率性质上是等价的。但是一旦x1,x2,x3,x4存在相关性，那么联合概率密度函数就不能基于朴素贝叶斯的假设来求了。会导致结果的畸形。
但是条件概率公式是没有问题的，因为条件概率中，并不在意x1中是否也给出了x2的信息。总之那都是条件，条件重复了对结果没有影响。那么我们想个办法把朴素贝叶斯分类器的换掉不就好了，这个换掉的方法就是条件随机场。代价是它不能使用x1,x2.....的独立假设，不能用x随机变量因子连乘的形式给出p(y,x1,x2.....)。
在这里，我假设了x 变量各种爱恨纠葛，总之就是纠缠在一起了。但是这不要紧啊，我们把每个团都设成 Φ(Y,Xi)就好了。Gibbs同一个图分布有多种表达方式，影响是可以通过节点逆向互相传递的。每个团的势，相当于是 xi 对 Y 的影响，机器学习里面用了很高明的方法把 xi 变成开关量，势函数变成了开关量乘以权重再取指数。最后训练得到权重。
Φ(y,x1,x2,x3.....) 可以由Gibbs分布给出。那么我们只需要找到Φ(x1,x2,x3.......)作为分母就好。这个分母也很好求，只要把 y 边际掉就好了。结果如下：
这样，我们就可以用条件随机场来分割图像了。因为我们选的图像特征是很相关的：颜色，纹理，位置(比如正常的场景上面就会是蓝色（天），下面往往是黑的（影子））。抛开了朴素贝叶斯模型的独立假设，条件随机场这种特殊的马尔科夫模型对特征不敏感，怪不得说the sink can be the feature............
条件随机场摘要
...分布模型，在自然语言处理中得到了广泛应用。HMM引入了马尔科夫假设，即当前时刻的状态只与其前一时刻的状态有关，HMM是一种生成式概率图模型，条件随机场（CRF）与HMM不同，是一种判别式的概率图模型。CRF是在给定一组变... 查看详情
条件随机场
概率无向图模型又称马尔可夫随机场(Markovrandomfield)或马尔可夫网络，是一个由无向图表示的联合概率分布。图是由结点和边组成，无向图中的边没有方向。概率无向图中结点表示随机变量，边表示结点之间的概率依赖关系。成... 查看详情
第二章概率图模型的基本原理
...型(MixedProbabilisticGraphicalModel)。 有向概率图模型：隐马尔科夫模型，贝叶斯网络，，动态贝叶斯网络无向概率图模型：马尔科夫随机场，条件随机场混 查看详情
第五章无向概率图模型学习
马尔科夫随机场（MarkovRandomFields,MRFs）MRFs与Gibbs分布等价。 条件随机场（ConditionalRandomFields,CRFs）： CRFs的训练方法：迭代梯度法（IterativeScaling）和L-BFGS迭代梯度法包括：GIS(GeneralizedIterativeScaling),IIS(ImprovedIterat 查看详情
条件随机场（crf）-基础
...础上加上了一些观察值（特征），马尔可夫随机场<=>概率无向图模型。本篇将首先介绍CRF的一些基础知识，然后介绍线性链条件随机场模型，关于模型的 查看详情
如何用简单易懂的例子解释条件随机场模型？它和hmm有啥区别
...下：其中，NB表示朴素贝叶斯，ME表示最大熵，HMM表示隐马尔科夫，CRF表示条件随机场。joint联合分布，conditional条件分布。singleclass输出单一类别，sequence输出序列。例如，朴素贝叶斯将输出y扩展成序列(y1,y2,...,yn)，就可以以此为... 查看详情
图像语义分割方法
...优化的模型有以下几种：全连接条件随机场(DenseCRF)CRFasRNN马尔科夫随机场(MRF)高斯条件随机场(G-CRF) 后面的概率模型中存在二元势函数，二元势函数就是描述像素点与像素点之间的关系，鼓励相似像素分配相同的标签，而相差... 查看详情
概率图模型
概率图模型前置知识概率论基础图论基础表示方式贝叶斯网络联合概率为什么可以表示为局部条件概率表的乘积？马尔可夫随机场因子图推理方法推理问题分类&变量消元法团树传播算法信念传播算法二值图切法基于图切... 查看详情
ml-13-5条件随机场（crf-conditionalrandomfield）
目录知识串讲HMMVSMEMM从随机场到马尔科夫随机场条件随机场(CRF)MRF因子分解定理线性链条件随机场(Linear-CRF)一句话简介：条件随机场(ConditionalRandomFields,以下简称CRF)是给定一组输入序列条件下另一组输出序列的条件概率分布模型... 查看详情
条件随机场介绍——anintroductiontoconditionalrandomfields
...讨论条件随机场，解释条件随机场如何将结构化输出上的概率分布表示为高维输入向量的函数。条件随机场即可以理解为逻辑回归在任意图结构上的扩展，也可以理解为结构化数据的生成模型（如隐马尔可夫模型）的判别化。本... 查看详情
马尔科夫随机场模型（mrf-markovrandomfield）
原文：http://blog.sina.com.cn/s/blog_92c398b00102vs3q.html马尔科夫过程?隐马尔科夫过程??与马尔科夫相比，隐马尔可夫模型则是双重随机过程，不仅状态转移之间是个随机事件，状态和输出之间也是一个随机过程。领域系统分阶领域系统... 查看详情
nlp——图模型条件随机场（conditionalrandomfield，crf）
...; （一）马尔可夫随机场（Markovrandomfield，无向图模型）简单回顾 （二）条件随机场（Conditionalrandomfield，CRF） 这篇写的非常浅，基于[1]和[5]梳理。感觉[1]的讲解很 查看详情
hmm及crf
...可夫性指：给定的条件下，和条件独立成对、局部或全局马尔科夫性，大白话就是说每一个节点的分布只和有边相连的节点有关系。不同于有向图模型，无向图模型的无向性很难确保每个节点在给定它的邻节点的条件下的条件概... 查看详情
隐马尔科夫模型hmm(hiddenmarkovmodel)
...nbsp;Outline模型引入与背景介绍从概率图讲起贝叶斯网络、马尔科夫模型、马尔科夫过程、马尔科夫网络、条件随机场HMM的形式化表示MarkovModel的形式化表示HMM的形式化表示HMM的两个基本假设HMM的三个基本问题EvalutionLearningDecoding案... 查看详情
自然语言处理系列-4条件随机场（crf）及其tensorlofw实现
...章会相继介绍在NLP中应用比较多的一些机器学习模型，隐马尔科夫模型（HMM），条件随机场（CRF），朴素贝叶斯，支持向量机（SVM），EM算法等相继都会聊到，感兴趣的朋友可以订阅我的博客，或者关注我的微信公众号，会定期... 查看详情
机器学习实战4：基于马尔科夫随机场的图像分割(附python代码)
...0写在前面1图像分割问题2图像像素邻域3观测场与标记场4马尔科夫随机场建模5Python实现5.1计算能量函数5.2退火优化5.3效果展示0写在前面机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推... 查看详情
crf条件随机场
CRF的进化https://flystarhe.github.io/2016/07/13/hmm-memm-crf/参考：http://blog.echen.me/2012/01/03/introduction-to-conditional-random-fields/ 标记偏置问题：MEMM最大熵马尔可夫模型 路径1-1-1-1的概率:0.4*0.45*0.5=0 查看详情
判别模型和生成模型
...ing、条件随机场、神经网络等。 常见的生产模型有隐马尔科夫模型、朴素贝叶斯模型、高斯混合模型、LDA、Restricted Boltzmann Machine等。判别方法：由数据直接学习决策函数Y=f(X)或者条件概率分布P( 查看详情