正文

文本主题模型之ldalda求解之gibbs采样算法

hx868  hx868  2023-01-29  483

关键词：

　本文是LDA主题模型的第二篇，读这一篇之前建议先读文本主题模型之LDA(一) LDA基础，同时由于使用了基于MCMC的Gibbs采样算法，如果你对MCMC和Gibbs采样不熟悉，建议阅读之前写的MCMC系列MCMC(四)Gibbs采样。

1. Gibbs采样算法求解LDA的思路

　　　　首先，回顾LDA的模型图如下：

技术分享图片

　　　　在Gibbs采样算法求解LDA的方法中，我们的 $α, η$

　　　　具体到我们的问题，我们的所有文档联合起来形成的词向量 $\vec{w}$

　　　　如果我们通过采样得到了所有词的主题,那么通过统计所有词的主题计数，就可以得到各个主题的词分布。接着统计各个文档对应词的主题计数，就可以得到各个文档的主题分布。

　　　　以上就是Gibbs采样算法求解LDA的思路。

2. 主题和词的联合分布与条件分布的求解

　　　　从上一节可以发现，要使用Gibbs采样求解LDA，关键是得到条件概率 $p (z_{i} = k | \vec{w}, {\vec{z}}_{\neg i})$

　　　　首先我们简化下Dirichlet分布的表达式,其中 $△ (α)$

D i r i c h l e t (p ? | α ?) = Γ ( \sum k = 1 K α k ) \prod K

　　　　现在我们先计算下第d个文档的主题的条件分布 $p ({\vec{z}}_{d} | α)$

p (z ? d | α ?) = \int p (z ? d |

　　　　其中，在第d个文档中，第k个主题的词的个数表示为： $n_{d}^{(k)}$

n ? d = (n (1) d, n (2) d, . . . n (K) d)

　　　　有了单一一个文档的主题条件分布，则可以得到所有文档的主题条件分布为：

p (z ? | α ?) = \prod d = 1 M p (z ? d | α ?) = \prod

　　　　同样的方法，可以得到，第k个主题对应的词的条件分布 $p (\vec{w} | \vec{z}, \vec{η})$

p (w ? | z ?, η ?) = \prod k = 1 K p (w ? k | z

　　　　其中，第k个主题中，第v个词的个数表示为： $n_{k}^{(v)}$

n ? k = (n (1) k, n (2) k, . . . n (V) k)

　　　　最终我们得到主题和词的联合分布 $p (\vec{w}, \vec{z} | \vec{α}, \vec{η})$

p (w ?, z ?) \propto p (w ?, z ? | α ?, η ?) = p (

　　　　有了联合分布，现在我们就可以求Gibbs采样需要的条件分布 $p (z_{i} = k | \vec{w}, {\vec{z}}_{\neg i})$

　　　　对于下标 $i$

p (z i = k | w ?, z ? ? i) \propto p (z i = k, w i = t |

　　　　对于 $z_{i} = k, w_{i} = t$

α ? \to θ ? d \to z ? d

η ? \to β ? k \to w ? (k)

　　　　其余的 $M + K - 2$

p (θ ? d | w ? ? i, z ? ? i) = D i r i c h l e t (

p (β ? k | w ? ? i, z ? ? i) = D i r i c h l e t (

　　　　现在开始计算Gibbs采样需要的条件概率：

p (z i = k | w ?, z ? ? i)

　　　　在上一篇LDA基础里我们讲到了Dirichlet分布的期望公式，因此我们有：

E D i r i c h l e t (θ d) (θ d k) = n k d , ? i + α k

E D i r i c h l e t (β k) (β k t) = n t k , ? i + η t

　　　　最终我们得到每个词对应主题的Gibbs采样的条件概率公式为：

p (z i = k | w ?, z ? ? i) = n k d , ? i + α k

　　　　有了这个公式，我们就可以用Gibbs采样去采样所有词的主题，当Gibbs采样收敛后，即得到所有词的采样主题。

　　　　利用所有采样得到的词和主题的对应关系，我们就可以得到每个文档词主题的分布 $θ_{d}$

3. LDA Gibbs采样算法流程总结

　　　　现在我们总结下LDA Gibbs采样算法流程。首先是训练流程：

　　　　1）选择合适的主题数 $K$

　　　　2）对应语料库中每一篇文档的每一个词，随机的赋予一个主题编号 $z$

　　　　3) 重新扫描语料库，对于每一个词，利用Gibbs采样公式更新它的topic编号，并更新语料库中该词的编号。

　　　　4）重复第2步的基于坐标轴轮换的Gibbs采样，直到Gibbs采样收敛。

　　　　5）统计语料库中的各个文档各个词的主题，得到文档主题分布 $θ_{d}$

　　　　下面我们再来看看当新文档出现时，如何统计该文档的主题。此时我们的模型已定，也就是LDA的各个主题的词分布 $β_{k}$

　　　　现在我们总结下LDA Gibbs采样算法的预测流程：

　　　　1）对应当前文档的每一个词，随机的赋予一个主题编号 $z$

　　　　2) 重新扫描当前文档，对于每一个词，利用Gibbs采样公式更新它的topic编号。

　　　　3）重复第2步的基于坐标轴轮换的Gibbs采样，直到Gibbs采样收敛。

　　　　4）统计文档中各个词的主题，得到该文档主题分布。

4. LDA Gibbs采样算法小结　　　

　　　　使用Gibbs采样算法训练LDA模型，我们需要先确定三个超参数 $K, \vec{α}, \vec{η}$

　　　　由于Gibbs采样可以很容易的并行化，因此也可以很方便的使用大数据平台来分布式的训练海量文档的LDA模型。以上就是LDA Gibbs采样算法。

　　　　后面我们会介绍用变分推断EM算法来求解LDA主题模型，这个方法是scikit-learn和spark MLlib都使用的LDA求解方法。

转载自文本主题模型之LDA(二) LDA求解之Gibbs采样算法 - 刘建平Pinard - 博客园 https://www.cnblogs.com/pinard/p/6867828.html

文本主题模型之ldalda求解之变分推断em算法

　本文是LDA主题模型的第三篇，读这一篇之前建议先读文本主题模型之LDA(一)LDA基础，同时由于使用了EM算法，如果你对EM算法不熟悉，建议先熟悉EM算法的主要思想。LDA的变分推断EM算法求解，应用于SparkMLlib和Scikit-learn的LDA算法... 查看详情

文本主题模型之ldalda基础

https://www.cnblogs.com/pinard/p/6831308.html http://www.360doc.com/content/16/0428/10/478627_554452907.shtml LDA（LatentDirichletAllocation）是一查看详情

文本主题模型之ldalda基础

...这个LDA的信息，参看之前写的线性判别分析LDA原理总结。文本关注于隐含狄利克雷分布对应的LDA。1.LDA贝叶斯模型　　　　LDA是基查看详情

采样之gibbs采样

前面我们讲到了M-H采样已经可以很好的解决蒙特卡罗方法需要的任意概率分布的样本集的问题。但是M-H采样有两个缺点：一是需要计算接受率，在高维时计算量大。并且由于接受率的原因导致算法收敛时间变长。二是有些高维数... 查看详情

gibbs采样完整解析与理解

...gibbs采样属于随机模拟抽样算法中的一种（一类近似求解的方法）。随机模拟的核心是对一个分布进行抽样，常用的抽样算法包括：1.接受-拒绝抽样；2）重要性抽查看详情

文本主题模型之非负矩阵分解(nmf)(代码片段)

在文本主题模型之潜在语义索引(LSI)中，我们讲到LSI主题模型使用了奇异值分解，面临着高维度计算量太大的问题。这里我们就介绍另一种基于矩阵分解的主题模型：非负矩阵分解(NMF)，它同样使用了矩阵分解，但是计算量和处... 查看详情

线性混合效应模型linearmixed-effectsmodels的部分折叠gibbs采样

本文介绍了线性混合效应模型的新型贝叶斯分析。该分析基于部分折叠的方法，该方法允许某些组件从模型中部分折叠。得到的部分折叠的Gibbs（PCG）采样器被构造成适合线性混合效应模型，预计会比相应的Gibbs采样器表现出更... 查看详情

使用r语言进行metroplis-in-gibbs采样和mcmc运行分析

原文链接：http://tecdat.cn/?p=12200对于许多模型，例如物流模型，没有共轭先验。因此，吉布斯采样不适用。这篇文章展示了我们如何使用Metropolis-Hastings（MH）从每次Gibbs迭代中的非共轭条件后验对象中进行采样–比网格方法更... 查看详情

机器学习：gibbs采样

1.什么是Gibbs采样Gibbs采样是MH算法的一种特例（α==1)，因此可以保证Gibbs抽取的样本，也构成一个非周期不可约稳定收敛的马氏链；Gibbs采样适用于样本是两维或以上的情况；通过积分去除掉相关但是不感兴趣的变量，称为“collap... 查看详情

概率图模型之em算法

...极大算法）是一种迭代算法，用于求解含有隐变量的概率模型参数的极大似然估计（MLE）或极大后验概率估计（MAP）。EM算法是一种比较通用的参数估计算法，被广泛用于朴素贝叶斯、GMM（高斯混合模型）、K-means（K均值聚类）... 查看详情

c++算法主题系列之贪心算法的贪心之术(代码片段)

1.前言贪心算法是一种常见算法。是以人性之念的算法，面对众多选择时，总是趋利而行。因贪心算法以眼前利益为先，故总能保证当前的选择是最好的，但无法时时保证最终的选择是最好的。当然，在局部利益最大化的同时，... 查看详情

通信算法之120:数字信号处理-采样

查看详情

dl：rbm学习算法——gibbs采样变分方法对比散度模拟退火

RBM学习算法——Gibbs采样、变分方法、对比散度、模拟退火在学习Hinton的stackautoencoder算法（论文 Reducing the Dimensionality of Data with Neural Networks）之前需要了解什么是RBM，现在就我学习的情况，查找的资料（... 查看详情

mcmc笔记：吉布斯采样（gibbs）

1介绍吉布斯采样是一种特殊的MH采样MCMC笔记Metropilis-Hastings算法（MH算法）_UQI-LIUWJ的博客-CSDN博客此时我们要采样的分布是一个高维的情况吉布斯采样的思想就是一维一维地进行采样，采某一个维度的时候固定其他的... 查看详情

c++算法主题系列之集结0-1背包问题的所有求解方案(代码片段)

1.前言背包问题是类型问题，通过对这一类型问题的理解和掌握，从而可以归纳出求解此类问题的思路和模板。背包问题的分类有：0-1背包问题，也称为不可分割背包问题。无限背包问题。判定性背包问题.带附属关系的背包问题... 查看详情

特定领域知识图谱融合方案：文本匹配算法之预训练simberternie-gram单塔模型等诸多模型

特定领域知识图谱融合方案：文本匹配算法之预训练模型SimBert、ERNIE-Gram文本匹配任务在自然语言处理中是非常重要的基础任务之一，一般研究两段文本之间的关系。有很多应用场景；如信息检索、问答系统、智能对话、文本鉴... 查看详情

svm之序列最小最优化求解算法（smo）

查看详情

数据结构与算法之深入解析“文本左右对齐”的求解思路与算法示例(代码片段)

...其成为每行恰好有maxWidth个字符，且左右两端对齐的文本。你应该使用“贪心算法”来放置给定的单词；也就是说，尽可能多地往每行中放置单词。必要时可用空格’’填充，使得每行恰好有maxWidth个字符。要求尽... 查看详情