正文

lda笔记

懵懂的菜鸟  懵懂的菜鸟  2022-09-21  133

关键词：

　　LDA算法最初的论文使用的是变分EM方法训练（Variational Inference）。该方法较为复杂，而且最后训练出的topic主题非全局最优分布，而是局部最优分布。后期发明了Collapsed Gibbs Sample方法，推导和使用较为简洁。　　

　　Latent Dirichlet Allocation是Blei等人于2003年提出的基于概率模型的主题模型算法，LDA是一中非监督机器学习技术，可以用于识别大规模文档集或语料库中的潜在隐藏主题信息。该方法假设每个词由背后的一个潜在隐藏的主题中抽取出来。

1，Gamma函数-欧拉

2，Binomial Distribution二项式分布-在概率论中，二项分布即重复n词独立的伯努利实验，是n重伯努利试验成功次数的离散概率分布。

伯努利分布(Bernoulli distribution)又名两点分布或0-1分布。

3，beta分布-在概率论中，beta分布是指一组定义在（0,1）的连续概率分布，有两个参数

4，Beta函数和Gamma函数的重要关系-第一欧拉积分

在介绍贝塔分布(Beta distribution)之前，需要先明确一下先验概率、后验概率、似然函数以及共轭分布的概念。

通俗的讲，先验概率就是事情尚未发生前，我们对该事发生概率的估计。利用过去历史资料计算得到的先验概率，称为客观先验概率；当历史资料无从取得或资料不完全时，凭人们的主观经验来判断而得到的先验概率，称为主观先验概率。例如抛一枚硬币头向上的概率为0.5，这就是主观先验概率。
后验概率是指通过调查或其它方式获取新的附加信息，利用贝叶斯公式对先验概率进行修正，而后得到的概率。
先验概率和后验概率的区别：先验概率不是根据有关自然状态的全部资料测定的，而只是利用现有的材料(主要是历史资料)计算的；后验概率使用了有关自然状态更加全面的资料，既有先验概率资料，也有补充资料。另外一种表述：先验概率是在缺乏某个事实的情况下描述一个变量；而后验概率（Probability of outcomes of an experiment after it has been performed and a certain event has occured.）是在考虑了一个事实之后的条件概率。
似然函数：似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。是指某种事件发生的可能性。给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：L(θ|x)=P(X=x|θ)。
共轭分布(conjugacy)：后验概率分布函数与先验概率分布函数具有相同形式

Beta分布的期望：

Dirichlet分布的期望：

4，多项式分布-多项式分布是二项分布的推广，在n次独立实验中每次只输出k中结果中的一个，且每一种都有一个确定的概率p。多项分布给出了在多种输出状态的情况下，关于成功次数的各种组合的概率。

也可以用Gamma函数表示

6，dirichlet distribution-狄利克雷分布

狄利克雷分布(Dirichlet distribution)是多项分布的共轭分布，也就是它与多项分布具有相同形式的分布函数。

dirichlet分布的概率密度函数：

LDA详解：

而LDA的目的是找出每个词后潜在的主题，所以为了达到这个目标，需要计算后验概率。

6，马尔可夫链-Markov Chain

马尔可夫链要成为Reversible markov chain，需要满足Datailed balance(细致平稳），即其转移概率需要满足Kolmogorov's criterion的链条（柯尔莫哥洛夫准则），即

7，Metorpolis-Hasting算法

8，Gibbs Sampling

9，Gibbs迭代公式的推导

10，alpha和Beta的计算

11，模型检验-困惑度函数

参考链接：http://blog.sina.com.cn/s/blog_4c9dc2a10102vua9.html

http://blog.csdn.net/luo123n/article/details/48902815

lda数学八卦笔记gamma函数

查看详情

lda数学八卦笔记beta/dirichlet分布

Beta分布TechnoratiTags:LDA主题模型查看详情

lda

机器学习&sklearn笔记：lda（线性判别分析）(代码片段)

1介绍1.有监督的降维2.投影后类内方差最小，类间方差最大 2推导我们记最佳的投影向量为w，那么一个样例x到方向向量w上的投影可以表示为：给定数据集令分别表示第i类的样本个数、样本集合、均值向量和协方差... 查看详情

回归-lda与qda

作者：桂。时间：2017-05-23 06:37:31链接：http://www.cnblogs.com/xingshansi/p/6892317.html 前言仍然是python库函数scikit-learn的学习笔记，内容Regression-1.2LinearandQuadraticDiscriminantAnalysis部分，主要包括：　 1）线性查看详情

考核笔记

LDA线性判别分析拉格让日乘子法查看详情

lda动手实现lda

这段时间对LDA比較感兴趣，尝试在工作中使用它。平时做想法的高速验证，都用的是“GibbsLDA++-0.2”，一个c实现版本号的LDA。这两天用c++stl自己写了一个单机版的LDA，初衷例如以下：1. “GibbsLDA++-0.2”虽说号称是最popular的LDA... 查看详情

机器学习&sklearn笔记：lda（线性判别分析）(代码片段)

pca与lda

　　PCA和LDA都是降维算法，他们的主要区别是：　　PCA为无监督方法，主要是主成分分析方法，PrincipalComponentAnalysis，简称PCA。PCA可以降到任意维度。　　LDA是有监督方法，主要是线性判别分析法，LinearDiscriminantAnalysis，简... 查看详情

线性差别分析lda(代码片段)

LDA原理LDA思想这里的LDA是指LinearDiscriminantAnalysis，简称LDA，全称线性判别分析。要与自然语言处理领域的LDA（LatentDirichletAllocation）隐含狄利克雷分布区分开来。LDA是一种监督学习降维技术，它的数据集的每个样本是有类别输出的... 查看详情

lda

LDA1概述LDA(LatentDirichletallocation)潜在狄立克雷分配模型，它是将文档集中每篇文档的主题按照概率分布的形式给出,是一种典型的概率生成性模型，能够发现语料库中潜在的主题信息，因此也称为LDA主题模型。它是一种无监督学习... 查看详情

机器学习笔记(代码片段)

机器学习笔记（四）文章目录机器学习笔记（四）线性判别分析多分类学习类别不平衡问题小总结决策树决策树的基本概念决策树的构造ID3算法C4.5算法CART算法线性判别分析线性判别分析（LinearDiscriminantAnalysis&... 查看详情

机器学习笔记(代码片段)

分类 LDA 与 TFIDF

】分类LDA与TFIDF【英文标题】：ClassificationLDAvs.TFIDF【发布时间】：2017-04-2013:41:41【问题描述】：我在文本数据上运行多标签分类时，我注意到TFIDF的性能大大优于LDA。TFIDF准确度约为50%，LDA约为29%。这是预期的还是LDA应该做得比... 查看详情

降维方法-lda线性判别分析

降维-LDA线性判别分析【机器学习】LDA线性判别分析1. LDA的基本思想2. LDA求解方法3. 将LDA推广到多分类4.LDA算法流程5.LDA和PCA对比【附录1】瑞利商与广义瑞利商线性判别分析... 查看详情

spark机器学习：lda主题模型算法

1.LDA基础知识LDA（LatentDirichletAllocation）是一种主题模型。LDA一个三层贝叶斯概率模型，包含词、主题和文档三层结构。LDA是一个生成模型，可以用来生成一篇文档，生成时，首先根据一定的概率选择一个主题，然后在根据概率选... 查看详情