Python文本分析：潜在狄利克雷分布基本原理

潜在狄利克雷分布（latent dirichlet allocation，LDA）算法是David Blei等人在2003年提出基于贝叶斯理论的一种方法，能够发现大规模文本文档中隐藏的主题及特征，广泛应用在文本挖掘、信息检索等领域中。LDA模型是基于这样的假设：文本文档是由多个主题构成，而每个主题又是词集的一个概率分布，是由词-主题-文档三个层次构成的概率图模型，如图6-3所示。

图6-3　LDA概率图模型

K为主题数，M为文本文档数，N为文本文档的单词数；φ表示主题的词概率分布，θ表示主题概率分布；α是主题分布θ的Dirichlet先验分布参数，β是词分布φ的Dirichlet先验分布参数。对于文本文档di的词wi，j，其生成过程包含三个方面：

（1）从Dirichlet先验分布α中抽取M个文本文档主题分布θ。

（2）从Dirichlet先验分布β中抽取K个主题的词语分布φ。

（3）对于文本文档di，从主题分布中抽取一个主题，然后再从该主题的词语分布中选择词语wi，j。(www.xing528.com)

在LDA模型中，超级参数α和β是通过实践经验来设定，但需要对参数θ和φ进行估计，常用的算法有Gibbs Sampling、期望扩散算法等。Gibbs Sampling方法实现简单，能够快速有效地从文本文档集中抽取主题。

针对中文文本数据进行LDA降维操作过程如下：

（1）文本数据预处理。

（2）采用BOW或者TF-IDF实现文本特征向量化，将文本转换为原始特征空间的向量，即将文本表示成维度为m×n文档-特征矩阵A，文本数量为m，特征为n。

（3）给定主题数量K，对矩阵进行LDA降维，将会生成两个矩阵，文档-主题矩阵M和主题-特征矩阵N。则矩阵M和N的维度分别为m×k和k×n。