正文 

当前位置： 首页 > 问答 >

使用 PCA 进行文本分类的降维

     2023-03-12     73

关键词：

【中文标题】使用 PCA 进行文本分类的降维【英文标题】：Dimensionality reduction using PCA for text classification 【发布时间】：2018-04-15 02:21:28 【问题描述】：

我正在对文档进行文本分类，我有大约 4k 个类别和 110 万个数据样本。

我正在构建包含每个文档中单词频率的矩阵。 矩阵示例如下所示

            X1     X2     X3        X4 
D1          1      1       0        1
D2          1      1       1        0
D3          1      1       0        0
D4          1      1       1        1
D5          0      0       1        0
D6          0      0       1        1

在上述矩阵中，X1 和 X2 是冗余特征，因为它们在所有行中具有相同的值。

首先，当我从 110 万个数据中构造矩阵时，我将得到具有 90k 个特征的巨大矩阵。

为了降低矩阵维度，我使用了降维技术 PCA 我使用了 TruncatedSVD 来计算 PCA，因为我使用的是稀疏矩阵。

我正在使用下面的代码使用 Sckit 学习 PCA 的实现

from sklearn.decomposition import TruncatedSVD
X = [[1,1,0,1], [1,1,1,0], [1,1,0,0],[1,1,1,1],[0,0,1,0],[0,0,1,1]]
svd = TruncatedSVD(n_components=3)
svd.fit(X)  
X_new=svd.fit_transform(X)

X_new 的输出是 

array([[ 1.53489494, -0.49612748, -0.63083679],
   [ 1.57928583, -0.04762643,  0.70963934],
   [ 1.13759356, -0.80736818,  0.2324597 ],
   [ 1.97658721,  0.26361427, -0.15365716],
   [ 0.44169227,  0.75974175,  0.47717963],
   [ 0.83899365,  1.07098246, -0.38611686]])

这是我得到的降维 我将 X_new 作为朴素贝叶斯分类器的输入。

clf = GaussianNB()
model=clf.fit(X_new, Y)

对于 110 万个样本，我得到以下输出：

No_of_components
(“n_components” parameter)           accuracy
   1000                                6.57%
   500                                 7.25%
   100                                 5.72%

我的准确率非常低，

以上步骤是否正确？

我需要进一步包括哪些内容？

【问题讨论】：

您知道数据中类别的分布吗？ 我将分布理解为类别的频率。据此，在 4k 个类别中，约 400 个类别的数据超过 500 个，约 750 个类别的数据为 100-400 个，其余类别的数据低于 10 危险在于，如果您的分布严重偏斜，则会更加重视那些更频繁的功能。如果是这种情况，请考虑对数据进行进一步的转换，例如Z 分数。 【参考方案1】：

准确度较低，因为在维度还原过程中会丢失大部分信息。

您可以通过sum(svd.explained_variance_ratio_ )查看。这个数字，如@9​​87654323@，衡量模型的精度：如果所有信息都由 SVD 保留，则等于 1，如果没有信息保留，则等于 0。在您的情况下（90K 特征的 3 个维度），我预计它的数量级为 0.1%。

对于您的问题，我会推荐两种策略之一。

1。不要在数学上减少尺寸。相反，对您的文本进行语言预处理：删除停用词、词干或词形还原其余词，并删除出现次数少于k 次的词。它将您的维度从 90K 提高到 15K 左右，而不会严重丢失信息。

在这些特征上，您可以训练一个稀疏模型（例如 SGDClassifier 具有巨大的 L1 惩罚），这可以将实际使用的特征数量减少到 1K 左右，但仍然具有良好的准确性。在输入线性分类器之前，使用 TF-IDF 转换字数有时会有所帮助。

2。使用预训练的降维器，如 word2vec 或 fastText，从文本中提取特征。互联网上有针对多种语言和多个维度（如 200、1000 等）的预训练 word2vec 模型。

【讨论】：

我一直认为fastText 是一个分类器，你能提供一些我可以看到如何使用它作为降维器的来源吗？ fastText 首先计算词嵌入，然后使用它们进行分类。您只需要嵌入。请参阅此处关于生成文本（而不是单词）嵌入的讨论：github.com/facebookresearch/fastText/issues/26

sklearn中的降维算法pca和svd

sklearn中的降维算法PCA和SVD　　1概述　　　　1.1从什么叫“维度”说开来　　　　1.2sklearn中的降维算法　　2PCA与SVD　　　　2.1降维究竟是怎样实现？　　　　2.2重要参数n_components　　　　　　2.2.1迷你案例：高维数据的可... 查看详情

机器学习实战基础（二十七）：sklearn中的降维算法pca和svdpca对手写数字数据集的降维(代码片段)

PCA对手写数字数据集的降维1.导入需要的模块和库fromsklearn.decompositionimportPCAfromsklearn.ensembleimportRandomForestClassifierasRFCfromsklearn.model_selectionimportcross_val_scoreimportmatplotlib.pyplotaspltimportpandas 查看详情

主成分分析（pca）

...在降维压缩数据后尽可能的减少数据信息的损失。在PCA中使用协方差来表示信息量的多少，至于为什么能这么表示后面再进行介绍。下面我们从一些基本的线代知识开始。在进行数据分析时我们的数据样本经常被抽象为矩阵中的... 查看详情

机器学习实战基础（二十六）：sklearn中的降维算法pca和svd附录

          查看详情

白面机器学习-降维

1、常见的降维的方法有：主成分分析，线性判别分析，等距映射，局部线性插入，拉不拉斯特征映射，局部保留投影。一、PCA:2、:主成分分析法，最经典的降维的方法，是一种线性，非监督，全局的降维方法。最大方差理论：3... 查看详情

pca算法原理讲解

...　　PCA的数学推导可以从最大可分型和最近重构性两方面进行，前者的优化条件为划分后方差最大，后者的优化条件为点到划分平面距离最小，这里我将从最大可分性的角度进行证明。　　1 查看详情

lda和pca降维总结

...监督学习的降维技术，数据集的每个样本有类别输出。LDA分类思想简单总结如下：如果用一句话概括LDA思想，即“投影后类内方差最小，类间方差最大”。​假设有红、蓝两类数据，这些数据特征均为二维，如下图所示。我... 查看详情

来个猛的降维工具！

UMAP：强大的可视化&异常检测工具简介数据降维最为重要的是降低数据的维度的同时尽可能保有大量的原始信息，而其中最为大家熟知的是PCA和tSNE，但是这二者都存在一些问题，PCA的速度相对很快，但代价... 查看详情

机器学习实战基础（二十三）：sklearn中的降维算法pca和svdpca与svd之pca中的svd(代码片段)

 PCA中的SVD1PCA中的SVD哪里来？细心的小伙伴可能注意到了，svd_solver是奇异值分解器的意思，为什么PCA算法下面会有有关奇异值分解的参数？不是两种算法么？我们之前曾经提到过，PCA和SVD涉及了大量的矩阵计算，两者都是运... 查看详情

详解主成分分析pca与奇异值分解svd-pca对手写数据集的降维&用pca做噪音过滤菜菜的sklearn课堂笔记(代码片段)

数据预处理章节一直用的这个数据集在本个案例中，由于PCA也有random_state参数，而并未设置，因此结果可能有不同fromsklearn.decompositionimportPCAfromsklearn.ensembleimportRandomForestClassifierasRFCfromsklearn.model_selectionimportcross_val_scoreimpor 查看详情

sklearn中的pca(代码片段)

...klearn.decomposition.PCA，我们下面主要也会讲解基于这个类的使用的方法。　　　　除了PCA类以外，最常用的PCA相关类还有KernelPCA类，在原理篇我们也讲到了，它主要用于非线性数据的降维，需要用到核技巧。因此在使用的时候需要... 查看详情

独热编码可以pca吗

是的，独热编码可以用来降维，可以使用主成分分析（PCA）来实现。PCA可以帮助你在独热编码的维度上进行降维，从而减少模型的复杂度，并且能够捕捉数据的主要信息。参考技术A独热编码和PCA（主成分分析）是两种不同的数... 查看详情

特征降维-pca的数学原理

...表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是... 查看详情

如何使用随机森林对分类模型的词袋进行降维

】如何使用随机森林对分类模型的词袋进行降维【英文标题】：HowtododimensionreductioninBagofWordsforaClassificationModelusingRandomForest【发布时间】：2018-05-1818:37:47【问题描述】：我将文本数据特征与其他数字特征一起用于分类模型。如何... 查看详情

降维技术2-线性判别分析(lda)

...法PCA进行了总结。这里的LDA是另一种经典的的降维算法。使用PCA进行降维，我们没有将类别考虑进去，属于无监督学习。而LDA是一种监督学习的降维技术，即它的每个样本是有类别输出的。LDA的思想给定训练样例集，设法将样例... 查看详情

机器学习—pca降维

...成分分析（Principalcomponentsanalysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。　　PCA顾名思义，就是找出数据里最主要的方面，用数据里最主要的方面来代替原始数据。... 查看详情

【r>>tsne】tsne高效降维

...构建过程中产生的risk和riskScore数据为例：下面结合ggplot2进行绘图：另一种降维方法：PCA，已在之前的笔记中写过。【R>>PCA】主成分分析参考链接：t-SNE一种高效的降维算法 查看详情

任务5图像的读取及表示图像的特征图片特征的降维

...的表示以及读取方法　　了解图像的特征　　对图像特征进行降维 一、图像的读取及表示　　图像要进行处理才能进行模型输入。　　python自带的库将图像存在矩阵或者张量里面。　　图像由像素组成，一个像素点一般油RGB... 查看详情