正文

多标签文本分类《基于标签语义注意力的多标签文本分类》

征途黯然.  征途黯然.  2023-01-09  327

关键词：

·阅读摘要：
为了建立标签的语义信息和文档的内容信息之间的联系并加以利用，文章提出了一种基于标签语义注意力的多标签文本分类(LAbel Semantic Attention Multi-label Classification,简称 LASA)方法。
·参考文献：
[1] 基于标签语义注意力的多标签文本分类

参考论文信息

论文名称：《基于标签语义注意力的多标签文本分类》

发布期刊：《软件学报》

期刊信息：CSCD

论文《融合注意力与CorNet的多标签文本分类》与此篇论文是同一个思路，值得参考。

模型结构

模型结构如下：

【注】：本篇论文的网络结构很简洁，论文写的也很干净利落。

1. 单词隐表示学习

这部分比较简单，对文本序列使用Bi-LSTM模型，最终得到正向与反向的文档表示向量 $\\mathopH\\limits ^\\rightarrow$ 与 $\\mathopH\\limits ^\\leftarrow$ 。

2. 标签隐表示学习

这部分的工作是把标签转化为向量表示。文中使用的方法是，把标签中的每个词的向量表示相加取得平均。第i个标签的向量表示如下：

$c_i = \\frac1p\\sum_j=1^pw_j$

【例如】：某个标签为“love story”，那么这个标签的 $p = 2$ ， $w_1$ 为"love"， $w_2$ 为"story"。然后把 $w_1$ 、 $w_2$ 送到Bi-LSTM模型里面得到向量，最后取平均值。

上述公式称之为：词向量平均函数。

3. 单词重要性学习

本模块的目的是，计算每个标签对某条文本中的每个词的“重要性”，即权重。

由于在“单词隐表示学习”中得到了正向与反向的文档表示向量 $\\mathopH\\limits ^\\rightarrow$ 与 $\\mathopH\\limits ^\\leftarrow$ 。此处单词重要性权重也会有正向与反向的权重 $\\mathopA\\limits ^\\rightarrow$ 与 $\\mathopA\\limits ^\\leftarrow$ 。其中： $\\mathopA\\limits ^\\rightarrow=C\\mathopH\\limits ^\\rightarrow$ ， $\\mathopA\\limits ^\\leftarrow=C\\mathopH\\limits ^\\leftarrow$ 。

得到所有标签针对当前文档中每个单词的匹配得分, 从匹配得分中可以获得文档中每个标签更关注的部分,从而更好地学习文档表示。

4. 文档表示学习

每个标签关注文档中的内容是不同的,所以本文提出为每个标签学习不同的文档表示,文档的表示是由每个单词的权重和单词的表示结合得到的,将上一层得到的单词和标签之间的匹配得分乘以每个单词的隐表示,得到每个标签对应的文档表示。

5. 标签预测

使用全连接层进行分类。

多标签文本分类《融合注意力与cornet的多标签文本分类》

·阅读摘要：本文主要提出标签与文本注意力+文本注意力、CorNet增强标签预测概率两个创新点，提升了实验精度。·参考文献： [1]融合注意力与CorNet的多标签文本分类参考论文信息论文名称：《融... 查看详情

多标签文本分类《融合注意力与cornet的多标签文本分类》

带反馈的多标签文本分类

】带反馈的多标签文本分类【英文标题】：multi-labeltextclassificationwithfeedback【发布时间】：2018-06-1013:54:13【问题描述】：我目前正在研究一个多标签多类文本分类问题。在问题的某些部分，我需要向用户提供反馈，即算法根据哪... 查看详情

使用 TensorFlow 的多标签文本分类

】使用TensorFlow的多标签文本分类【英文标题】：MultilabelTextClassificationusingTensorFlow【发布时间】：2016-05-2519:32:19【问题描述】：文本数据组织为具有20,000个元素的向量，例如[2,1,0,0,5,....,0]。第i个元素表示文本中第i个单词的频率... 查看详情

为啥我的多标签文本分类 LSTM 表现不佳？

】为啥我的多标签文本分类LSTM表现不佳？【英文标题】：WhymyLSTMforMulti-LabelTextClassificationunderperforms?为什么我的多标签文本分类LSTM表现不佳？【发布时间】：2021-11-0705:01:17【问题描述】：我使用的是Windows10机器。库：带有Tensorflo... 查看详情

使用 Sklearn 进行多标签文本分类

】使用Sklearn进行多标签文本分类【英文标题】：MultilabeltextclassificationwithSklearn【发布时间】：2020-09-0206:07:30【问题描述】：为了解决我在Python中的多标签文本分类问题，我已经尝试了所有我能想到的方法，我非常感谢任何帮助... 查看详情

涉及数字范围作为标签的多标签分类

】涉及数字范围作为标签的多标签分类【英文标题】：Multi-labelclassificationinvolvingrangeofnumbersaslabels【发布时间】：2014-12-3100:09:12【问题描述】：我有一个分类问题，我的标签是等级，0-100，增量为1（例如1、2、3、4）。我有一个数... 查看详情

文本分类：多标签文本分类与多类文本分类

】文本分类：多标签文本分类与多类文本分类【英文标题】：TextClassification:MultilableTextClassificationvsMulticlassTextClassification【发布时间】：2016-06-1417:21:43【问题描述】：我对处理多标签分类问题的方法有疑问。根据文献回顾，我发... 查看详情

bert-多标签文本分类实战之一——实战项目总览

[1]总览【BERT-多标签文本分类实战】系列共七篇文章：【BERT-多标签文本分类实战】之一——实战项目总览【BERT-多标签文本分类实战】之二——BERT的地位与名词术语解释【BERT-多标签文本分类实战】之三—... 查看详情

大型数据集的多标签分类

】大型数据集的多标签分类【英文标题】：Multi-labelclassificationforlargedataset【发布时间】：2013-12-1508:57:04【问题描述】：我正在解决一个多标签分类问题。我有大约600万行要处理，它们是大量的文本。它们在单独的列中使用多个... 查看详情

多标签文本分类deeplearningforextrememulti-labeltextclassification

...：本文提出结合CNN的XML-CNN模型来解决大规模的多标签文本分类问题。 [1]DeepLearningforExtremeMulti-labelTextClassification[0]摘要极端多标签文本分类(extrememulti-labeltextclassification(XMTC))是指从一个非常大的标签集合为每个文... 查看详情

bert-多标签文本分类实战之三——多标签文本分类的方向与常用数据集介绍(代码片段)

·请参考本系列目录：【BERT-多标签文本分类实战】之一——实战项目总览·下载本实战项目资源：>=点击此处=<【注】本篇将首先介绍多标签文本分类中几个小方向，然后介绍这几个小方向对应的常用数据集... 查看详情

bert-多标签文本分类实战之三——多标签文本分类的方向与常用数据集介绍(代码片段)

多标签文本分类层次多标签文本分类方法

...：本文是一篇中文综述，主要介绍了层次多标签分类的一些算法。·参考文献： [1]赵海燕，曹杰，陈庆奎，曹健．层次多标签文本分类方法[J/OL]．小型微型计算机系统.https://kns.cnki.net/kcms/det... 查看详情

Pyspark 多标签文本分类

】Pyspark多标签文本分类【英文标题】：Pysparkmultilabeltextclassification【发布时间】：2018-05-1601:04:36【问题描述】：我正在尝试预测未知文本的标签。我的数据如下所示：+-----------------+-----------+|label|text|+-----------------+-----------+|[0,1,0... 查看详情

bert模型做多标签文本分类(代码片段)

Bert模型做多标签文本分类参考链接BERT模型的详细介绍图解BERT模型：从零开始构建BERT(强推)李宏毅2021春机器学习课程我们现在来说，怎么把Bert应用到多标签文本分类的问题上。注意，本文的重点是Bert的应用，对... 查看详情

多标签文本分类，每个训练数据的类标签分布不均匀

】多标签文本分类，每个训练数据的类标签分布不均匀【英文标题】：Multi-labeltextclassificationwithnon-uniformdistributionofclasslabelsforeverytraindata【发布时间】：2020-04-0919:52:50【问题描述】：我有一个多标签分类问题，我想用六个标签对... 查看详情