关键词：

·阅读摘要：
  本文主要提出标签与文本注意力+文本注意力、CorNet增强标签预测概率两个创新点，提升了实验精度。
·参考文献：
  [1] 融合注意力与CorNet的多标签文本分类

参考论文信息

  论文名称：《融合注意力与CorNet的多标签文本分类》

  发布期刊：《西北大学学报(自然科学版)》

  期刊信息：CSCD扩展

[0] 摘要

  目前文本分类存在问题：只关注文本本身的信息，忽略了标签的信息。

  为了解决这个问题：论文提出使用图注意力网络GAT来编码标签信息，然后使用 “文本－标签”注意力机制来强化标签与文本的语义联系，最后把它与文本的注意力向量融合，得到最终编入了标签信息的文本向量。

  论文最后使用CorNet模型增强标签预测概率。

[1] 相关工作

  论文介绍多标签文本分类算法的历史：机器学习算法和深度学习算法。

  机器学习算法有BR、CC、ML-DT、SVM、KNN等老算法；

  深度学习算法有CNN系列、RNN系列模型，比如CNN、LSTM、LSTM_Attention、Seq2Seq、SGM、CNN-RNN等。

【注一】：这里已经被各个论文介绍烂了，老生常谈。

  最后，还介绍了LSAN、GCN等会用到标签信息的模型。

【注二】：2022年的论文，竟然不介绍预训练语言模型，比如ELMo、BERT、XLNet这些。

[2] 模型

  模型图如下：

  该模型主要分为6个部分：

  1、嵌入层+LSTM层
  2、多标签注意力层
  3、图注意力网络
  4、“文本 －标签”注意力机制
  5、自适应融合机制
  6、CorNet模块

  1、嵌入层+LSTM层

  论文使用的是Glove预训练词向量作为embedding层，然后输入到Bi-LSTM层得到文本表示。

【注三】：使用embedding+Bi-LSTM是比较早的深度学习方法，现在更多的是用预训练语言模型来微调。

  2、多标签注意力层

  论文原文写的是：多标签文本可以由多个标签标记，每个标签对应的最相关文本是不同的。通过多标签注意力机制计算每个标签对应的文本向量hi的线性组合，可以有效地表示文本的重要程度。

  论文给的小标题“多标签注意力层”比较让人困惑，似乎这里用了标签的信息？看原文的意思是用了，但是看他贴的公式并没有用，而且我也想象不到怎么使用标签信息。

【注四】：这里我去论文贴出来的参考论文《A structured self-attentive sentence embedding》看了一下，人家写的是文本数据自注意，如下图：

  3、图注意力网络

  图注意力网络GAT是比较火的一种图神经网络，不再介绍。

  它的输入是标签嵌入，输出是经过注意力机制后的标签向量。

【注五】：GAT原文 《GRAPH ATTENTION NETWORKS》值得一看

  4、“文本 －标签”注意力机制

  强化标签之间的语义联系，将标签语义信息与文本上下文语义信息进行交互，获得基于标签语义的文本特征表示。

  论文的做法是，把 嵌入层+LSTM层 的输出与 图注意力网络 的输出相乘。

  5、自适应融合机制

  自适应融合机制是把 多标签注意力层 的输出与 **“文本 －标签”注意力机制 ** 的输出加权相乘，得到最终的文本表示。

  公式13有点疑惑，$\beta$与$\gamma$不应该是公式12的输出嘛？怎么会相加等于1？用Softmax处理一下可以做好，但是论文没有提。

  6、CorNet模块

  CorNet模块能够学习标签相关性，使用相关性知识增强原始标签预测，并输出增强的标签预测。

【注六】：CorNet模型原文：《Correlation Networks for Extreme Multi-label Text Classification》

多标签文本分类《基于标签语义注意力的多标签文本分类》

...间的联系并加以利用，文章提出了一种基于标签语义注意力的多标签文本分类(LAbelSemanticAttentionMulti-labelClassification,简称LASA)方法。·参考文献：  [1]基于标签语义注意力的多标签文本分类参考论文信息  论文名称࿱... 查看详情

多标签文本分类《基于标签语义注意力的多标签文本分类》

...间的联系并加以利用，文章提出了一种基于标签语义注意力的多标签文本分类(LAbelSemanticAttentionMulti-labelClassification,简称LASA)方法。·参考文献：  [1]基于标签语义注意力的多标签文本分类参考论文信息  论文名称࿱... 查看详情

带反馈的多标签文本分类

】带反馈的多标签文本分类【英文标题】：multi-labeltextclassificationwithfeedback【发布时间】：2018-06-1013:54:13【问题描述】：我目前正在研究一个多标签多类文本分类问题。在问题的某些部分，我需要向用户提供反馈，即算法根据哪... 查看详情

使用 TensorFlow 的多标签文本分类

】使用TensorFlow的多标签文本分类【英文标题】：MultilabelTextClassificationusingTensorFlow【发布时间】：2016-05-2519:32:19【问题描述】：文本数据组织为具有20,000个元素的向量，例如[2,1,0,0,5,....,0]。第i个元素表示文本中第i个单词的频率... 查看详情

为啥我的多标签文本分类 LSTM 表现不佳？

】为啥我的多标签文本分类LSTM表现不佳？【英文标题】：WhymyLSTMforMulti-LabelTextClassificationunderperforms?为什么我的多标签文本分类LSTM表现不佳？【发布时间】：2021-11-0705:01:17【问题描述】：我使用的是Windows10机器。库：带有Tensorflo... 查看详情

涉及数字范围作为标签的多标签分类

】涉及数字范围作为标签的多标签分类【英文标题】：Multi-labelclassificationinvolvingrangeofnumbersaslabels【发布时间】：2014-12-3100:09:12【问题描述】：我有一个分类问题，我的标签是等级，0-100，增量为1（例如1、2、3、4）。我有一个数... 查看详情

文本分类：多标签文本分类与多类文本分类

】文本分类：多标签文本分类与多类文本分类【英文标题】：TextClassification:MultilableTextClassificationvsMulticlassTextClassification【发布时间】：2016-06-1417:21:43【问题描述】：我对处理多标签分类问题的方法有疑问。根据文献回顾，我发... 查看详情

大型数据集的多标签分类

】大型数据集的多标签分类【英文标题】：Multi-labelclassificationforlargedataset【发布时间】：2013-12-1508:57:04【问题描述】：我正在解决一个多标签分类问题。我有大约600万行要处理，它们是大量的文本。它们在单独的列中使用多个... 查看详情

哪些损失函数和指标用于具有非常高的负数与正数比率的多标签分类？

...些损失函数和指标用于具有非常高的负数与正数比率的多标签分类？【英文标题】：Whichlossfunctionandmetricstouseformulti-labelclassificationwithveryhighratioofnegativestopositives?【发布时间】：2020-04-0718:03:13【问题描述】：我正在训练一个用于... 查看详情

bert-多标签文本分类实战之一——实战项目总览

[1]总览  【BERT-多标签文本分类实战】系列共七篇文章：  【BERT-多标签文本分类实战】之一——实战项目总览  【BERT-多标签文本分类实战】之二——BERT的地位与名词术语解释  【BERT-多标签文本分类实战】之三—... 查看详情

bert-多标签文本分类实战之三——多标签文本分类的方向与常用数据集介绍(代码片段)

·请参考本系列目录：【BERT-多标签文本分类实战】之一——实战项目总览·下载本实战项目资源：>=点击此处=<【注】本篇将首先介绍多标签文本分类中几个小方向，然后介绍这几个小方向对应的常用数据集... 查看详情

bert-多标签文本分类实战之三——多标签文本分类的方向与常用数据集介绍(代码片段)

·请参考本系列目录：【BERT-多标签文本分类实战】之一——实战项目总览·下载本实战项目资源：>=点击此处=<【注】本篇将首先介绍多标签文本分类中几个小方向，然后介绍这几个小方向对应的常用数据集... 查看详情

bert-多标签文本分类实战之三——多标签文本分类的方向与常用数据集介绍(代码片段)

·请参考本系列目录：【BERT-多标签文本分类实战】之一——实战项目总览·下载本实战项目资源：>=点击此处=<【注】本篇将首先介绍多标签文本分类中几个小方向，然后介绍这几个小方向对应的常用数据集... 查看详情

使用 Sklearn 进行多标签文本分类

】使用Sklearn进行多标签文本分类【英文标题】：MultilabeltextclassificationwithSklearn【发布时间】：2020-09-0206:07:30【问题描述】：为了解决我在Python中的多标签文本分类问题，我已经尝试了所有我能想到的方法，我非常感谢任何帮助... 查看详情

多标签文本分类deeplearningforextrememulti-labeltextclassification

...：  本文提出结合CNN的XML-CNN模型来解决大规模的多标签文本分类问题。  [1]DeepLearningforExtremeMulti-labelTextClassification[0]摘要  极端多标签文本分类(extrememulti-labeltextclassification(XMTC))是指从一个非常大的标签集合为每个文... 查看详情

多模态特征融合：图像语音文本如何转为特征向量并进行分类

...数据，融合文本、视频图像、音频三种模态进行视频多模标签分类，相比只使用视频图像特征，显著提升了高层语义标签的效果。模型架构图如下：，在该模型中，不同模态的数据通过不同的处理方式进行特征提取和融合。比如... 查看详情

TensorFlow中具有稀疏标签的多标签图像分类？

】TensorFlow中具有稀疏标签的多标签图像分类？【英文标题】：MultilabelimageclassificationwithsparselabelsinTensorFlow?【发布时间】：2017-02-0311:10:09【问题描述】：我想为n个类别执行多标签图像分类任务。我有每个图像的稀疏标签向量，每... 查看详情

Keras CNN：图像的多标签分类

】KerasCNN：图像的多标签分类【英文标题】：KerasCNN:MultiLabelClassificationofImages【发布时间】：2021-11-1823:22:18【问题描述】：我是深度学习的新手，在使用keras卷积神经网络执行多标签图像分类任务时遇到了一些问题。这些主要是指... 查看详情