关键词:
参考技术A 随着BERT等预先训练模型获得越来越多的关注,从数据增强实验到改进模型数学原理,大量的研究已经进一步提高了它们的性能。在本文中,作者提出了一种简洁有效的方法,在保持几乎相同的计算成本的情况下,利用标签嵌入技术来提高BERT的文本分类性能。在6个文本分类基准数据集上的实验结果证明了其有效性。文本分类是自然语言处理(NLP)中的一个经典问题。任务是将预定义的类或多个类注释到给定的文本中,其中文本表示是一个重要的中间步骤。
为了学习更好的文本表示,已经开发了各种神经模型,包括卷积神经网络模型,循环神经网络模型和注意机制。预训练模型在文本分类方面也非常有利,因为它们通过避免从零开始来帮助简化训练过程。其中一组方法专注于单词嵌入,如word2vec和GloVe;另一种方法专注于上下文化单词嵌入,从CoVe到ELMo、OpenAI GPT、ULMFiT和BERT。
BERT在各种NLP任务中取得了特别令人印象深刻的表现。随着它的成功,通过对大量数据进行预训练的模型,如ERNIE、RoBERTa、UniLM和XLnet,由于其学习情境表示的能力而变得流行起来。这些模型基于多层双向注意机制,并通过MASK预测任务进行训练,这是BERT的两个核心部分。继续研究BERT的潜力仍然很重要,因为新的发现也可以帮助研究BERT的其他变体。在这项工作中,作者提出了一种简单而有效的方法来提高BERT的文本分类性能,通过类别标签的文本(如“世界”、“体育”、“商业”和“科学技术”)来增强上下文表示学习,同时不改变原始的编码器网络结构。本文的主要贡献如下:
图一展示了论文算法的大致结构,受句子对输入的启发,作者将标签文本与输入文本用[SEP]进行拼接,标签文本与输入文本用不同的片段向量(segment embeddings)表示。
后面同正常文本分类相同,通过整体[CLS] embedding,图片中为 接上tanh线性层进行分类,通过交叉熵损失训练。
举例:假设有三个类别---体育、美食、 人物。「马德里竞技」视角下这三类最后都是抽象的,为A/B/C,若训练时「体育美食人物+马德里竞技」--->体育,则模型能学习到「竞技」「体育」之间的关系,即利用label的文本信息。
除了单个文本输入之外,作者对于句子对输入没用用[SEP]字符拼接标签文本与输入文本,因为前后不是自然句,不像NSP任务,这种方式记为 w/o[SEP]
除了使用文档将标签的原始文本编码到BERT中外,作者还实验为每个类选择更多的单词作为代表,从而扩大了Lj中标记的数量。通过tfidf 标签文本增强来进一步提高我们的模型的性能。使用基于WordPiece的Bert Tokenizer来对文本进行分词,然后计算每个subword的平均tf-idf得分,最后将前5、10、15或20作为补充标签文本到相应的类。
其中AGNEWS包含四种类别,DBpedia包含14种类别,在线infer的时候也要加上这些前缀,会带来一定开销,所以label也不宜多,性能折中。同时,过多的label引入,也可能带来分类效果的下降。
可以明显的看到不对句子pair input作区分w/o [SEP]取得了更好的效果。NSP任务在Bert pretrain阶段是用于预测下一个句子的。当我们将标签序列与输入文档连接时,[SEP]标记将非自然语言序列与自然语言句子组合在一起。这种差异可能导致了前训练和BERT微调之间的偏斜度,导致性能下降。
多标签文本分类《融合注意力与cornet的多标签文本分类》
...献: [1]融合注意力与CorNet的多标签文本分类参考论文信息 论文名称:《融合注意力与CorNet的多标签文本分类》 发布期刊:《西北大学学报(自然科学版)》 期刊信息:CSCD扩展[0]摘要 目前文本分... 查看详情
基于bert的多模型融合借鉴(代码片段)
...用BERT-Finetune、BERT-CNN-Pooling、BERT-RCN-Pooling的多种结构进行融合,在输入上引入字词结合的形式,另外充分利用假新闻的关键词特征进行优化。在智源&计算所-互联网虚假新闻检测挑战赛的假新闻文本识别这个评测任务上,该文... 查看详情
多标签文本分类《基于标签语义注意力的多标签文本分类》
...: [1]基于标签语义注意力的多标签文本分类参考论文信息 论文名称:《基于标签语义注意力的多标签文本分类》 发布期刊:《软件学报》 期刊信息:CSCD 论文《融合注意力与CorNet的多标签文本... 查看详情
小白学习pytorch教程十六在多标签分类任务上微调bert模型(代码片段)
...uantization_bert_tutorial.html复旦大学邱锡鹏老师课题组的研究论文《HowtoFine-TuneBERTforTextClassification?》。论文:https://arxiv.org/pdf/1905.05583.pdf这篇论文的主要目的在于在文本分类任务上探索不同的BERT微调方法并提供一种通用的BERT微调解... 查看详情
多标签文本分类《融合注意力与cornet的多标签文本分类》
...献: [1]融合注意力与CorNet的多标签文本分类参考论文信息 论文名称:《融合注意力与CorNet的多标签文本分类》 发布期刊:《西北大学学报(自然科学版)》 期刊信息:CS 查看详情
使用 pytorch 进行 BERT 文本分类
...6b5b]构建用于文本分类的BERT模型。我的数据集包含两列(标签、文本) 查看详情
bert-多标签文本分类实战之一——实战项目总览
[1]总览 【BERT-多标签文本分类实战】系列共七篇文章: 【BERT-多标签文本分类实战】之一——实战项目总览 【BERT-多标签文本分类实战】之二——BERT的地位与名词术语解释 【BERT-多标签文本分类实战】之三—... 查看详情
使用 Spacy、Bert 时是不是需要对文本分类进行停用词去除、词干/词形还原?
】使用Spacy、Bert时是不是需要对文本分类进行停用词去除、词干/词形还原?【英文标题】:Isitnecessarytodostopwordsremoval,Stemming/LemmatizationfortextclassificationwhileusingSpacy,Bert?使用Spacy、Bert时是否需要对文本分类进行停用词去除、词干/... 查看详情
bert模型
...,日期等)。可以用BERT将每个token的输出向量送到预测NER标签的分类层。3.模型 首先通过将token,segment,position,进行embedding,然后相加作为输入层,下一层使用Transformer做encoder,处理方式包括两种MaskedLM(MLM),NextSentencePre... 查看详情
bert预训练模型及文本分类(代码片段)
...构,以及将其应用于文本分类实践。知识点语言模型和词向量BERT结构详解BERT文本分类BERT全称为BidirectionalEncoderRepresentationsfromTransformer,是谷歌在2018年10月发布的语言表示模型。BERT通过维基百科和书籍语料组成的庞大语料进行了... 查看详情
bert模型做多标签文本分类(代码片段)
Bert模型做多标签文本分类参考链接BERT模型的详细介绍图解BERT模型:从零开始构建BERT(强推)李宏毅2021春机器学习课程我们现在来说,怎么把Bert应用到多标签文本分类的问题上。注意,本文的重点是Bert的应用,对... 查看详情
bert-多标签文本分类实战之五——bert模型库的挑选与transformers(代码片段)
·请参考本系列目录:【BERT-多标签文本分类实战】之一——实战项目总览·下载本实战项目资源:>=点击此处=<[1]BERT模型库 从BERT模型一经Google出世,到tensorflow与pytorch版本的BERT相继发布,再到不同... 查看详情
bert-多标签文本分类实战之五——bert模型库的挑选与transformers(代码片段)
·请参考本系列目录:【BERT-多标签文本分类实战】之一——实战项目总览·下载本实战项目资源:>=点击此处=<[1]BERT模型库 从BERT模型一经Google出世,到tensorflow与pytorch版本的BERT相继发布,再到不同... 查看详情
bert-多标签文本分类实战之五——bert模型库的挑选与transformers(代码片段)
·请参考本系列目录:【BERT-多标签文本分类实战】之一——实战项目总览·下载本实战项目资源:>=点击此处=<[1]BERT模型库 从BERT模型一经Google出世,到tensorflow与pytorch版本的BERT相继发布,再到不同... 查看详情
文本分类《融合知识感知与双重注意力的短文本分类模型》(代码片段)
... [1]融合知识感知与双重注意力的短文本分类模型参考论文信息(很牛) 论文名称:《融合知识感知与双重注意力的短文本分类模型》 发布期刊:《软件学报》 期刊信息:CSCD【注一】:软... 查看详情
论文泛读198通过输入空间转换利用bert进行多模态目标情感分类
贴一下汇总贴:论文阅读记录论文链接:《ExploitingBERTForMultimodalTargetSentimentClassificationThroughInputSpaceTranslation》一、摘要多模态目标/方面情感分类结合了多模态情感分析和方面/目标情感分类。该任务的目标是结合视觉和语... 查看详情
论文泛读198通过输入空间转换利用bert进行多模态目标情感分类
贴一下汇总贴:论文阅读记录论文链接:《ExploitingBERTForMultimodalTargetSentimentClassificationThroughInputSpaceTranslation》一、摘要多模态目标/方面情感分类结合了多模态情感分析和方面/目标情感分类。该任务的目标是结合视觉和语... 查看详情
论文泛读198通过输入空间转换利用bert进行多模态目标情感分类
贴一下汇总贴:论文阅读记录论文链接:《ExploitingBERTForMultimodalTargetSentimentClassificationThroughInputSpaceTranslation》一、摘要多模态目标/方面情感分类结合了多模态情感分析和方面/目标情感分类。该任务的目标是结合视觉和语... 查看详情