正文

针对特定领域微调 Bert（无监督）

 2023-02-15  290

关键词：

【中文标题】针对特定领域微调 Bert（无监督）【英文标题】：Fine-tune Bert for specific domain (unsupervised) 【发布时间】：2021-02-19 01:18:40 【问题描述】：

我想在与特定领域（在我的情况下与工程相关）相关的文本上微调 BERT。培训应该是无人监督的，因为我没有任何标签或任何东西。这可能吗？

【问题讨论】：

【参考方案1】：

您实际上想要的是继续对来自您特定域的文本进行预训练 BERT。在这种情况下，您要做的是继续将模型作为掩码语言模型进行训练，但要使用您的特定领域数据。

您可以使用 Huggingface 变形金刚中的 run_mlm.py 脚本。

【讨论】：

在继续预训练时我是否还需要扩展词汇量？我在问，因为我要训练 Bert 的文本包含与发电厂相关的非常具体的术语。你可以。最好的词汇文件中有很多插槽，您可以在其中放入特定领域的单词。

bert论文翻译(代码片段)

文章目录概述1.简介2.相关工作2.1基于无监督特征的方法2.2无监督微调方法2.3迁移学习3.BERT3.1预训练BERT3.2Fine-tuningBERT4.实验4.1GLUE(GeneralLanguageUnderstandingEvaluation)4.2SQuAD(StanfordQuestionAnsweringDataset)v1.14.3SQuADv2.04.4SWAG5Abl 查看详情

bert论文翻译(代码片段)

Bert 针对语义相似性进行了微调

】Bert针对语义相似性进行了微调【英文标题】：Bertfine-tunedforsemanticsimilarity【发布时间】：2020-03-2901:12:01【问题描述】：我想应用微调Bert来计算句子之间的语义相似度。我搜索了很多网站，但我几乎没有在下游找到这个。我刚... 查看详情

将 LIME 解释应用于我的微调 BERT 以进行序列分类模型？

...cationmodel?【发布时间】：2020-10-2214:45:03【问题描述】：我针对特定任务的序列分类对BERT进行了微调，我想应用LIME解释来查看每个标记如何有助于分类到特定标签，因为LIME将分类器作为黑盒处理。我从可用的在线查看详情

bert论文翻译(代码片段)

...概述1.简介2.相关工作2.1基于无监督特征的方法2.2无监督微调方法2.3迁移学习3.BERT3.1预训练BERT3.2Fine-tuningBERT4.实验4.1GLUE(GeneralLanguageUnderstandingEvaluation)4.2SQuAD(StanfordQuestionAnsweringDataset)v1.14.3SQuADv2.04.4SWAG5AblationStudies5.1EffectofPre-trainingT... 查看详情

bert论文翻译(代码片段)

gpt系列论文

...有两个问题：在子任务上还是需要重新训练模型需要针对子任务收集数据集，这导致，模型在扩展到新任务时开销是比较大的。GPT-2还是做语言模型，查看详情

bert微调自然语言推理数据集bert微调代码实现动手学深度学习v2

1.BERT微调2.自然语言推理数据集3.BERT微调代码4.Q&A神经网络可以跨语言，跨领域。比如自然语言，视觉都在用Transformer。5.目标检测竞赛总结参考https://www.bilibili.com/video/BV15L4y1v7ts/?spm_id_from=autoNext 查看详情

我可以使用 BERT 作为特征提取器而不对我的特定数据集进行任何微调吗？

】我可以使用BERT作为特征提取器而不对我的特定数据集进行任何微调吗？【英文标题】：CanIuseBERTasafeatureextractorwithoutanyfinetuningonmyspecificdataset?【发布时间】：2021-02-0802:28:17【问题描述】：我正在尝试解决10个类别的多标签分类... 查看详情

如何微调 HuggingFace BERT 模型以进行文本分类 [关闭]

...问题讨论】：【参考方案1】：微调方法有多种方法可以针对目标任务微调BERT。进一步预训练基础查看详情

如何在未标记的数据上微调 BERT？

...ddata?【发布时间】：2020-09-0917:57:09【问题描述】：我想在特定域上微调BERT。我在文本文件中有该域的文本。我如何使用这些来微调BERT？我目前正在寻找here。我的主要目标是使用BERT获得句子嵌入。【问题讨论】：【参考方案1】... 查看详情

mae自监督算法介绍和基于easycv的复现(代码片段)

...#xff09;能利用大量无标注的数据进行表征学习，然后在特定下游任务上对参数进行微调。通过这样的方式，能够在较少有标注数据上取得优于有监督学习方法的精度。近年来，自监督学习受到了越来越多的关注，如... 查看详情

iclr2022|beit论文解读：将mlm无监督预训练应用到cv领域

...参考历史文章从ViT到Swin，10篇顶会论文看Transformer在CV领域的发展历程）。首先简单介绍一下这篇文章的整体思路：利用BERT中MLM（MaskedLanguageModeling）的思路，把一个图像转换成token序列，对图像token进行... 查看详情

图解bert模型结构输入输出

...的参数微调就相当于我们在大学期间基于已有基础知识、针对所选专业作进一步强化，从而获得能够应用于实际场景的专业技能。在基于深度神经网络的NLP方法中，文本中的字/词通常都用一维向量来表示（一般称之为“词向量... 查看详情

在特定领域继续训练预训练的 BERT 模型的最简单方法是啥？

】在特定领域继续训练预训练的BERT模型的最简单方法是啥？【英文标题】：Whatisthesimplestwaytocontinuetrainingapre-trainedBERTmodel,onaspecificdomain?在特定领域继续训练预训练的BERT模型的最简单方法是什么？【发布时间】：2021-07-2017:49:58【... 查看详情

easycv带你复现更好更快的自监督算法-fastconvmae

...SupervisedLearning）利用大量无标注的数据进行表征学习，在特定下游任务上对参数进行微调，极大降低了图像任务繁重的标注工作，节省大量人力成本。近年来，自监督学习在视觉领域大放异彩，受到了越来越多的关注。在CV领域... 查看详情

k-bert理解

...种从大规模语料库中学得语言表征的模型，但是，在专业领域表现不佳。为了解决该问题，作者提出了一个基于知识图谱的语言表示模型K-BERT.但是，过多的考虑领域知识可能导致语句语义出现错误，这个问题被称为知识噪声（Kn... 查看详情

小白学习pytorch教程十六在多标签分类任务上微调bert模型(代码片段)

...理、学习率、不同层的选择等方法；(2)目标任务内、领域内及跨领域的进一步预训练BERT；(3)多任务学习。微调后的BERT在七个英文数据集及搜狗中文数据集上取得了当前最优的结果。作者的实现代码:https://github.com 查看详情