关键词：
【中文标题】如何在未标记的数据上微调 BERT？【英文标题】：How to fine tune BERT on unlabeled data? 【发布时间】：2020-09-09 17:57:09 【问题描述】：我想在特定域上微调 BERT。我在文本文件中有该域的文本。我如何使用这些来微调 BERT？ 我目前正在寻找here。
我的主要目标是使用 BERT 获得句子嵌入。
【问题讨论】：
【参考方案1】：这里要区分的重要一点是您是要微调您的模型，还是要使其接受额外的预训练。
前者只是一种训练 BERT 以适应特定监督任务的方法，为此您通常需要大约 1000 个或更多样本包括标签。
另一方面，预训练基本上是通过继续其无监督训练目标（[MASK]ing 特定单词并尝试预测应该存在的单词）来帮助 BERT 更好地“理解”来自某个领域的数据，您确实不需要需要标记数据。
但是，如果您的最终目标是句子嵌入，我强烈建议您查看 Sentence Transformers，它基于 Huggingface 的转换器库的稍微过时的版本，但主要尝试生成高质量的嵌入。请注意，有一些方法可以使用替代损失进行训练，您可以在其中尝试模拟与嵌入相关的某种形式的损失。
编辑： Sentence-Transformers 的作者最近加入了 Huggingface，所以我希望在接下来的几个月里支持会大大改善！
【讨论】：
我想做额外的预训练。查看“Sentence Transformers”的链接，看起来我想要的是“继续对其他数据进行培训”部分。我可以在这里使用未标记的文本作为训练数据吗？该部分中提到的 py 文件的链接不再存在。 @Rish 你找到解决方案了吗？我正在寻找相同的。我想对特定领域进行额外的预训练。 @Miguel 我最终尝试了这个：DeCLUTR @Rish - 它的表现如何？【参考方案2】：@dennlinger 给出了详尽的答案。额外的预训练也称为“后训练”、“域适应”和“语言建模微调”。 here 你会找到一个例子。
但是，既然你想要有好的句子嵌入，你最好使用Sentence Transformers。此外，它们提供了微调模型，这些模型已经能够理解句子之间的语义相似性。 “继续对其他数据进行培训”部分是您想要在您的域上进一步微调模型的部分。您必须根据可用的loss functions 之一准备训练数据集。例如。 ContrastLoss 需要一对文本和一个标签，这对是否相似。
【讨论】：
嗨@pashok3ddd，我正在尝试在我自己的特定领域文本上训练一个变形金刚模型。不幸的是，您发布的示例的链接不存在。您对我在哪里可以获得此任务的代码有任何其他建议吗？ @mitramirshafiee 我修复了链接。【参考方案3】：我相信迁移学习对于在特定领域训练模型很有用。首先加载预训练的基础模型并冻结其权重，然后在基础模型之上添加另一层并根据您自己的训练数据训练该层。但是，需要对数据进行标记。
Tensorflow 在迁移学习方面有一些有用的guide。
【讨论】：
【参考方案4】：你说的是pre-training。对未标记数据进行微调称为预训练，要开始使用，您可以查看 here。
【讨论】：
如何再次微调一个bert微调模型
【中文标题】如何再次微调一个bert微调模型【英文标题】：Howtofinetuningagainofabertfinedtunedmodel【发布时间】：2021-07-2220:45:13【问题描述】：我使用ktrain为文本分类做了一个微调的bert模型。我想再次在另一个文本分类数据上微调这... 查看详情
如何使用微调的 BERT 模型进行句子编码？
】如何使用微调的BERT模型进行句子编码？【英文标题】：Howtousefine-tunedBERTmodelforsentenceencoding?【发布时间】：2021-06-1620:07:15【问题描述】：我按照此处的脚本在我自己的数据集上微调了BERT基础模型：https://github.com/cedrickchee/pytorch... 查看详情
小白学习pytorch教程十六在多标签分类任务上微调bert模型(代码片段)
...xff1a;RunsenBERT模型在NLP各项任务中大杀四方，那么我们如何使用这一利器来为我们日常的NLP任务来服务呢？首先介绍使用BERT做文本多标签分类任务。文本多标签分类是常见的NLP任务，文本介绍了如何使用Bert模型完成文... 查看详情
中文情感分类任务如何对bert语言模型微调，微调后的模型如何使用
中文情感分类任务如何对bert语言模型微调，微调后的模型如何使用 查看详情
将 LIME 解释应用于我的微调 BERT 以进行序列分类模型？
...分类对BERT进行了微调，我想应用LIME解释来查看每个标记如何有助于分类到特定标签，因为LIME将分类器作为黑盒处理。我从可用的在线 查看详情
输入文件应该如何格式化以进行语言模型微调（BERT 通过 Huggingface Transformers）？
】输入文件应该如何格式化以进行语言模型微调（BERT通过HuggingfaceTransformers）？【英文标题】：Howexactlyshouldtheinputfilebeformattedforthelanguagemodelfinetuning(BERTthroughHuggingfaceTransformers)?【发布时间】：2020-05-1623:51:08【问题描述】：我想在... 查看详情
向 BERT/RoBERTa 添加新令牌，同时保留相邻令牌的令牌化
...：2022-01-1205:23:55【问题描述】：我正在尝试向BERT和RoBERTa标记器添加一些新标记，以便我可以根据新词微调模型。这个想法是用新词在有限的一组句子上微调模型，然后看看它在其他不同的上下 查看详情
小白学习pytorch教程十六在多标签分类任务上微调bert模型(代码片段)
...xff1a;RunsenBERT模型在NLP各项任务中大杀四方，那么我们如何使用这一利器来为我们日常的NLP任务来服务呢？首先介绍使用BERT做文本多标签分类任务。文本多标签分类是常见的NLP任务，文本介绍了如何使用Bert模型完成文... 查看详情
如何从微调的 bert 模型中获得多类置信度分数？
】如何从微调的bert模型中获得多类置信度分数？【英文标题】：Howtogetmulticlassconfidencescorefromfinetunedbertmodel?【发布时间】：2021-11-2922:52:53【问题描述】：我使用预训练的bert模型进行意图分类（uncased_L-12_H-768_A-12）。将输出显示为... 查看详情
针对特定领域微调 Bert（无监督）
】针对特定领域微调Bert（无监督）【英文标题】：Fine-tuneBertforspecificdomain(unsupervised)【发布时间】：2021-02-1901:18:40【问题描述】：我想在与特定领域（在我的情况下与工程相关）相关的文本上微调BERT。培训应该是无人监督的，... 查看详情
bert微调自然语言推理数据集bert微调代码实现动手学深度学习v2
1.BERT微调2.自然语言推理数据集3.BERT微调代码4.Q&A神经网络可以跨语言，跨领域。比如自然语言，视觉都在用Transformer。5.目标检测竞赛总结参考https://www.bilibili.com/video/BV15L4y1v7ts/?spm_id_from=autoNext 查看详情
用于情绪分析的 BERT 微调模型高度过拟合
...模型。我正在使用来自tensorflow_datasets的yelp_polarity_reviews数据。我已经确定：将预训练的BERT模型加载为KerasLayertensor 查看详情
如何微调 HuggingFace BERT 模型以进行文本分类 [关闭]
】如何微调HuggingFaceBERT模型以进行文本分类[关闭]【英文标题】：HowtoFine-tuneHuggingFaceBERTmodelforTextClassification[closed]【发布时间】：2021-10-3115:55:33【问题描述】：是否有分步说明关于如何微调HuggingFaceBERT模型以进行文本分类？【问... 查看详情
Bert 针对语义相似性进行了微调
...。我刚刚找到STS基准测试。我想知道是否可以使用STS基准数据集来训练微调的bert模型，并将其应用于我的任务。合理吗？据我所知，计算相似度的方法有很多，包括余弦相似 查看详情
bert:双向预训练+微调(代码片段)
...最新文章。Transformer:Attention集大成者GPT-1&2:预训练+微调带来的奇迹Bert:双向预训练+微调Ber 查看详情
bert:双向预训练+微调(代码片段)
...最新文章。Transformer:Attention集大成者GPT-1&2:预训练+微调带来的奇迹Bert:双向预训练+微调Bert与模型压缩Bert与模型蒸馏：PKD和DistillBertALBert:轻量级BertTinyBert:模型蒸馏的全方位应用MobileBert:Pixel4上只需40ms更多待续Transforme... 查看详情
chatgpt拓展资料：bert带你见证预训练和微调的奇迹(代码片段)
ChatGPT拓展资料：BERT带你见证预训练和微调的奇迹SQuAD数据集： "version": 查看详情
如何在 MLM 和 NSP 的新域上从头开始训练 BERT？
】如何在MLM和NSP的新域上从头开始训练BERT？【英文标题】：HowtotrainBERTfromscratchonanewdomainforbothMLMandNSP?【发布时间】：2021-04-1505:15:25【问题描述】：我正在尝试使用我自己的数据集和HuggingFace库从头开始训练BERT模型。我想以具有... 查看详情