关键词：
ViLBert
paper: ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks
基于双流的 ViLBERT，在一开始并未直接对语言信息和图片信息进行融合，而是先各自经过 Transformer 的编码器进行编码。分流设计是基于这样一个假设，语言的理解本身比图像复杂，而且图像的输入本身就是经过 Faster-RCNN 提取的较高层次的特征，因此两者所需要的编码深度应该是不一样的。
双流的 ViLBERT包括两个平行的视觉（绿色）和语言（紫色）处理流，它们通过新的共同注意转换层相互作用。这种结构允许每个模态的不同深度，并通过共同注意实现稀疏交互。带乘数下标的虚线框表示重复的层块。
输入：Image 和text ：
输出：Attention 过的 Image 和text 的表示
模型
1.预训练步骤
2.联合表示Image 和Text
两个任务：1. 预训练：Mask掉image 和部分文字去预测image 或者word ；2 微调：预测是否对应
创新：在结构上加入交互attention之后去训练
2. LXMERT 论文解读
paper:（EMNLP 2019） LXMERT: Learning Cross-Modality Encoder Representations from Transformers
code: https://github.com/airsplay/lxmert
理解这两种模式之间的对齐和关系,提出对两种模态分布进行建模。这个框架模仿了最近的bert风格的创新，同时进一步适应了有用的跨模态场景。我们的新跨模态模型侧重于视觉和语言的交互学习，特别是对单个图像的表示和它的描述性语句。
模型结构
Input Embeddings：Word Embedding && Image Embeddings
Q：TODO Object-Level Image Embeddings 怎么做？？？
Encoders ：language encoder && the object-relationship encoder
Output Representations：
language, vision, and cross-modality
训练任务：1. Language Task: Masked Cross-Modality LM
2 Vision Task: Masked Object Prediction
3 Cross-Modality Tasks
单流Bert--------image-text joint embedding
3. IMAGEBERT
Paper ： I MAGE BERT: C ROSS - MODAL P RE -TRAINING WITH L ARGE - SCALE W EAK - SUPERVISED I MAGE -T EXT D ATA
数据收集过程
学习笔记：深度学习——基于pytorch的bert应用实践(代码片段)
学习时间：2022.04.26~2022.04.30文章目录7.基于PyTorch的BERT应用实践7.1工具选取7.2文本预处理7.3使用BERT模型7.3.1数据输入及应用预处理7.3.2提取词向量7.3.3网络建模7.3.4参数准备7.3.5模型训练7.基于PyTorch的BERT应用实践本节着重于将BER... 查看详情
论文泛读198通过输入空间转换利用bert进行多模态目标情感分类
...TargetSentimentClassificationThroughInputSpaceTranslation》一、摘要多模态目标/方面情感分类结合了多模态情感分析和方面/目标情感分类。该任务的目标是结合视觉和语言来理解句子中对目标实体的情感。Twitter是该任务的理想设置 查看详情
论文泛读198通过输入空间转换利用bert进行多模态目标情感分类
...TargetSentimentClassificationThroughInputSpaceTranslation》一、摘要多模态目标/方面情感分类结合了多模态情感分析和方面/目标情感分类。该任务的目标是结合视觉和语言来理解句子中对目标实体的情感。Twitter是该任务的理想设置 查看详情
论文泛读198通过输入空间转换利用bert进行多模态目标情感分类
...TargetSentimentClassificationThroughInputSpaceTranslation》一、摘要多模态目标/方面情感分类结合了多模态情感分析和方面/目标情感分类。该任务的目标是结合视觉和语言来理解句子中对目标实体的情感。Twitter是该任务的理想设置 查看详情
基于bert的多模型融合借鉴(代码片段)
本次介绍假新闻赛道一第一名的构建思路，大家一起学习下任务描述 文本是新闻信息的主要载体，对新闻文本的研究有助于虚假新闻的有效识别。虚假新闻文本检测，具体任务为：给定一个新闻事件的文本，判定该事件属于... 查看详情
colab上基于tensorflow2.0的bert中文多分类(代码片段)
...orflow2.0刚刚在2019年10月左右发布，谷歌也在积极地将之前基于tf1.0的bert实现迁移到2.0上，但近期看还没有完全迁移完成，所以目前还没有基于tf2.0的bert安装包面世，因为近期想基于现有发布的模型做一个中文多分类的事情，所以... 查看详情
【论文笔记】融合标签向量到bert：对文本分类进行改进
...，由于其学习情境表示的能力而变得流行起来。这些模型基于多层双向注意机制，并通过MASK预测任务进行训练，这是BERT的两个核心部分。继续研究BERT的潜力仍然很重要，因为新的发现也可以帮助研究BERT的其他变体。在这项工... 查看详情
bert-多标签文本分类实战之一——实战项目总览
[1]总览 【BERT-多标签文本分类实战】系列共七篇文章： 【BERT-多标签文本分类实战】之一——实战项目总览 【BERT-多标签文本分类实战】之二——BERT的地位与名词术语解释 【BERT-多标签文本分类实战】之三—... 查看详情
踩坑笔记(pytorch-bert,dataframe,交叉熵）
参考技术A1、pytorchbert输出的问题。2、dataframe的筛选问题。输出：值为False的列没有被选中。3、交叉熵损失函数可以直接认为是这样的一个概率和，如果是多分类，假设真实标签[0,1,2,1,1,2,1]那就是 查看详情
bert-多标签文本分类实战之二——bert的地位与名词术语解释(代码片段)
【注】本篇将从宏观上介绍bert的产生和在众多模型中的地位，以及与bert有关的许多名词。[1]bert的提出 Bert模型是Google在2018年10月发布的语言表示模型，Bert在NLP领域横扫了11项任务的最优结果，可以说是18年NLP中最... 查看详情
bert-多标签文本分类实战之五——bert模型库的挑选与transformers(代码片段)
·请参考本系列目录：【BERT-多标签文本分类实战】之一——实战项目总览·下载本实战项目资源：>=点击此处=<[1]BERT模型库 从BERT模型一经Google出世，到tensorflow与pytorch版本的BERT相继发布，再到不同... 查看详情
bert-多标签文本分类实战之五——bert模型库的挑选与transformers(代码片段)
·请参考本系列目录：【BERT-多标签文本分类实战】之一——实战项目总览·下载本实战项目资源：>=点击此处=<[1]BERT模型库 从BERT模型一经Google出世，到tensorflow与pytorch版本的BERT相继发布，再到不同... 查看详情
bert-多标签文本分类实战之五——bert模型库的挑选与transformers(代码片段)
·请参考本系列目录：【BERT-多标签文本分类实战】之一——实战项目总览·下载本实战项目资源：>=点击此处=<[1]BERT模型库 从BERT模型一经Google出世，到tensorflow与pytorch版本的BERT相继发布，再到不同... 查看详情
基于 BERT 的 CNN - 卷积和 Maxpooling
】基于BERT的CNN-卷积和Maxpooling【英文标题】：BERTBasedCNN-ConvolutionandMaxpooling【发布时间】：2021-04-0310:33:56【问题描述】：我正在尝试通过插入CNN层来微调预训练的BERT模型（拥抱脸变换器）。在这个模型中，使用了所有变压器编码... 查看详情
bert-多标签文本分类实战之二——bert的地位与名词术语解释(代码片段)
·请参考本系列目录：【BERT-多标签文本分类实战】之一——实战项目总览·下载本实战项目资源：>=点击此处=<【注】本篇将从宏观上介绍bert的产生和在众多模型中的地位，以及与bert有关的许多名词。[1]bert... 查看详情
使用 BERT 进行多标签分类
】使用BERT进行多标签分类【英文标题】：DoingMulti-LabelclassificationwithBERT【发布时间】：2019-09-2404:08:59【问题描述】：我想用BERTmodel用Tensorflow做多标签分类。为此，我想从BERTgithubrepository改编示例run_classifier.py，这是一个关于如何... 查看详情
bert通俗笔记：从word2vec/transformer逐步理解到bert
前言我在写上一篇博客《22下半年》时，有读者在文章下面评论道：“july大神，请问BERT的通俗理解还做吗？”，我当时给他发了张俊林老师的BERT文章，所以没太在意。直到今天早上，刷到CSDN上一篇讲B... 查看详情
nlp下的bert模型的一些学习
自然语言处理NLP最近在着手一个跨模态情绪识别项目中自然语言处理在经过训练LSTM与Bert两款模型后发现Bert是真的强BERT是2018年10月由GoogleAI研究院提出的一种预训练模型。BERT在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成... 查看详情