正文

论文泛读175迈向通过基于文本的自然语言进行交流的协作强化学习代理

及时行樂_  及时行樂_  2023-01-18  448

关键词：

论文链接：《Toward Collaborative Reinforcement Learning Agents that Communicate Through Text-Based Natural Language》

一、摘要

协作多代理设置中的代理之间的通信通常是隐式的或直接的数据流。本文将基于文本的自然语言视为经过强化学习训练的多个代理之间的一种新型通信形式。这可以被视为迈向真正自主通信的第一步，无需定义有限的指令集，以及人与机器人之间的自然协作。受 Blind Leads 游戏的启发，我们提出了一种环境，其中一个智能体使用自然语言指令引导另一个智能体穿越迷宫。我们测试了强化学习代理通过离散的词级符号进行有效交流的能力，并表明代理能够通过有限词汇量的自然语言进行充分交流。尽管交流并不总是完美的英语，但代理仍然能够在迷宫中导航。我们获得了 0.85 的 BLEU 分数，比随机生成的序列提高了 0.61，同时保持了 100% 的迷宫完成率。这是使用我们的参考集的随机基线性能的 3.5 倍。

二、结论

总之，我们能够通过将编码解码器格式的中枢神经系统和中枢神经系统结合起来，为发送方和接收方代理开发模型。我们已经表明，这些代理能够通过有限的词汇量通过自然语言进行充分的交流。他们能够达到与排除任何通信的基线相似的性能。虽然交流并不总是完美的英语，代理仍然能够有效地导航迷宫。

我们已经表明，在这种环境中的代理能够通过RL学习语言。我们的发送者-接收者组合获得了0.853的BLEU分数，这比随机生成的序列提高了0.61，同时仍然保持100%的迷宫完成率。

对于未来的工作，我们将考虑更复杂的环境，允许更详细的说明。我们还将考虑使用预先训练的模型来评估语法，并将其纳入奖励函数。作为进一步的扩展，我们打算使用连续的语音信号，而不是离散的单词级符号。我们还打算研究双向沟通，这将在代理之间引入更多的对话。

三、model

游戏包括一个被蒙住眼睛的人和一个向导，目标是向导只通过交流来引导被蒙住眼睛的人，以便在某个环境中导航或完成某项任务。

状态编码卷积层：

通过经验回放和目标问答网络进行深度问答学习的算法：

论文泛读200通过适配器使用预训练语言模型进行稳健的迁移学习

贴一下汇总贴：论文阅读记录论文链接：《RobustTransferLearningwithPretrainedLanguageModelsthroughAdapters》一、摘要使用大型预训练的基于Transformer的语言模型（如BERT）进行迁移学习已成为大多数NLP任务的主要方法。简单地... 查看详情

论文泛读200通过适配器使用预训练语言模型进行稳健的迁移学习

论文泛读178通过对比对抗训练改进文本分类

贴一下汇总贴：论文阅读记录论文链接：《ImprovedTextClassificationviaContrastiveAdversarialTraining》一、摘要我们提出了一种简单而通用的方法来规范基于Transformer的编码器的微调，用于文本分类任务。具体来说，在微调过... 查看详情

论文泛读178通过对比对抗训练改进文本分类

论文泛读182一种可区分的语言模型对文本分类器的攻击

...ntiableLanguageModelAdversarialAttackonTextClassifiers》一、摘要用于自然语言处理的大型基于Transformer的模型的稳健性是一个重要问题，因为它们的功能和广泛采用。理解和提高这些模型鲁棒性的一种方法是探索对抗性攻击场景：检... 查看详情

论文泛读182一种可区分的语言模型对文本分类器的攻击

论文泛读155对文本类型的对抗性攻击实验

...的神经模型，如BERT或XLM-RoBERTa，证明了SOTA在许多自然语言处理任务中的结果，包括非主题分类，如体裁识别。然而，通常这些方法对查看详情

论文泛读187使用bert基于阿拉伯语方面的情感分析

贴一下汇总贴：论文阅读记录论文链接：《ArabicaspectbasedsentimentanalysisusingBERT》一、摘要基于方面的情感分析(ABSA)是一种文本分析方法，它定义了与特定目标相关的某些方面的观点的极性。关于ABSA的大部分研究是用英... 查看详情

论文泛读187使用bert基于阿拉伯语方面的情感分析

论文泛读172activequeryk-means在文本分类中的应用

...进的机器学习方法，用于处理大量未标记的数据。在自然语言处理领域，对所有数据进行注释通常既昂贵又耗时。这种低效率激发了我们在文本分类中应用主动学习的灵感。在本研究中查看详情

论文泛读172activequeryk-means在文本分类中的应用

论文泛读198通过输入空间转换利用bert进行多模态目标情感分类

贴一下汇总贴：论文阅读记录论文链接：《ExploitingBERTForMultimodalTargetSentimentClassificationThroughInputSpaceTranslation》一、摘要多模态目标/方面情感分类结合了多模态情感分析和方面/目标情感分类。该任务的目标是结合视觉和语... 查看详情

论文泛读198通过输入空间转换利用bert进行多模态目标情感分类

论文泛读167使用bert语言模型的大规模新闻分类：sparknlp方法

贴一下汇总贴：论文阅读记录论文链接：《Large-ScaleNewsClassificationusingBERTLanguageModel:SparkNLPApproach》一、摘要基于NLP的大数据分析的兴起增加了大规模文本处理的计算负担。NLP面临的问题是非常高维的文本，因此需要很... 查看详情

论文泛读167使用bert语言模型的大规模新闻分类：sparknlp方法

论文泛读185考虑情绪成分过程模型的情绪识别

贴一下汇总贴：论文阅读记录论文链接：《EmotionRecognitionunderConsiderationoftheEmotionComponentProcessModel》一、摘要文本中的情感分类通常使用神经网络模型执行，该模型学习将语言单元与情感联系起来。虽然这通常会带来良... 查看详情