如何阅读nlp论文

LolitaAnn LolitaAnn     2023-01-01     388

关键词:

Search papers and group them

检索工具

  1. ACL Anthology

    各种会议文章集合,连会议带年份。进去搜索自己需要的关键词即可。

    当然会有延迟。并不是会议出来就直接能看到。

  2. 限定文献检索:arXiv
    arXiv是由康奈尔大学运营维护的一个非盈利的数据库,由于免费,学术研究人员可以在其他顶会或者期刊没有录用之前,将自己最新的研究成果发布到该平台上,一方面是为了扩大宣传提升自己的影响力;另外一方面是为了保护自己的科研成果,因为无论会议和期刊从投出到最终可以检索,都需要长时间的等待,很难保证期间自己成果不被别人剽窃,arXiv可以证明论文的原创性。

  3. 知网啊、谷歌学术啊这些常用的一般都用不到了,因为ACL已经收录的比较完美了。

组织方法

通过一些方法将文章分类组织起来。安利一个文献管理软件:zotero

  • By conferences 通过会议
  • By preprint or not
    需要及时更新,因为arxiv上预发表的文章你可以引用,但是文章被会议或者文献收录以后以后你需要引用它具体出自哪里。所以arxiv上找的那些预发表的文章需要定期更新。
  • By problems 根据问题
  • By methods(models) 根据方法
    初学者可以这样分,但是当你看多了以后会发现这些方法下还是有很大差异。所以只建议初学者这样。
    • CNN
    • RNN
    • GNN
    • Transformer
    • Attention
    • Reinforcement
    • ……
  • By dataset(text type) 根据数据集
    • DUC
    • LCSTS
    • CNN/Daily
    • ……
  • By optimize methods(depends on your own idea)

Select the better paper

同样都是读文献,要把时间用在好文献上,就是所谓的好钢用在刀刃上。大致可以从以下几个指标来分辨文献好坏:

  • conference
    多看会议文章,少看期刊文章。因为会议文章比较新,而期刊上的文章一般都隔了一年以上了。下边安利几个会议:
    • NLP domain
      • ACL
      • COLING
      • EMNLP
      • NAACL
    • General AI
      • AAAI
      • IJCAI
      • NIPS
      • ICLR
    • Chinese NLP
      • NLPCC
      • CCKS
      • CCIR
  • relation
    跟你做的方向最最最相关的,不要什么都看,就算看也不要精读。没精力做那么多的。
  • citation
    引用数量啊,肯定是引用数量越多质量肯定会好一点啊。
    下图虽然两个文章都是顶会,但是优先看引用数量比较多的啊。
  • influence
    论文看多了以后会发现每年的论文都是这几个大组做的,找到这几个大佬之后,以后可以集中看他们写的。
  • code
    有没有代码开源。判断是不是ppt项目,最好选有代码的paper。

the reading order you should follow

不要只看题目标题啊!!!有的文献题目和内容可能差距挺大的。

  • abstract
    看文献一般先看摘要,通过摘要筛选,从摘要你一般可以获得下面的信息。
    • subarea
    • problems
    • proposal/method
    • Datasets
    • performance
  • introduction
    回顾前人成果,提出自己想解决的问题
  • experiment + conclusion
    实验和成果
  • proposal
    要精读的时候再看方法,不精读的文章可以跳过这段。
    • 看图
    • 看创新性
    • 看公式

Write down the notes

对每一个文章做好分类标记。到时候找起来也方便。至于怎么分类怎么标记就看你自己的喜欢了。

  • From(Conferences/Journals/ArXiv)
  • Institution
  • Paper
  • Topic
  • Aim
  • Problem to solve
  • Solutions
  • Strengths
  • Limitations
  • Datasets
  • Evaluation scores
  • Code

安利

最后安利一下fastNLP:fastNLP 中文文档,放在github上,主要是复现了一些NLP文章的代码。

论文泛读186qa数据集爆炸:用于问答和阅读理解的nlp资源分类

贴一下汇总贴:论文阅读记录论文链接:《QADatasetExplosion:ATaxonomyofNLPResourcesforQuestionAnsweringandReadingComprehension》一、摘要近年来,除了对NLP中的深度学习模型进行大量研究外,还对跟踪建模进度所需的基准数据集进... 查看详情

论文阅读|energyandpolicyconsiderationsfordeeplearninginnlp

论文地址:https://arxiv.org/abs/1906.02243v1作者:EmmaStrubell,AnanyaGanesh,AndrewMcCallum机构:UniversityofMassachusettsAmherst 研究的问题:一篇很绿色的文章。作者认为现在的NLP模型,虽然精度提高了,但它们消耗了大量的计算资源,这些资... 查看详情

论文阅读_知识蒸馏_tinybert

英文题目:TINYBERT:DISTILLINGBERTFORNATURALLAN-GUAGEUNDERSTANDING中文题目:TinyBERT:提炼BERT的自然语言理解能力论文地址:https://arxiv.org/pdf/1909.10351.pdf领域:NLP,知识蒸馏发表时间:2020作者:XiaoqiJiao,华中科技大学出处:ICLR被引量:67代码... 查看详情

论文阅读-dl《onemodeltolearnthemall》阅读

概念:One/Zero-shotlearning训练集中没有样本的学习;和transferlearning/domainadoption有关 NN很成功,但是每个领域都有自己的model;本文尝试搞一个统一的模型之前也有人尝试过NLP/语音识别/人脸检测的多任务学习,但是不是跨域地... 查看详情

一周论文阅读20200614

Don’tStopPretraining:AdaptLanguageModelstoDomainsandTasks这篇文章研究nlp的pretrain模型用任务相关的数据进一步预训练效果会更好。结论比较符合直觉,甚至感觉不用研究都能得出这个结论。方法上作者用robert做实验,研究了计算机、医疗... 查看详情

论文阅读|universaladversarialtriggersforattackingandanalyzingnlp

[code][blog]主要思想和贡献以前,NLP中的对抗攻击一般都是针对特定输入的,那么他们对任意的输入是否有效呢?本文搜索通用的对抗性触发器:与输入无关的令牌序列,当连接到来自数据集的任何输入时,这些令牌序列触发模型... 查看详情

论文泛读165量化nlp中的可解释性和分析性能-可解释性权衡的算法

贴一下汇总贴:论文阅读记录论文链接:《QuantifyingExplainabilityinNLPandAnalyzingAlgorithmsforPerformance-ExplainabilityTradeoff》一、摘要医疗保健领域是机器学习最令人兴奋的应用领域之一,但缺乏模型透明度导致行业内采用滞后... 查看详情

论文泛读165量化nlp中的可解释性和分析性能-可解释性权衡的算法

贴一下汇总贴:论文阅读记录论文链接:《QuantifyingExplainabilityinNLPandAnalyzingAlgorithmsforPerformance-ExplainabilityTradeoff》一、摘要医疗保健领域是机器学习最令人兴奋的应用领域之一,但缺乏模型透明度导致行业内采用滞后... 查看详情

如何阅读论文

如何阅读论文李沐1.第一遍:文章主要讲什么1.1看整体1.2看图表2.第二遍:文章每一部分讲什么3.第三遍:真正读懂吴恩达1.1系统阅读论文集1.2论文至少要看三遍1.2.1第一遍,仔细阅读论文中的标题、摘要和关键词... 查看详情

如何阅读论文

如何阅读论文李沐1.第一遍:文章主要讲什么1.1看整体1.2看图表2.第二遍:文章每一部分讲什么3.第三遍:真正读懂吴恩达1.1系统阅读论文集1.2论文至少要看三遍1.2.1第一遍,仔细阅读论文中的标题、摘要和关键词... 查看详情

[论文阅读笔记01]doi:10.18653/v1/2021.acl-long.73

注:以下英翻中均为我自己理解之后的翻译,如有不恰当之处欢迎在评论区指出名词缩写AMR:AbstractMeaningRepresentation抽象语义MTL:multi-tasklearning多任务学习NLP:Naturallanguageprocessing自然语言处理概要抽象语义研... 查看详情

想要接触人工智能吗?先要学会如何阅读论文

...,总结出了阅读论文的“三步法”,下面就来看看到底是如何操作的吧。三步法阅读论文最笨拙的方法就是从头读到尾,有的时候浪费了大量的时间还不知道作者到底说了什么 查看详情

如何阅读论文

...tanfordUniversity 摘要?我们花费大量时间阅读论文,但是如何读论文这种技能却很少被教,导致会有些人因为不正确的方式浪费的很多时间和精力。本文概述了一种实用且有效的【三遍】方法用于阅读论文,它可以防止过早的陷... 查看详情

书籍阅读-科技论文写作

文章目录如何进行写作05.22如何进行写作 查看详情

书籍阅读-科技论文写作

文章目录如何进行写作05.22如何进行写作 查看详情

nlp领域必读的8篇论文

参考技术A推荐下NLP领域内最重要的8篇论文吧(依据学术范标准评价体系得出的8篇名单):一、Deepcontextualizedwordrepresentations摘要:Weintroduceanewtypeofdeepcontextualizedwordrepresentationthatmodelsboth(1)complexcharacteristicsofworduse(e.g.,syntaxandsemantic... 查看详情

如何阅读ai顶会论文?

...论文多是英文,尤其是顶会论文都是英文。那么我们如何去读呢?我认为英文不是个问题,现在的翻译工具很强大,基本上通过翻译我们就能得到论文所表达的意思。接下来就是如何去读的问题。论文的章节比较... 查看详情

如何阅读ai顶会论文?

...论文多是英文,尤其是顶会论文都是英文。那么我们如何去读呢?我认为英文不是个问题,现在的翻译工具很强大,基本上通过翻译我们就能得到论文所表达的意思。接下来就是如何去读的问题。论文的章节比较... 查看详情