关键词：
ACL 2021今天正式颁发“最佳论文”奖项，字节跳动AI Lab的研究成果在3350篇投稿中脱颖而出，当选今年度“最佳论文”。这是ACL成立59年以来，华人科学家团队第二次赢得最高奖项，此前由中科院计算所主导的研究项目曾被评为ACL 2019“最佳长论文”。
ACL大会由国际计算语言学协会主办，是自然语言处理与计算语言学领域最高级别的学术会议。自然语言处理（NLP）被誉为“人工智能皇冠上的明珠”，在机器翻译、搜索、信息流、输入法等领域有着广泛的应用。
字节跳动的获奖论文提出一种新的词表学习方案VOLT。词表是所有NLP任务都会使用的基础组件，ACL官方评审认为，“字节跳动的VOLT方案对机器翻译中一个重要问题提出了有效且新颖的解决方案，能显著减少词表的学习和搜索时间，相信其不仅会在研究界产生重要影响，在工业应用方面也有着巨大潜力”。
在这篇主题为《Vocabulary Learningvia Optimal Transport for Machine Translation》的论文中，作者创新地把经济学和数学的知识运用到词表学习方案：
首先，论文使用经济学的“边际收益”概念定义了词表质量的评价指标。
信息熵可以理解为蕴含在每个字中的平均语义含量。信息熵越小，越加利于模型学习。作者使用基于字的熵计算方式来评估该属性，其中v为词表，i为词表中的标记，P为标记在训练集出现的频率：
在基于频率的方法下，词表越小，稀疏标记（token）越少，参数也越少，那么更加有利于模型学习。
信息熵和词表大小不可以兼顾。一般来说，词表越大，所需参数越大，稀疏标记越多，但是信息熵在减小。为此，论文引入了“边际收益”的概念。
“边际收益”衡量了付出单位代价所能获得的利益的数量。作者将信息熵看成是利益，词表大小看成是代价。随着词表的增加，不同大小的词表对应的信息熵收益是不同的。
通过使用“边际收益”的概念，作者定义了衡量词表质量的指标MUV，并且观测到了MUV指标和下游任务的相关性。
然后，以“最优运输”的数学方法尝试解决最优词表的生成问题。
给定词表评价指标MUV之后，学习最优词表的问题可以粗略地等价为寻找具有最大MUV的词表问题，但是词表搜索空间不仅庞大，而且是离散空间，如何去高效地学到相应的词表呢？论文作者巧妙地将词表学习转化成了搜索具有最大MUV分数词表的离散优化问题，“最优运输”就是一个非常合适的解决方案。
大约250年前，法国数学家蒙日在其作品中对“最优运输”类问题进行了严格分析，下面是一个比较直观的例子。假设在战争中，我方一些前线阵地发出了需要增兵的信号，而我们的士兵分散在不同的后方根据地。不同的前线需要的士兵个数不同，后方根据地的士兵个数也不同，前线距离后方根据地的距离也不同。问如何设计转移方案，使得总转移代价最低？这就是最优运输想要回答的问题。
最优运输问题示意图
通过建模成一个“最优运输”的目标函数，VOLT方案取得了出色的效果。以下是VOLT生成的词表在双语翻译的结果，可以看到，新方法学到的词表比经常使用的词表小很多，效果也很有竞争力。
以下是多语翻译的结果，总体来看，VOLT方案在三分之二的数据集上效果也是较好的。
目前，VOLT研究项目已向全球开发者开源。
论文地址：
https://arxiv.org/abs/2012.15671
项目地址：
https://github.com/Jingjing-NLP/VOLT
据了解，这篇最佳论文研究成果也将在字节跳动的火山翻译业务中逐步落地，为飞书、今日头条等产品和火山引擎的企业级客户提供机器翻译支持。2021年以来，火山翻译实现多项重要技术突破，研发出支持150个语种互译的大规模翻译模型mRASP2，并对外开源了当前业界最快的推理和训练引擎LightSeq2.0，以及端到端语音翻译工具包NeurST，获得开源社区的广泛好评。
在此前由ACL举办的机器翻译大赛WMT2021上，火山翻译以独创的“并行翻译”系统参赛，夺得德语到英语方向比赛自动评估第一名。“并行翻译”在国际赛事中首次亮相，就击败了从左向右逐词翻译的传统技术，打破后者在机器翻译领域的绝对统治地位，这项技术的论文也得到ACL 2021大会收录。
被iclr拒，字节跳动今获最佳论文
...昨日，NLP领域国际顶会ACL2021公布获奖论文信息：来自字节跳动火山翻译的一篇神经机器翻译工 查看详情
姚期智施尧耘获focs2021时间检验奖，mit华人学霸毛啸摘最佳学生论文奖
...论顶会FOCS2021各项论文奖项已公布。最佳学生论文奖被MIT华人学霸毛啸收入囊中。而姚期智院士和达摩院量子实验室负责人施尧耘则凭借2001年发表的论文《InformationlComplexityandtheDirectSumProblemforSimultaneousMessageComplexity》，获得时... 查看详情
我组论文获得acl2022最佳论文奖！
大家好，我是对白。近日NLP组一篇论文获得了ACL2022BestDemoPaperAward。该奖项是ACL系列会议对SystemDemonstration论文授予的最佳系统论文奖，每届会议评选出一篇获奖论文，由审稿人提名，领域主席根据系统贡献度、完成度以及影响力... 查看详情
伯克利摘得最佳论文|acl2022奖项公布
...学等机构的研究者获得最佳主题论文奖。此外，多位华人学者参与的研究被评为杰出论文，包括陈丹琦、杨笛一等的研究。最佳论文ACL2022的最佳论文（BestPaper）来自加州大学 查看详情
亚洲高校首现kdd博士论文奖：清华裘捷中获runnerup奖，winner奖也是位华人
转载自AMinerKDD2022博士论文奖，来自斯坦福大学的RexYing（应智韬）获得博士论文奖WINNER奖，清华大学裘捷中获得RunnerUp奖。KDD，全称国际数据挖掘与知识发现大会，是数据挖掘领域历史最悠久、规模最大的... 查看详情
字节跳动大规模裁员。。
...下大力教育的员工，做的是k12，而这次除了少数团队保留，探索新的业务外，大部分k12的员工都直接被裁了。 之前我也写过好几次在线教育了，在国家加 查看详情
字节跳动员工基本年薪曝光：最高254万元
TikTok已成为美国科技和媒体求职者心目中理想的雇主。《商业内幕》杂志分析了美国工作签证数据，以衡量TikTok和母公司字节跳动的薪资水平。数据显示，TikTok和字节跳动向持有美国工作签证的员工开出了从每小时30美元... 查看详情
字节跳动边缘计算团队招聘
金九银十招聘季，很多朋友在找工作，很多企业新开了一些岗位，边缘计算社区从字节跳动获悉最近新上线了一批边缘计算JD，从产品到技术，分布在北京、杭州、上海、深圳等城市，感兴趣的欢迎了解一... 查看详情
字节跳动埋点数据流建设与治理实践
...以及具体实践。文|石伟 来自字节跳动数据平台开发套件团队出品| 字节跳动数据平台埋点数据流埋点数据流在字节跳动埋点数据流主要处理的数据是埋点，埋点也叫EventTracking，是数据和业务之间的桥梁，也是数据... 查看详情
揭秘字节跳动云原生sparkhistory服务uiservice
本文是字节跳动数据平台数据引擎SparkSQL团队针对SparkHistoryServer(SHS)的优化实践分享。*文|字节跳动数据平台—数据引擎—SparkSQL团队*在字节跳动内部，我们实现了一套全新的云原生SparkHistory服务——UIService，相比开源的SHS，UIServ... 查看详情
华人团队开源史上最大的推荐训练系统
点上方人工智能算法与Python大数据获取更多干货在右上方 ··· 设为星标 ★，第一时间获取资源仅做学术分享，如有侵权，联系删除转载于：新智元不够大！还不够大？在NLP领域，从BERT的亿级参数&#x... 查看详情
华人团队开源史上最大的推荐训练系统
点上方人工智能算法与Python大数据获取更多干货在右上方 ··· 设为星标 ★，第一时间获取资源仅做学术分享，如有侵权，联系删除转载于：新智元不够大！还不够大？在NLP领域，从BERT的亿级参数&#x... 查看详情
字节跳动在异构场景下的高可用建设实践
...的一些思考和落地经验。先给大家简单介绍一下系统治理团队是做什么的。系统治理团队在基础架构团队内部，主要负责字节跳动研发的闭环生态：从服务开发，到大规模 查看详情
为什么说字节跳动“根本没有管理”?
...职能，这一模式让张一鸣很难有富余的时间精力去做除了团队管理和业务沟通以外的事。此次组织架构调整之后，国内业务全权交给张利东和张楠，张一鸣自己则能抽身去完善全球管理团队。字节跳动在3月宣布完 查看详情
只用一张图+相机走位，ai就能脑补周围环境，来自华人团队|cvpr2022
明敏量子位|公众号QbitAI站在门口看一眼，AI就能脑补出房间里面长什么样：是不是有线上VR看房那味儿了？不只是室内效果，来个远景长镜头航拍也是soeasy：而且渲染出的图像通通都是高保真效果，仿佛是用真相机拍出来的一样... 查看详情
字节跳动大规模裁员：公司要抛弃你，一声招呼都不会打...给android开发的三点启示
...下大力教育的员工，做的是k12，而这次除了少数团队保留，探索新的业务外，大部分k12的员工都直接被裁了。这次字节裁员，虽然来的突然， 查看详情
华人团队利用瞳孔形状判断「真假」人像
...c;就能区分照片真假？近日，来自纽约州立大学的华人研究员提出了一种全新的检测方法，可以根据眼睛形状判断人像的真假。不过， 查看详情
华人团队利用瞳孔形状判断「真假」人像
...c;就能区分照片真假？近日，来自纽约州立大学的华人研究员提出了一种全新的检测方法，可以根据眼睛形状判断人像的真假。不过， 查看详情