关键词:
点上方人工智能算法与Python大数据获取更多干货
在右上方 ··· 设为星标 ★,第一时间获取资源
仅做学术分享,如有侵权,联系删除
转载于 :专知
深度学习中的分布外 (OoD) 泛化是指模型在分布变化的场景下进行泛化的任务。现在受到众多关注。最近,清华大学崔鹏等研究者发布了《分布外泛化(Out-Of-Distribution Generalization)》综述论文,针对该领域的系统、全面地探讨了OOD泛化问题,从定义、方法、评价到启示和未来发展方向。
摘要
经典的机器学习方法是建立在i.i.d.假设的基础上的,即训练和测试数据是独立同分布的。然而,在真实场景中,i.i.d.假设很难得到满足,导致经典机器学习算法在分布移位下的性能急剧下降,这表明研究非分布泛化问题的重要性。Out-of-Distribution分布外 (OOD)泛化问题解决了测试分布未知且与训练不同的挑战性设置。本文首次系统、全面地探讨了OOD泛化问题,从定义、方法、评价到启示和未来发展方向。首先,给出了OOD泛化问题的形式化定义。其次,根据现有方法在整个学习流程中的位置,将其分为无监督表示学习、有监督模型学习与优化三部分,并详细讨论了每一类的典型方法。然后,我们展示了不同类别的理论联系,并介绍了常用的数据集和评价指标。最后,对全文文献进行了总结,并对OOD泛化问题提出了未来的研究方向。本次综述OOD泛化文献可在http://out-of-distribution-generalization.com上找到。
地址:
https://www.zhuanzhi.ai/paper/ba690c59e0f80fc34e779b1daa769988
引言
现代机器学习技术在计算机视觉、自然语言处理和推荐等领域表现出了出色的能力。许多研究在实验条件下获得了着超越人类的表现,但也揭示了机器学习模型在暴露于不同分布数据时的脆弱性。如此巨大的差距是由于违背了训练和测试数据是相同且独立分布的基本假设(又名i.i.d.假设),而大多数现有的学习模型都是基于这个假设开发的。在许多难以满足i.i.d.假设的实际案例中,尤其是医疗、军事和自动驾驶等高风险应用中,与训练分布内的泛化相比,分布转移下的泛化能力更为重要。因此,对分布外泛化问题的研究在学术界和工业界都具有重要的现实意义。
尽管OOD泛化问题很重要,但是经典的监督学习方法并不能直接解决这个问题。从理论上讲,经典的监督学习最基本的假设之一是i.i.d.假设,它假设训练和测试数据是独立的、同分布的。然而,在OOD泛化问题中,分布偏移是不可避免的,这破坏了i.i.d.假设,使得经典的学习理论不再适用。从经验上看,经典的监督学习方法通常通过最小化训练误差来优化,这些误差贪心式地吸收数据中发现的所有相关性来进行预测。虽然在i.i.d设置中被证明是有效的,但它会在分布变化下损害性能,因为不是所有的相关性将在看不见的测试分布中保持。如[1],[2],[3],[4],[5]等文献所示,当涉及到强分布转移时,仅考虑训练误差的优化模型会显著失败,有时甚至比随机猜测更糟糕,这说明设计OOD泛化问题的方法迫在眉睫。
为了解决OOD泛化问题,还存在几个关键问题有待解决。首先,由于训练和测试数据可以从不同的分布中提取,因此如何形式化地描述分布偏移仍然是一个悬而未决的问题。在OOD泛化文献中,不同的方法分支采用不同的方法来模拟潜在测试分布。领域泛化方法[6],[7],[8],[9]主要关注真实场景,利用不同领域的数据。因果学习方法[2],[10],[11]制定了具有因果结构的训练和测试分布,分布转移主要来源于干预或混杂因素。稳定学习方法[4],[12],[13]通过选择偏差引入分布偏移。其次,如何设计一种具有良好OOD泛化性能的算法是目前研究的热点,方法有很多分支,研究重点不同,包括无监督表示学习方法、有监督学习模型和优化方法。第三,不同方法的OOD性能评价仍然具有挑战性,这需要特定的数据集和评价指标,因为经典的i.i.d.设置方法在分布转移下不适用。这也促使了不同数据集的生成和评估。
在本文中,我们旨在提供一个相当广泛的意义上的OOD泛化系统的全面研究成果,涵盖了从定义,方法,评价的整个生命周期的OOD问题的影响和未来的方向。据我们所知,我们是第一个在如此大的范围和自成一体的形式中讨论分布外泛化的努力。在此之前,已有一些著作对相关问题进行了讨论。如[14]、[15]主要讨论领域泛化;[16]讨论OOD泛化的评价基准。之前的每一篇作品都是整个非分布泛化问题的一块拼图,而在这篇作品中,我们以清晰简洁的方式将所有成分有机地整合在一起。具体来说,我们根据现有方法在整个学习流程中的位置将其分为三类。我们还通过因果关系的视角阐述了不同方法之间的理论联系。为了促进OOD泛化研究的进一步深入,本文对分布偏移下的学习方法评价进行了详尽的综述。
为了应对未知分布偏移带来的挑战,人们在分布外泛化方面做了大量的工作,相关方法的文献也非常丰富。所采用的技术从因果关系到表示学习,从基于结构到基于优化,各有不同。然而,就我们所知,很少有人从广义的OOD泛化的角度对这些不同的方法进行系统和全面的考察,并阐明这些工作之间的区别和联系。在本文中,我们试图首先通过回顾OOD泛化的相关方法来填补这一空白。
一般来说,定义为式1的监督学习问题可以分为三个相对独立的分量,即(1)特征X的表示(如g(X)); (2)从特征X(或g(X))到标号Y的映射函数fθ(X),一般又称模型或归纳偏差; (3)优化目标的制定。因此,我们根据现有方法在整个学习流程中的位置,将其分为三个部分:
面向OOD泛化的无监督表示学习:包括解纠缠表示学习和因果表示学习,它们利用无监督表示学习技术(如变分贝叶斯)将先验知识嵌入到学习过程中。
面向OOD泛化的监督模型学习:包括因果学习、稳定学习和领域泛化,设计各种模型体系结构和学习策略来实现OOD泛化。
OOD泛化优化:包括分布鲁棒优化和基于不变的优化,直接制定OOD泛化目标,并在理论上保证OOD最优性的前提下进行优化。
---------♥---------
声明:本内容来源网络,版权属于原作者
图片来源网络,不代表本公众号立场。如有侵权,联系删除
AI博士私人微信,还有少量空位
点个在看支持一下吧
最新《广义分布外ood检测》综述
点上方人工智能算法与Python大数据获取更多干货在右上方 ··· 设为星标 ★,第一时间获取资源仅做学术分享,如有侵权,联系删除转载于:机器之心你是否也曾迷惑于「离群检测,异常检测,新类检测... 查看详情
综述:广义的分布外检测(异常检测、开集识别、ood检测)
...布外检测的特例或子任务,并且能够轻易地被区分。这篇综述通过总结最新的技术发展对这五个问题做了 查看详情
「实时视频流分析的边缘计算技术」最新2022研究综述(代码片段)
清华大学最新《面向实时视频流分析的边缘计算技术》综述实时视频流分析在智能监控、智慧城市、自动驾驶等场景中具有重要价值.然而计算负载高、带宽需求大、延迟要求严等特点使得实时视频流分析难以通过传统的云计算... 查看详情
清华最新《图神经网络推荐系统》综述,阐述gnn:阶段场景目标和应用
点上方人工智能算法与Python大数据获取更多干货在右上方 ··· 设为星标 ★,第一时间获取资源仅做学术分享,如有侵权,联系删除转载于:专知摘要推荐系统是当今互联网上最重要的信息服务之一。近年来... 查看详情
清华最新《图神经网络推荐系统》综述,阐述gnn:阶段场景目标和应用
点上方人工智能算法与Python大数据获取更多干货在右上方 ··· 设为星标 ★,第一时间获取资源仅做学术分享,如有侵权,联系删除转载于:专知摘要推荐系统是当今互联网上最重要的信息服务之一。近年来... 查看详情
清华&南开出品最新视觉注意力机制attention综述
...术分享,如有侵权,联系删除转载于:量子位清华大学计图团队和南开大学程明明教授团队、卡迪夫大学RalphR.Martin教授合作,在ArXiv上发布关于计算机视觉中的注意力机制的综述文章。该综述系统地介绍了注意力... 查看详情
最新《贝叶斯迁移学习》综述论文
...来自悉尼科技大学的学者发布了最新《贝叶斯迁移学习》综述论文,概述了迁移学习概率图模型综述论文。摘要迁移学习是指从源领域提取可迁移知 查看详情
计算机视觉系列最新论文(附简介)
计算机视觉系列最新论文(附简介)目标检测1. 综述:深度域适应目标检测标题:DeepDomainAdaptiveObjectDetection:aSurvey作者:WanyiLi,PengWang链接:https://arxiv.org/abs/2002.06797本文共梳理了40篇相关文献,由中科院自动化所学者发布。基... 查看详情
港中文最新《多模态元学习》综述
...,来自香港中文大学等学者发布了《多模态元学习》综述论文,值的关注摘要作为一种比传统机器学习方法更有效的训练框架,元学习获得了广泛的欢迎。然而 查看详情
ceph分布式存储系统架构研究综述
Ceph项目是加州大学圣克鲁兹分校的Weil于2006年开发的。当时他发现元数据的查询和维护严重影响了Lustre等分布式文件系统的性能和扩展性,因此设计了一种利用算法来确定数据与存储节点对应关系的方法CRUSH。2015年5月发布的... 查看详情
zz清华nlp图神经网络gnn论文分门别类,16大应用200+篇论文最新推荐
...荐图神经网络研究成为当前深度学习领域的热点。最近,清华大学NLP课题组JieZhou,GanquCui,ZhengyanZhangandYushiBai同学对GNN相关的综述论文、模型与应用进行了综述,并发布在GitHub上。16大应用包含物理、知识图谱等最新论文整理推荐... 查看详情
ceph分布式存储系统架构研究综述
点击上方“朱小厮的博客”,选择“设为星标”后台回复"书",获取后台回复“k8s”,可领取k8s资料Ceph项目是加州大学圣克鲁兹分校的Weil于2006年开发的。当时他发现元数据的查询和维护严重影响了Lustre等分布... 查看详情
综述|杜克大学-可解释机器学习
点上方人工智能算法与Python大数据获取更多干货在右上方 ··· 设为星标 ★,第一时间获取资源仅做学术分享,如有侵权,联系删除转载于:专知关于可解释机器学习最新论文。摘要:机器学习(ML)中的可解... 查看详情
最牛的nlp都在研究啥?统计400多篇顶会论文发现:统一泛化标准是关键
...子位|公众号QbitAI一篇NLP (自然语言处理)研究综述文章火了。根据paperswithcode统计,此文目前已经获赞超800,转发超200次。来自MetaAI、亚马逊、剑桥大学和纽约大学等的研究人员,针对NLP目前的最关键任务... 查看详情
26页综述,99篇参考文献!自动驾驶的3d目标检测技术!中国人民大学出品!
...1a;https://arxiv.org/abs/2106.10823这是2021年6月最新的3D目标检测综述,很有参考意义!大家对自动驾驶以及3D目标检测越来越关注:传感器的优缺点:3D目标检测流程这个表很重要往期推荐阅读:王博Kings:无人驾... 查看详情
论文导读causalmachinelearning:asurveyandopenproblems
最新的arXiv上的综述迅速过一遍2022.7.13【历史】C1已看完(三页)ML面临挑战:(1)当数据分布发生变化时,泛化性能大幅下降(2)缺乏对生成模型样本的精细控制(3)有偏见的预测加强了对某些子群体的... 查看详情
论文导读autoregressivemodelsareoneexampleofmodernmltechniquesexploitingjointdistributionfa
...ion】介入【counterfactual】反事实推理:最新的arXiv上的综述迅速过一遍2022.7.13【历史】C1已看完(三页)ML面临挑战:(1)当数据分布发生变化时,泛化性能大幅下降(2)缺乏对生成模型样本的精细控制(3 查看详情
gan-一份来自香港理工大学的gans综述
标题:GenerativeAdversarialNetworks(GANs):Challenges,Solutions,andFutureDirections专知paper 查看详情