关键词：
点上方人工智能算法与Python大数据获取更多干货
在右上方 ··· 设为星标 ★，第一时间获取资源
仅做学术分享，如有侵权，联系删除
转载于 ：专知
在这篇论文中，我们对深度学习理论进行了实证研究。我们将深度学习系统视为黑盒，有我们可以控制的输入(训练样本、架构、模型大小、优化器等)和我们可以观察的输出(神经网络函数、其测试误差、其参数等)。我们的目标是描述输入的选择如何影响输出。作为一个经验理论，我们的目标是定量地描述这种行为，如果不是严格地证明它。我们希望理论尽可能普适化，应用于广泛的深度学习设置，包括那些在实践中。
为此，我们提出了三个经验理论。(1) Deep Double Descent证明了深度学习的输入和输出之间的关系并不总是以自然的方式单调:存在一个可预测的“关键机制”，例如，对更多数据的训练实际上会损害性能，但模型在这个机制之外表现良好。(2) 深度Bootstrap框架表明，要理解输出网络的泛化，只要理解我们的输入选择的优化方面就足够了。（3) 分布泛化更深入地研究了输出网络，发现经过训练的模型实际上“泛化”的范围比我们通常预期的要广得多。我们引入了一种新的泛化捕捉这些行为。
我们的研究结果揭示了学习理论中已有的主题(特别是泛化、过度参数化、插值化)，也揭示了需要新的框架来捕捉的新现象。在某些情况下，我们对深度学习的研究揭示了一些现象，即使是非深度学习方法也适用。因此，我们希望这篇论文的结果将最终编织成一个一般性的深度学习理论。
Preetum Nakkiran
个人主页：https://preetum.nakkiran.org/
---------♥---------
声明：本内容来源网络，版权属于原作者
图片来源网络，不代表本公众号立场。如有侵权，联系删除
AI博士私人微信，还有少量空位
点个在看支持一下吧
深度学习为何泛化好？cmu博士论文《解释深度学习中的泛化性》
...何对此进行理论性解释，一直是研究热点。来自CMU的博士生VaishnavhNagarajan对深度学习泛化性进行了系统性研究，并整理成博士论文&# 查看详情
错别字在线检查：深度|李飞飞高徒andrejkarpathy：计算机科学博士的生存指南（附博士论文）
...别字在线检查：深度|李飞飞高徒AndrejKarpathy：计算机科学博士的生存指南（附博士论文） 首先我要感谢“机器之心”账号维护者们的辛勤努力： 孙睿、吴攀、李亚洲、杜夏德。 &... 查看详情
深度学习神经网络中文入门书籍课程推荐（附免费下载链接）
...来数学基础就不行，又是英文资料着实让人头疼。这里咪博士向大家推荐2份非常不错的中文入门资料。是的，只有2份！好东西不在于多，而在于精。一、台湾大学李宏毅老师的课程点评：这可能是用中文讲深度学习的课程里面... 查看详情
深度学习领域的papers
https://github.com/songrotek/Deep-Learning-Papers-Reading-Roadmap 深度学习论文阅读路线图DeepLearningPapersReadingRoadmaphttps://zhuanlan.zhihu.com/p/23080129 重磅|128篇论文，21大领域，深度学习最值得看的资源全在这了（附一键下载）https 查看详情
霍宝锋详细资料大全
...江大学“文科领军人才”、管理学院企业管理学系教授、博士生导师、供应链管理研究所所长。研究领域为运营管理、物流与供应链管理、实证研究方法论、结构方程模型等。2010年“新世纪优秀人才计画”入选者，运营管理顶... 查看详情
tip2018论文概述：基于深度学习的hevc复杂度优化
...C: ADeepLearningApproach。在此论文中，北京航空航天大学博士研究生李天一及其导师徐迈，提出了一种基于深度学习的视频编码复杂度优化方法，实现了在几乎不影响编码效率的前提下，显著降低高效率视频编码... 查看详情
计算机视觉系列最新论文（附简介）
计算机视觉系列最新论文（附简介）目标检测1. 综述：深度域适应目标检测标题：DeepDomainAdaptiveObjectDetection:aSurvey作者：WanyiLi,PengWang链接：https://arxiv.org/abs/2002.06797本文共梳理了40篇相关文献，由中科院自动化所学者发布。基... 查看详情
教程|没有博士学位，照样玩转tensorflow深度学习
香港科技大学TensorFlow三天速成课件https://blog.csdn.net/zhongxon/article/details/54709347香港科技大学TensorFlow三天速成课件https://blog.csdn.net/gh13uy2ql0n5/article/details/78173679机器学习算法总结--线性回归和逻辑回归https://blog.csdn.net/l 查看详情
一文看尽深度学习中的20种卷积（附源码整理和论文解读）
引言卷积，是卷积神经网络中最重要的组件之一。不同的卷积结构有着不一样的功能，但本质上都是用于提取特征。比如，在传统图像处理中，人们通过设定不同的算子来提取诸如边缘、水平、垂直等固定的特征... 查看详情
贝叶斯深度图学习
清华大学朱军博士：可扩展的贝叶斯方法与深度生成模型WelcometoZhuSuan 查看详情
特别策划｜5g最新进展深度解析2022版—国内市场篇（65页附下载）
...缘计算的产业链和行业应用》出版之后，2022年吴冬升博士带领「5G行业应用」作家团队推出又一力作——《车联未来：5G车联网创新商业模式》。本书由化学工业出版社出版，聚焦5G车联网商业模式，探索车联网未... 查看详情
mila唐建博士最新《图神经网络:算法与应用》研究进展，附44页ppt
...究的热点之一。HEC蒙特利尔大学商学院助理教授唐建唐建博士最近在CIFARDLRL暑期学校课程，总结了《图神经网络：算法与应用》研究进展 查看详情
mila唐建博士最新《图神经网络:算法与应用》研究进展，附44页ppt
...究的热点之一。HEC蒙特利尔大学商学院助理教授唐建唐建博士最近在CIFARDLRL暑期学校课程，总结了《图神经网络：算法与应用》研究进展 查看详情
微软亚洲研究院成立理论中心，以理论研究打破ai发展瓶颈
...f1a;北京大学讲席教授、欧洲科学院院士邓小铁博士，哈佛大学计算机科学戈登·麦凯讲席教授、微软杰出首席科学家CynthiaDwork博士，康奈尔大学教授、图灵奖得主JohnHopcroft博士，牛津大学数学系教授、英国皇家学会院... 查看详情
斯坦福大学深度学习与自然语言处理第一讲：引言
...在德国读研时又专攻计算机视觉，之后在斯坦福大学攻读博士学位，拜师NLP领域的巨牛 ChrisMa 查看详情
思考vc维与pac：如何理解深度神经网络中的泛化理论？
...量（经典的「过拟合」情况）？张驰原等人的论文《理解深度学习需要重新思考泛化（UnderstandingDeepLearningrequiresRethinkingGeneralization）》为这一难题带来了一些关注。论文地址：https://arxiv.org/abs/1611.03530。他... 查看详情
10大深度学习架构：计算机视觉优秀从业者必备（附代码实现）
...觉领域已经成效卓著的10个深度学习架构，并附上了每篇论文的地址链接和代码实现 查看详情
免费的中文深度学习全书：《深度学习理论与实战：提高篇》
...得更好一点。写书的过程也是学习的过程，书中的每一篇论文每一行代码，作者都要求自己完全读懂，不懂的内容绝对不放到书里面。当然由于个人水平有限，肯定还是会有很多理解的偏差和疏漏，敬请读者不吝指教。市面上关... 查看详情