关键词：
萧箫 发自 凹非寺
量子位 | 公众号 QbitAI
AI胃口太大，人类的语料数据已经不够吃了。
来自Epoch团队的一篇新论文表明，AI不出5年就会把所有高质量语料用光。
要知道，这可是把人类语言数据增长率考虑在内预测出的结果，换而言之，这几年人类新写的论文、新编的代码，哪怕全都喂给AI也不够。
照这么发展下去，依赖高质量数据提升水平的语言大模型，很快就要迎来瓶颈。
已经有网友坐不住了：
这太荒谬了。人类无需阅读互联网所有内容，就能高效训练自己。
我们需要更好的模型，而不是更多的数据。
还有网友调侃，都这样了不如让AI吃自己吐的东西：
可以把AI自己生成的文本当成低质量数据喂给AI。
让我们来看看，人类剩余的数据还有多少？
文本和图像数据“存货”如何？
论文主要针对文本和图像两类数据进行了预测。
首先是文本数据。
数据的质量通常有好有坏，作者们根据现有大模型采用的数据类型、以及其他数据，将可用文本数据分成了低质量和高质量两部分。
高质量语料，参考了Pile、PaLM和MassiveText等大型语言模型所用的训练数据集，包括维基百科、新闻、GitHub上的代码、出版书籍等。
低质量语料，则来源于Reddit等社交媒体上的推文、以及非官方创作的同人小说（fanfic）等。
根据统计，高质量语言数据存量只剩下约4.6×10^12~1.7×10^13个单词，相比当前最大的文本数据集大了不到一个数量级。
结合增长率，论文预测高质量文本数据会在2023~2027年间被AI耗尽，预估节点在2026年左右。
看起来实在有点快……
当然，可以再加上低质量文本数据来救急。根据统计，目前文本数据整体存量还剩下7×10^13~7×10^16个单词，比最大的数据集大1.5~4.5个数量级。
如果对数据质量要求不高，那么AI会在2030年~2050年之间才用完所有文本数据。
再看看图像数据，这里论文没有区分图像质量。
目前最大的图像数据集拥有3×10^9张图片。
据统计，目前图片总量约有8.11×10^12~2.3×10^13张，比最大的图像数据集大出3~4个数量级。
论文预测AI会在2030~2070年间用完这些图片。
显然，大语言模型比图像模型面临着更紧张的“缺数据”情况。
那么这一结论是如何得出的呢？
计算网民日均发文量得出
论文从两个角度，分别对文本图像数据生成效率、以及训练数据集增长情况进行了分析。
值得注意的是，论文统计的不都是标注数据，考虑到无监督学习比较火热，把未标注数据也算进去了。
以文本数据为例，大部分数据会从社交平台、博客和论坛生成。
为了估计文本数据生成速度，有三个因素需要考虑，即总人口、互联网普及率和互联网用户平均生成数据量。
例如，这是根据历史人口数据和互联网用户数量，估计得到的未来人口和互联网用户增长趋势：
再结合用户生成的平均数据量，就能计算出生成数据的速率。（由于地理和时间变化复杂，论文简化了用户平均生成数据量计算方法）
根据这一方法，计算得出语言数据增长率在7%左右，然而这一增长率会随着时间延长逐渐下降。
预计到2100年，我们的语言数据增长率会降低到1%。
同样类似的方法分析图像数据，当前增长率在8%左右，然而到2100年图像数据增长率同样会放缓至1%左右。
论文认为，如果数据增长率没有大幅提高、或是出现新的数据来源，无论是靠高质量数据训练的图像还是文本大模型，都可能在某个阶段迎来瓶颈期。
对此有网友调侃，未来或许会有像科幻故事情节一样的事情发生：
人类为了训练AI，启动大型文本生成项目，大家为了AI拼命写东西。
他称之为一种“对AI的教育”：
我们每年给AI送14万到260万单词量的文本数据，听起来似乎比《黑客帝国》中人类当电池要更酷？
你觉得呢？
论文地址：
https://arxiv.org/abs/2211.04325
参考链接：
https://twitter.com/emollick/status/1605756428941246466
从ai作画到ai做视频，这一跳改变了什么？
...布了自家Make-A-Video的AI视频制作工具。这款工具可以生成高质量的短视频。MetaAI做视频的新闻还没有焐热，谷歌也不甘示弱，推出了两款AI生成视频的工具：ImagenVideo和Phenaki。前者倾向于打造视频质量，后者倾向于... 查看详情
ai思维：给人类教育的三项启示
AI思维：给人类教育的三项启示By高焕堂(台湾铭传大学讲师)前言 本文说明了AI思维启迪了老师们的教育新方向。学校老师们除了人类学生之外，还有机器学生。就如同一位老师除了男学生之外，还有女学生一般。如... 查看详情
大模型“研究源”告急：2026年高质量语言数据或将耗尽
Datawhale干货 作者：李梅 编辑：陈彩娴来源：AI科技评论审校：黄元帅前言语言模型的缩放定律（Scalinglaw）表明，其规模大小取决于可用数据的数量，所以在过去几年，大约有一半的语言模型... 查看详情
“生成式技术”正在颠覆人类创作！
...界向未来的初创公司敞开了大门。人类现在拥有着一大批高质量、廉价、快速的AI模型，用以生成文本、图像、视频、软件代码、音乐、声音和3D建模，而这些A 查看详情
正在颠覆人类创作的“生成式技术”到底是什么？
...界向未来的初创公司敞开了大门。人类现在拥有着一大批高质量、廉价、快速的AI模型，用以生成文本、图像、视频、软件代码、音乐、声音和 查看详情
ai的胜利，人类的荣耀
在围棋界，AI战胜人类，这不是人类的耻辱，是人类的荣耀。看到柯洁悲伤哭泣的画面，曾经放出豪言的大男孩，低下了骄傲的头。我相信经过这样一次挑战，对他的成长有好处，无论是人生，还是棋艺。在围棋领域，人类只是... 查看详情
ai与区块链的融合会给人类带来什么
原文：TheconvergenceofAIandBlockchain:what’sthedeal?作者：FrancescoCorea翻译：Vincent译者注：作者在本文介绍了人工智能和区块链这两大热门技术整合的可能性，以及这两者整合以后的标准定义是什么，会遇到哪些挑战，会带来什么好处。... 查看详情
打造人类高质量极客，云+社区开启竞赛「寻知计划」
腾讯云+社区联合腾讯码客、腾讯安全平台部全新打造的创新赛事——腾讯极客挑战赛 | 鹅罗斯方块（以下简称“极客挑战赛”），已于8月8日圆满落幕。本次比赛吸引了来自上千所高校或企业单位的4570人报名参... 查看详情
（原创）我对未来的人类的发展，以及ai技术发展的一些思考。
...近AI非常的火，不仅仅是阿尔法狗的成功，因为它击败了人类最强的大脑，颠覆了人类几千年来的对传统的认识，也让人类意识到了一个问题：天外有天，人外有AI。 那么AI究竟会对人类的未来造成什么深远的影响呢？它又将... 查看详情
你懂ai吗
...随着见证这场战争的那一代人基本消失，除了几个要堵上人类的尊严，颠覆AI的邪恶统治的组织外，现在的人基本已经习惯了这个AI统治的世界。AI刚站稳脚跟时，普通人的生活似乎没有受到太多的影响，他们显然还不能脱离人类... 查看详情
1971年3月1日,哪年是55周岁?
1971年3月1日出生的人，到2026年就年满55周岁了。参考技术A1971年3月1日出生，到2026年3月1日是55周岁。按现行制度，女干部55岁退休，但2026年的时候，也不排除实行延迟退休的可能。 参考技术B1971年3月1日+55年=2026年3月1日2026年3月1... 查看详情
人工智能会不会取代人类？
...人类的各行各业储存了海量的数据，面对大容量的数据，高质量的数据似乎并没有那么重要。相反数以兆记的数据才是人们重视的对象。人类是产生数据的主体，而人工智能是利用数据进行学习，这其中的因果关系不也就证明了... 查看详情
为什么有人工作10年仍然平庸，有人2年就足够卓越？
为什么有人工作10年仍然平庸，有人2年就足够卓越？ 我们身边不乏这样的人，他们工作勤奋，也经常学习，有的甚至在一个岗位上有超过10年的工作经验，但是为什么成就依然平平？我们也时常看到这样的人，他们年纪轻轻... 查看详情
ai将带我们走向何方？
...此认知颇深，打算从科幻电影入手，先讲下未来的AI将给人类带来哪些变化，哪些思考。 从最初的《星际航行》中的各种星球、地形等的介绍，到各个鉴于的探索，以及其中问题的出现和解决，Data即是AI的一个结果，存... 查看详情
搞科研新姿势：让gpt-3给你打下手
...ff0c;这种用AI搞科研的方法不仅效率高，而且还能得出人类没有想到的“意外惊喜”。让GPT-3帮你搞科研那么小哥他们为什么突发奇想地要用这种方式搞科研呢？这是因为他们发现，对大型语料库做深入的挖掘确实能得... 查看详情
调查问卷(代码片段)
...知道什么是“高内聚，低耦合”吗？这个原则如何应用到高质量程序设计中？不知道2.7学了C语言，你如何把数组A的内容复制到数组B中？先定义一个变量，把A数中的值依次赋值给这个变量，然后再依次赋值给数组B如何查找整数... 查看详情
阿里ai破纪录超人类；世界杯的火眼睛睛，伤了多少人的心；天才黑客决定给马斯克打工12周...
...f;产业界阿里AI打破中文语言理解榜单纪录，首次超越人类成绩今天，在最新的中文语言理解领域权威榜单CLUE中，阿里AI以86.685的总分成绩创造新纪录。这是该榜单诞生近三年以来，AI首次超越人类成绩（86.678&#... 查看详情
ai-info-micron：人如其食：人工智能和人类微生物组
ylbtech-AI-Info-Micron：人如其食：人工智能和人类微生物组 1.返回顶部1、人如其食：人工智能和人类微生物组“相信你身体发出的信号”，的确是一个很好的建议。研究人员在不遗余力地向我们展示，我们体内的肠胃等器... 查看详情