三个月,我把十年改成了两年
00:00如果今年早些时候你问我离超级智能还有多远?我可能会说,至少还要将近十年。但过去三个月里,我的看法改变了很多,我在播客里和私下都跟人辩论过这个问题。当然,我也一直在关注AI在可验证领域的进展思考,这对AI研究本身意味着什么?现在,我认为距离AI在AI研究上达到人类顶尖水平只剩下两年左右了,甚至可能只剩几个月。我还认为,AI研究实现自动化,会把大量进展压缩到一年之内之后不久,也就是到二零三零年,甚至可能最早明年我们就会拥有在所有领域都至少和人类顶尖专家一样出色的AI.我知道这个说法很惊人,就连我自己几个月前都不相信我来给你讲讲我的想法是怎么改变的,在讨论未来会发生什么。这些更偏猜测的说法之前,我想先指出,AI已经在大幅加快前沿AI的发展。
01:04比如,METR是一家独立的评估机构,他们进驻Anthropic工作了三个月之后,得出结论,Anthropic在范围明确的任务上,SE的进展速度是一年前的两倍。他们还认为,如今这部分加速大半,很可能是因为Anthropic广泛使用AI来做研发。OpenAI在九月发了一篇关于这件事的播客。文章显示,OpenAI研究人员中使用AI最多的百分之十的人,初夏每天使用的内部codingagent价值大约一千美元,到八月底,每天使用的价值已经超过七千美元。同样是在九月,Anthropic也发了一篇类似的文章,讲AI给自家带来的效率提升。他们报告说,cloud现在主导了Anthropic百分之二十六的ai研发工作,而就在二月这个比例还不到百分之一。
01:54在思考ai自动化ai研究会有多大的影响,又会让ai的发展加快多少时,我看到ai模型的数学能力进步的有多快,这让我的看法发生了重大变化。现在的AI解决范围明确的数学问题,就像热刀切黄油一样轻松。就在两年前,我还问过dariel,为什么大模型不能利用自己在那么多领域的广播知识,把不同的想法联系起来,做出新发现。没想到现在这一天就来了,在数学这样一个完全可验证的领域,AI通过搜索和匹配做发现,已经到了这样的程度。数百项重要成果,世界顶尖的数学家和计算机科学家花了几十年试图解决,现在却被当做宣传未来模型发布的支线任务批量产出。这种进展来的这么快,真是不可思议。就在二零二三年,这些模型还不能稳定的做四位数加法。到了二零二四年,模型几乎做不出高中数学竞赛的题目。到了二零二五年,模型就能在国际数学奥林匹克竞赛上拿金牌了。
02:58再到今年早些时候,模型终于开始解决一些小众的开放问题。到一个月前,openi用八十八小时解决了一道千禧年大奖难题。这让我想起小说伊甸园之冬里的一句话,关于诸神的陨落,有一件事是确定无疑的,他们不会只是稍稍跌落,而是会轰然坠地,摔得粉碎。当然,进展确实更多的集中在数学中需要大量验证的部分,比如寻找反例,而不是提出新理论之类的工作。Ord最近写了一篇很精彩的文章,谈的就是这个。他写道,虽然目前的AI系统开始让数学证明实现自动化,但目前几乎没有证据表明AI系统能够提出有利的问题,或者发现深刻的数学研究新领域,但同样的话也可以换个说法,现在的AI系统已经解决了一道千禧年大奖难题。而这一切都是在不具备提出有利问题或发现深刻的数学研究新领域的能力的情况下做到的。这种解决范围明确的问题的能力,对机器学习研究的意义会比对广义上的数学更大。
为什么 AI 研究更像数学,不像写小说
04:05这是因为数学研究的目标不只是证明或推翻一长串猜想,而是要拓展人类对数学概念的理解,提出拓扑学群论或者更早的笛卡尔坐标系。这样的概念比知道从n个点中到底能找出多少对相距一个单位的点要重要的多。我们关注这些深奥的问题,主要是因为这些问题可能催生新的数学理论,但在AI研究中,轻重缓急恰好反过来了。Ai实验室主要关心的是,任何新的算法方案在实际中如何提高训练效率,或者让模型变得更聪明,他们不会为了理论而关心理论。而且过去十五年深度学习取得的所有进展,本来也没怎么需要新理论。在机器学习中,一项工作就算只是相当于埋头解决各种随机的猜想,也会非常有价值。而在数学中却并非如此。Ai研究其实跟当前AI特别擅长取得的那类数学进展惊人的相似,靠着惊人的毅力以及超越人类的能力,把许多相邻领域的想法联系起来,摘下大量容易摘的果子。
Transformer 本来可以早两年出现
05:14比如我们来聊聊Transformer架构,这是一项重大突破,让现代大模型成为了可能。我的朋友shotaldouglas自己就是AI研究员,他有一篇永远只写了一半的博客在里面解释,你本来可以怎样比实际早两年发明Transformer.也许这个视频终于能让他不再拖延,把文章写完。不过在此之前,我先概括一下我和他对这篇文章内容的一些讨论。在二零一七年Transformer论文发表之前,很多研究人员已经发现,注意力机制可以让训练更好的并行化,也可以在更长的序列中传递信息。Chrisola当时活跃在研究一线,他说过,当时他觉得Transformer架构很自然的把很多想法组合到了一起。比如注意力机制和残差网络,这些想法各自都取得过成效,而这个架构把这些想法发挥到了相当极致的程度。换句话说,核心组件没有一个让当时活跃在这个领域的研究人员感到意外。
06:14那为什么人们没有更早发明Transformer呢?一个原因是这种新架构要明显优于当时的最先进技术,得先把另外六项左右的调整和创新结合起来。虽然这些东西几乎全部都已经在文献里出现多年了,但没人知道怎么把这些拼图恰到好处的拼在一起。做到这一点,当然需要很好的研究品味,但也需要大量的小实验。而我刚才描述的这种能力,也就是坚持不懈巧妙的匹配几十种。不同的想法组合,恰恰是ai在数学领域做出贡献时表现的特别擅长的。我要说的是,就连Transformer这种东西,cloud七也可能发明出来。如果chrisolla让他努力想办法,把注意力机制做得更好。可以说,Transformer是二零一二年alexnet开启深度学习革命以来机器学习领域最大的突破。现在我想说清楚,AI研究的某些部分确实没有数学那么容易验证。
中位数预测:2028
07:09这就是为什么openAI没有解雇所有研究人员,尽管他们已经有了一个看起来能自主解决千禧年大奖难题的模型,但我认为,AI研究的可验证程度已经足够高,AI很快就能在这方面达到人类顶尖水平。要解释为什么就得深入了解AI研究实际运作的细节。这些细节很有意思,但也比较专业。所以我把这些内容留到了结论之后。如果你好奇想听这些内容,就接着看,一直看到视频。最后不过现在我先给出我的,估计我们什么时候会拥有这样的AI.如果要我预测自动化研究员什么时候能在AI研究上达到最顶尖的人类AI研究员的水平,给出一个年份的中位数预测,我会猜是二零二八年这个预测假设AI实验室会全速前进,不会有意放慢脚步,也不会被政府拖慢。为什么?我认为AI在两年内就能变得这么厉害。在所有我们能检查答案,让ai练习几千轮的领域,比如编程竞赛或者范围明确的开放数学问题。
08:11Ai都在短短几年里,从不如大多数人变得比最优秀的人还强我会。在结论之后,论证AI研究也有完全一样的可验证性。当然,顶尖的人类AI研究员之所以工作出色,他们的能力中有很大一部分无法直接验证。比如他们能提前好几年压对研究方向。但正如我们已经在数学领域看到的,模型的泛化能力远远超出了直接训练的范围。OpenAI的模型显然不是靠解决其他千禧年大奖难题训练出来的。训练。这个模型用的是大量目标。没那么宏大,更容易解决的数学问题。而模型从这些题目中泛化,最终解决了一道人类从未解决过的问题。我预计,ai研究也会一样,模型在可验证的研究任务上练习几千轮,再加上每一代新模型,整体上都比上一代更聪明。这两者结合起来,就能让模型在ai研究中无法直接检查的部分也表现出色。我想说清楚,有不小的可能要花更长时间才能达到这个里程碑。
09:16因为AI研究的一些重要部分仍然很难自动化,这件事事先真的很难预测,我猜至少有百分之二十五的可能,要到二零三二年之后才能达到这个里程碑。但反过来,我也认为事情可能进展快得多,我们在二零二七年就能达到这个里程碑。我认识的一些消息,最灵通的研究者,过去几年做预测的记录非常好,他们预计最快明年AI在AI研究方面就会超越最优秀的人类。二零二七年也是把metra的新报告带入起飞模型后,直接得出的结果。报告说,anthroropic的AI进步速度比一年前翻了一倍。曾经做客节目的ajarculture,在一篇讨论这份报告的博客文章里说,如果我们照字面相信AI,现在让AI能力的进步速度接近翻倍。又假设AI带来的加速是平稳的,那么直接推算下来,我们会达到极端的超级智能时间就在一年之内。所以我预测的中位年份不是二零二七年,只是因为我不确定这种直接建模有多准确。
10:17但如果我们明年就达到这个里程碑,我们不应该感到意外,也应该为那样的世界做好准备。
快 50 倍、一样聪明、多几个数量级
10:28一旦AI在AI研究上达到最优秀,人类的水平,算法进步就会快得多。有三个重要原因,第一,AI的速度会快得多。第二,每个AI都会非常聪明。第三,AI的数量会多得多。先说速度更快。今天的AI工作速度已经大约是人类的十倍。自动化研究员还会全天候工作,晚上和周末也不休息。因此,每个自动化研究员每个自然周完成的工作量大约是人类研究员的五十倍。当然,这不意味着AI的进步会立刻加速到五十倍,这些自动化研究员仍然会受实验算力的限制。实验本身并没有跑得更快,所以收益会递减。但即使收益递减的非常厉害。仅凭这一点,算法进步的速度也会比现在快好几倍,而且这还没算上。在我说的这种情形下,每个自动化研究员在ai研究和工程方面,至少都和今天最优秀的人类一样出色。我感觉一家前沿实验室,大约百分之八十的算法进步都来自最顶尖的五十名研究员。
11:34扎克伯格愿意花几亿美元招揽行业里最优秀的人才不是没有原因的,所以算法进步还会因此大幅加速。这家自动化公司里的每一位工程师和研究员都会达到当今前沿,AI实验室里最优秀人类的水平。最后,自动化研究员的数量会多得多,不过往一个问题上投入更多人手并不总是有用。比如一大群agent写出一部优秀小说的速度,可能不会比单个agent快多少,但其他任务就更适合并行处理。比如看看我叠加在画面上的这个动画,一群不同的cloud正在合作,将费马尔啊大定理形式化。这项工作包含几千个模块化的子任务,每个都可以独立完成,每个agent都能检查自己负责的部分是否成功了。Ai研究更像是将一个定理形式化,而不是写小说,因为有很多独立的模块化工作要做,也有可验证的替代指标来衡量进展。这意味着一群agent可以尝试一千种不同的方法,看看哪种效果最好。整个流程中的每个部分都可以分别这样做。
这次「加人」为什么真的有用
12:41Ai公司已经有几十个不同的团队,各自独立负责模型开发的不同部分,比如一个团队改进预训练数据的筛选方式。另一个团队设计某一种合成二l环境,还有一个团队编写更好的注意力计算内核等等。在这样的领域,不同的工作都可以独立开展和检查投入,大量持续寻找改进的agent.通常会让进展快很多。再说一次,单纯增加并行研究员的数量,收益会急剧递减。任何在团队里工作过的人都知道,有十万个合作者不意味着速度会快十万倍,恐怕连一百倍都达不到。但考虑到AI研究的性质,自动化劳动力增加几个数量级速度却连几倍都快不了,这是不太可能的。所以,自动化研究员速度更快、更聪明、数量更多,这些因素结合起来,会让AI进步快很多。但这样的速度会持续下去吗?会变得更快,还是会慢下来。这个问题比最初的速度究竟有多快还要重要。这里有两种互相竞争的趋势,后续的进步速度取决于最后哪一种更强。
两条分支:纯软件起飞,还是火花
13:50一方面,因为递归自我改进,自动化研究员会继续变得更快、更聪明,数量也会更多。另一方面,随着这一大群AI把容易想到的点子都用掉AI研究会越来越难。顺便说一下,找到新点子越来越难。这种情况已经在发生了,ai公司每年都必须把研发算力增加到四倍,把员工数量增加到两倍,才能维持相同的进步速度。所以,如果ai变聪明的速度快、过点子变难,找的速度,我们就会迎来所谓的纯软件起点。在这种情形下,即使不增加算力,这群ai也会迅速造出越来越聪明的自身版本。直到几个月之内,我们得到一个超级智能接近现有芯片的物理极限。但如果点子变难,找的速度快,过递归自我改进,让ai研究能力变强的速度,那就会出现一种我称为火花的情况。我们会在一个自然年内取得,相当于按当前速度发展三到六年的AI进步,然后进展会慢下来,直到我们建成更多算力。
14:53因为即使是这些超级天才自动化研究员,也需要运行更大的实验才能取得进一步突破。至于到底会发生哪一种,我觉得基本上是五五开,非要给个概率的话,我觉得短期爆发的概率是百分之五十,纯软件起点的概率也是百分之五十。但说清楚一点,即使是短期爆发,在AI研发实现自动化后的第一个自然年里,我们就取得大约四年的进展,那也会让人觉得不可思议。这相当于从GPT-3点五到GPT六atra那么大的跨越,只用了短短十二个月。提醒大家一下,这样的跨越相当于把多大的进步压缩到了这一年里。Gpt三点五能写一首还算过得去的打油诗,也能补全一个简单的python函数,除此之外,基本就是个没用的玩具。而asstra能从零开始制作完整的电子游戏,还能不断做出值得拿菲尔兹奖的数学贡献,多到让我们完全麻木。过去四年里,我们经历了从学龄前儿童到天才实习生的跨越。
再来一次「四年」,是什么概念
15:55如果再来一次这么大的跨越,但这次从二零二七年或二零二八年开始,那得到的智能,在那些哪怕只有一点点可验证性的领域,可能都会远远超越人类。比如,在构思下一代AI加速器方面,AI会比英伟达做的更好。如果让AI以同等条件进入市场,AI会比现在由人类组成的CTA、del、jjstreet赚更多的钱。如果让AI远程操控一个材料科学实验室,AI寻找室温超导体的能力会超过其他所有人类。嗯嗯,
数据中心里怎么长出真实世界的能力
16:30说到这儿,你可能会问,即便是超智能在数据中心里训练出来,怎么能在一些领域打败人类专家,这些人的专业能力可是建立在多年真实世界经验之上的。我们目前让ai变得更聪明的办法,是用那些在数据中心里就能轻松自动评分的任务来做RL训练。比如ai新写的一百万行代码,有没有通过所有单元测试,ai有没有解决更多尚未解决的数学问题?但当然,世界上的大多数事情并不是这样的。我最近在一篇文章里提过这一点,我们怎么训练?Ai让ai真正擅长白手起家创建一家企业打赢官司呢?或者在市场上做一天交易,并赚到钱,或者帮助一位候选人赢得选举呢?这里要完成任务,需要与真实世界互动,没法只在数据中心里重现这个过程。那么超智能要怎么才能擅长这类事情呢?我先说清楚,我不认为我们能直接把现实世界里,每个问题的答案都塞进权重里。
17:31我想说的是,扩大RL训练的规模,会让AI具备在新环境中迅速上手所需的能力。即使是在上面提到那些难以验证的领域也是如此,要真正擅长任何一项复杂任务,需要两样东西。一个是特定领域的知识,另一个是一套更通用的技能,也就是有能力的人具备的那些本领。比如,寻找相关信息,制定计划,克服错误和障碍,把计划推进下去,记住所学到的东西以及和别人合作。在递归自我改进期间,自动化工程师会构建比现在多几万倍的rl环境。这些环境的规模会大得多,运行时间长得多,质量也高得多,更加开放,覆盖的范围也比现在的环境广得多。Ai会学着在数量多的难以想象的虚拟世界中闯荡每一个虚拟世界。和今天的电子游戏相比,都像布加迪和马车的差别一样。这些游戏会比人类为娱乐制作过的任何游戏都更难、更复杂、更庞大,也更真实。这些游戏会要求AI长期与其他AI组成的团队合作或竞争。
18:44比如一个AI可能被放进一个有数百万个其他AI的模拟经济体里,然后接到任务和别人一起创办一家成功的公司。而且这个AI不会只是困在那里思考理想的公司结构,AI会经历一个演化过程。经过数百年的企业竞争,找出最佳的组织方式,AI还会用无穷无尽的历史回测来训练自己,涵盖科学技术、政治和文化史上的一切,每一次发现、发明每一场战争、选举以及每一个季度的收益。比如有这样一个预测训练任务,如果给AI的训练语料不包含一七零零年之后的信息,AI能不能推导出广义相对论?这个时间比任何人类有望发现广义相对论的时间都早得多。另一个任务可能是给AI.截至一九六二年的每一篇报纸文章AI能不能预测古巴导弹危机会如何发展?这些自动化研究员改进的还不只是训练数据,这些研究员还会通过在线学习和样本效率方面的突破,大幅改进基础。学习算法本身,这两者都有可验证的代理指标。
19:49我后面会讲到,人类从数据中学习的效率和效果都比现在的大模型高得多。同样,未来ai的学习效率也可能远远超过人类。那么为什么?我认为我们会看到大量能力从可验证的任务迁移到这些更通用的技能上。一个原因是,即使现在RL训练的规模,只有智能爆发期间的万分之一或百万分之一。我们已经看到了大量泛化。如果你让cloudcode或codex去处理一个从没见过的项目模型,知道怎么摸清情况,弄明白各部分是怎么组合在一起的,然后着手完成一项艰巨的任务。当然,模型在不容易验证的任务上进步了多少,这很难衡量。因为如果能衡量那些任务,也就能验证了,但你可以直接去和一个新模型聊聊再和旧模型。比较以我的经验,ai在一些和代码或数学几乎无关的事情上,也有了很大进步。比如帮我研究写这篇文章时需要解答的抽象问题。支持这种迁移的另一个重要证据是人类进化。
进化,是这场论证里最强的证据
20:52我们通用的认知架构是进化形成的,而进化是一个优化过程,验证方式非常粗糙。你的基因有没有传下去?在祖先生活的环境中,影响这个结果的任务,包括打猎、抵御捕食者以及维持自己在部落中的地位。这些只是今天人类能够应付的各种任务,中极小的一部分进化并没有专门优化。我们让我们能写出获得普利策奖的传记,或者制造先进半导体,或者领导数百万人组成的国家,或者开创一个新的数学分支。但在优化我们,让我们能在大草原上生存的过程中,进化造就了一个通用的学习者。而在训练这些ai时,我们也在进行一个类似的过程。只不过我们是有意识的这么做,使用的任务与当今世界取得成功所需的任务关联紧密的多,而且和进化不同,ai公司会在训练期间努力提高迁移能力。比如,确保模型在没有用于训练的高难度任务上表现有所提升。
21:53如果愚笨,盲目的进化,在造就一种能有效的在大草原上传播自身的智能时,都能带来这么多迁移。那么AI公司有意识的努力打造一种灵活通用,能在新环境中迅速上手的智能,应该能走得更远。不过,即便是超智能的学习者,也无法在数据中心里弄明白一切。所以即使是这些AI,也需要一些真实世界的经验,才能打败最优秀的人类。但我认为,这些AI获得经验的速度会比人们预想的快得多。而且投入使用后,几个月内就能打败顶尖的人类专家。说实话,我之所以有这样的直觉,一个因素是我有很多二十多岁的朋友,有我看着他们做出了不可思议的事情,创办了世界领先的公司和项目。而他们刚进入那些领域时,基本上毫无经验。历史上有的是能力超群的年轻人,他们在自己所处的世界里远远胜过其他人。到二十七岁时,拿破仑已经接连打败了欧洲其他大国的军队,那些军队的规模要大得多。
经验只要几年,不要几十年
22:55到二十五岁时,洛克菲勒进入石油行业才两年,就已经在经营世界上最大的炼油厂之一了。洛克菲勒和拿破仑确实需要经验,但只需要几年的经验不是几十年。不管这两个人的大脑里发生了什么,AI都应该能够复制甚至超越。没有理由认为人类从经验中快速学习的能力已经到了上限。而且和拿破仑或洛克菲勒不同,i只需要几天时间就能积累,相当于部署数年的上下文。比如说假设你想让未来的AI经营一家财富五百强公司,而且做的比现任CEO更好,AI能多快上手这份工作呢?如果你让AI跟着这位CEO学习,第一天上午AI就能读完公司有史以来产生的每封邮件,每条slack消息和每份文件。到第一天结束时,AI的多个副本已经并行采访了每一位员工和主要客户。当然,有些反馈要过几个月才能得到,ai是拿不到的。
23:53比如说AI在下一季度的财报中表现如何,但即使有这类瓶颈,我们也应该预期未来火花之后出现的AI在开发出来的几个月内,就能在所有领域达到人类顶尖水平。在这个中位数情景下,那仍然是在二零二八年或二零二九年。别忘了,即使在这个火花情景下,这一切也都发生在AI研发完全自动化之后的头一两年里,事情不会就此停下,因为即使软件进步逐渐停滞,AI也会继续给这把火天柴不断增加算力。即使没有AI的帮助,过去五年里,全球AI算力也一直以每年大约三倍的速度增长。而火花之后出现的AI能帮助我们继续扩大算力。在这方面,有些能力会超过人类,有些则不会。这些AI会非常擅长设计新的AI芯片规划新晶圆厂的布局,甚至远程操控机器人,帮助建造晶圆厂和数据中心的部分设施。所以在火花情景下,AI能力会继续提升。但由于进步,靠的是建造更多芯片,
附录:AI 研究有多大程度可验证
24:58数据中心和机器人要花上几年才能到达同样的终点,纯靠软件的起点。在几个月内就能达到那个终点,也就是出现一种超级智能。这种超级智能和我们的关系,就像我们和黑猩猩的关系一样。附录前面我答应过要解释为什么我认为AI研究在很大程度上是可验证的那我就从这里开始之后,我会逐一讨论。我认为对我的递归自我改进论点最有利的反驳。首先我想特别指出一点,预训练和后训练都是可验证的。为什么这么说?我后面会解释。因此,AI相比人类最令人头疼、最重要的缺陷,改善这个缺陷的进展也是可验证的。这个缺陷就是样本效率不足。如果你想让神经网络获得某种能力,就必须给神经网络提供数据数量,远远超过人类学会完全相同的东西所需的数据,但各种样本效率都是可以衡量的。
25:55比如,你可以衡量达到某个预训练损失,需要多少数据,或者在RL环境里达到某个分数,需要多少任务,甚至可以衡量需要多少反馈和时间,才能在单次绘画中仅靠上下文学习达到想要的表现水平。样本效率和在线学习其实是同一个问题的两个方面,怎么快速高效的从现实世界的数据中学习。几十年来,人们一直认为这是机器学习中最深层的未解问题,相当于AI领域的千禧年大奖难题。而数学已经向我们展示了这类问题,会有什么结果?哪怕问题非常困难,只要是可验证的。现在我们来讲讲,为什么我认为AI的进步在很大程度上是可验证的,也就是为什么样本效率在线学习或者机器学习中其他问题上的进展,可以用可验证的代理指标来衡量。Ai研发大致可以分成三大类,预训练后训练和推理效率。正如我接下来要解释的,每一类都有很好的可验证代理指标,很容易以这些指标为目标进行训练,这几类加起来涵盖了所有算法进步。
27:05这意味着总体上来说,ai的进步很容易作为训练目标。某种意义上,这不应该让人太意外,因为我们可以让模型更擅长那些能在数据中心里测试的事情。而AI训练本身就是在数据中心里进行的。谈到这些代理指标时,请记住可验证性有价值。有两个原因。第一,i公司可以直接用RL训练模型,让模型更擅长ai研究中的具体环节。通过成千上万轮的练习来做到这一点。可验证性重要的。第二个原因是这些代理指标让每个agent在合并自己的成果之前,可以通过实验检查自己有没有超过排行榜上的某个分数,这样各个agent就能更有效的并行工作。记住这一点。我们先来谈预训练。在构建GPT-7时,你可以用RL训练这个模型,让模型更擅长找到提升预训练算力效率的方法。比如,你可以设定一个RL目标,让GPT-7尽量减少所需的算力,把一个GPT二规模的模型训练到固定的预训练损失等GPT-7构建完成。
28:15你就可以部署这个模型,或者一大群这样的模型去研究怎么训练一个GPT-3规模的模型,让困惑度不尽可能低。这是因为在流出的测试集上的损失,也就是预训练研究的基础非常容易验证。当然,小规模下有效的方法在大规模下不一定有效。你需要有判断力,才能准确预测哪些小规模的改进。组合到更大的模型里之后,真的会有成效,但这种直觉也是可以训练的。比如,你可以创建一个RL环境,让GBD七预测自己在一亿参数规模下做出的一项算法改进,在一百亿参数规模下是否同样有效。虽然在这个判断力测试环境中做RL比在nanoGPT速通任务上更贵。但如果你有前沿实验室规模的算力,训练起来还是没有那么难。所以研究判断力的重要部分也是可验证的。只要把预训练自动化,就已经能大幅加快AI进步,这有几个原因。第一个原因是预训练能非常全面的提升模型的智能和能力。这背后有一个深层原因和压缩与智能之间的联系有关。
29:26顺便说一句,如果你想进一步了解,我强烈推荐三blueebrown关于这个话题的一个精彩视频,我会把链接放在下面。第二个原因是,随着预训练不断改进,你可以训练越来越小的模型达到以前更大模型的水平,而且训练速度更快,成本也更低。这不仅加快了预训练,也意味着你在这个基础模型上做的实验和RLroller会更加高效。而且你的自动化研究员就是这个变小了的模型的多个实例,所以你也能支持规模更大的研究员群体。第三个原因是小模型训练的更快,这实际上会缩短递归自我改进循环本身的周期。在递归自我改进过程中,实验室可能不会在跨多个数据中心园区进行长达三个月的预训练。相反,自动化研究员大军会非常迅速的找到算法创新。等到一次大型训练结束时,只在一周前才开始训练的一个小的多的模型,就已经让这次训练的成果过时了。
小模型、短周期、更快的循环
30:29这就像用今天的技术向半人马座阿尔法星发射,一艘飞船,这艘飞船很可能会在途中被一艘一百年后发射的飞船赶超。而且,由于你训练的模型更小,速度更快,训练规模也允许你每天运行数千次实验,你就不用赌小规模实验的结果在更大模型上依然成立。你已经在实际训练所用的规模上测试过了。那么即使保持现在的参数量,基础模型还能变好多少呢?我觉得潜力可能还非常大,我们离预训练的极限还远着呢。比如II实验室magic最近宣布,他们预训练了一个模型,能比肩目前领先的开源基础模型。比如deepsickv四pro而用的算力,只有当初训练GPD三的一半,按今天的价格算,大约是五十万美元,再提升几个数量级,完全有可能现在来说说后训练后训练有三种不同的可验证代理指标。第一,自动化研究员可以尝试改进后训练算法。这样你想在一组新环境里做RL时,就能用更少的算力数据或时间,这三个都很容易衡量。
31:37第二,自动化研究员可以让模型更擅长边做边学,这方面的进展也很容易衡量。比如,你可以把模型放进一个从没训练过的环境里,看看模型要多久才能搞清楚状况,找到拿高分的办法。还有,面对一款从没玩过的电子游戏模型,进步得有多快,这方面也可以有更贴近现实世界的例子。如果想看看具体是什么样,可以看看字节跳动针对这类任务发布的一个很棒的benchmark叫edgebench.第三,你可以直接衡量AI研发能力。比如Anthropic有一个内部benchmark叫cob,bench里面有大约五百个真实问题,都是研究员和工程师今年解决过的,而且每个benchmark也都是一个RL环境。有了这样的RL环境,Anthropic就能让模型练习重做过去三到六个月,人类在前沿领域取得的成果。
32:28Ai研究的第三个大领域是推理效率,这要靠设计模型和周边软件,让算力发挥更大作用,而且这特别容易验证。比如,你可以轻松衡量GPU利用率,每个token的KV、cash大小,一次前向传播的总flop数延迟等等。
反驳一:没有持续学习怎么办
32:48现在我想回应一下,针对我关于RSI的论点最有力的反对意见。我要说清楚,这些瓶颈很严重,确实会降低出现最激进的那种起飞的概率。所以我认为我们大概会在二零二八年实现,相当于从GPT-3点五到GPT六这么大的跨越,而不是从明天开始一夜之间出现疯狂的起点。但我觉得这些瓶颈不会造成特别大的阻碍,瓶颈其实相当宽。我来解释一下,为什么第一个反对意见,我知到最近都还这么想,就是持续学习能力,或者说缺乏这种能力会成为瓶颈。过去一年半里,我一直在说,当今的AI最缺的就是从工作经验中学习的能力。每次开启新绘画,对AI来说都是上班第一天。每次绘画里,AI只能保留两个小时的信息,所以没法积累几周或几个月下来获得的反馈和经验。去年十二月,这还是我怀疑我们能否很快实现AI研究自动化的主要原因。就像我当时写的这个自动化研究员,得设法找出实现AGI的算法。
33:53这个问题,人类已经苦苦钻研了大半个世纪。可这个研究员连小孩子都有的基本学习能力,都没有我觉得这太不可能了。但我现在多少改变了一些看法。我认为这些模型目前缺乏持续学习能力,不会阻止我们到二零二八年完全实现最优秀的AI研究员的工作。自动化。原因如下,首先,AI公司到那时也许就能解决持续学习问题,使用的架构和现有架构差不多。以前我认为我们得靠某种惊人的突破,才能让模型在每次绘画结束时更新自己的权重。但现在我觉得把上下文学习扩大规模就够了。这样一来,绘画实际上可以持续好几个月,这就能让单个实例在工作中有效学习。人们已经发表了很多很有希望的想法,能让实验室大幅延长有效context window.第二个原因是解决持续学习问题,也许并不需要一个能持续学习的模型。就像我之前解释过的,在线学习是一个机器学习研究问题,有明确可验证的代理指标。
35:00如果你两年前问我纳维-斯托克斯问题和持续学习,哪个更难解决?我不会觉得答案显然是纳维-斯托克斯问题。当然,现在看来,持续学习确实更难,毕竟实验室还没解决这个问题,但我们真的有这么大的把握,认为持续学习难得多,以至于那些不具备在线学习能力的模型,比现在能解决千禧年大奖难题的模型。再聪明一两年也没法解决这个问题吗?即使这些模型和现在的模型一样,没有记忆,这些模型都已经在解决千禧年大奖难题了却依然像一些没有长期记忆傻乎乎的天才实习生。这就像看着一个人在跑道上翻着侧手翻,还能跟上博尔特的速度。要是真让他跑,我肯定他能更快。但谁说他翻着侧手翻就赢不了这场比赛呢?话虽如此,我认为有不小的可能,未来几年我们都解决不了持续学习问题,而模型也无法靠其他优势,弥补这种能力的缺失。
反驳二:谁来定义「验证什么」
35:59所以我认为有百分之二十五的概率,我们要到二零三二年之后,才能实现艾蕾拉这个水平的人类顶尖研究员的工作自动化。人们提出的一个重要反对意见是找到合适的可验证代理指标会成为瓶颈。他们会说,我上面列出的所有可验证代理指标都以当前范式为前提。但首先要弄清楚该验证什么目标,也就是选定让GPT-7攀登哪座山,这本身就是AI研究的重要部分,这可以叫做研究品味。那你要怎么训练这种能力呢?二零一八年之前,几乎没人说过,最小化下一个token预测的损失会是推动AI进步最容易走通的路径,所以也就没人会费心去搭建nanoGPT那样的速通环境,让一群agent尽量缩短,达到某个预训练损失所需的时间。从现在走到超级智能,难道不需要跨越好几个新范式吗?而且每个新范式难道不都需要某种相应的我们事先不知道的代理指标吗?在ri过程中,自动化研究员要怎么找到这些指标呢?
37:02我对这个反对意见有两个回应。第一Transformer在现有的翻译benchmark上就能体现出优势。事实上,发明Transformer就是为了超越这些benchmark推理模型和已有的编程数学benchmark也是类似的情况。这是因为ai的学习算法相当通用。第二,想出不依赖特定范式的外循环。代理指标没那么难,比如你的新模型能解决多少个千禧年大奖难题?如果用一九零五年以前的数据训练模型,模型要花多久才能发现广义相对论模型能多快掌握,完全没见过的电子游戏等等。总的来说,我认为其他针对递归自我改进影响的反对意见要有利的多。如果最后是因为这个原因,递归自我改进才没产生重大影响。我会非常惊讶。人们指出的另一个重大瓶颈是数据数据不是推动AI进步的主要投入之一吗?如果数据不能以同样的速度增长,递归自我改进怎么会发生?
反驳三与四:数据和实验算力
38:06我的回答是,递归自我改进期间,数据会继续增长,只不过收集整理数据的会是ai为预训练和后训练生成更好的训练。数据本身就是一个机器学习研究问题,而AI自己做这件事的能力也越来越强。当然,数据的确是推动AI进步极其重要的投入。我和普林斯顿大学的学生jerryhn一起研究过这个问题。我们发现,过去六年里,在预训练方面,数据改进带来的算法进步是模型改进带来的三倍多。不过我觉得人们没有意识到预训练中这些数据改进,其实和普通的AI研究工作非常相似,基本上就是找出哪些筛选现有数据或生成新合成数据的方法。经过实际验证,能让模型在流出来的语料上取得更低的损失。类似的情况似乎也越来越多的出现在RL中。DeepSeek刚发表了一篇论文,讲他们怎么对新模型做后训练。他们说,基础RL算法的改变作用要小得多。
39:04观察到的提升,基本都来自对合成数据和环境的规模、多样性及可验证性的系统性改进。而这些环境的构建方式本身也越来越自动化。他们写道,我们投入建设大规模自动化流程,用来合成数据和构建环境。我们用难度和正确性作为奖励信号,反复训练模型,让模型构建更好的任务。接下来我想谈谈一种观点,实验会成为AI进步的瓶颈。前面我详细的做过一个类比,把现在数学领域的加速进展和我们预计会在AI研究中看到的情况做了比较,但AI研究和数学之间有一个很大的区别。做数学研究,只用纸笔推理就能有新发现。而做AI研究,需要实际运行实验来验证想法,这要花算力和时间。随着自动化研究员的数量增长,每个研究员能分到的实验算力占总算力的比例就越来越小我的回答是,基本上每个agent还是能获得大量算力,前沿实验室的算力每年都增长到原来的四倍以上。如果这个趋势持续下去,到二零二七年底
一万个 agent 的算力账
40:09openline,就有可能给一万个agent,也就是参与解决千禧年大奖难题的agent数量。每个都分配足够的算力来训练一个GPT-3规模的模型,而且几乎每天都能训练一个。要知道,二零一七年最初那篇Transformer论文中训练的最终模型用了八块p一百跑了三天。如果今天租用这些算力大约要花五十美元所需算力,约为GPT-3训练算力的万分之一。如果nomshassier和aliasssr这样的顶尖人类AI研究员有足够的实验算力,每天天练一个GPTT规模的模型,他们的进展可能会比现在慢。但我会非常惊讶,如果他们完全没能取得有意义的进展,只是坐下来抱怨自己的计算集群太小。那么,你觉得一家AI实验室,如果有一万名优秀研究员,每个人都有这么多算力,而且思考速度都快十倍,生产力会有多高?你难道不想给这家新实验室投资吗?
瓶颈翻转,实验方式也会翻转
41:04如今,实验室的研究和实验方式反映出,相对于算力研究员的时间极其稀缺。顶尖ai研究员,每个人一年能拿到几亿美元的报酬。所以今天实验室使用算力的方式并不能告诉我们多少。如果关键瓶颈是算力,而不是研究员的时间,他们能多高效的利用算力。递归自我改进中的agent大军使用实验算力的效率会比今天的研究员高得多,主要有两个原因。首先,他们马上就可以多花人力来节省,算力为了节省宝贵的研究员时间。今天的实验很浪费,算力也应该这么做。所以,今天的人类研究员可能不会费力的安排,仔细监控大量小规模预训练实验,而是选择并行启动几个大型多agentRL训练任务。但如果瓶颈是实验算力,就可以多做前面那种实验。而且,这些自动化研究员运行RL训练时,可以读完每一次rollout的完整记录。如果某个任务出了问题,就立刻暂停并重新构建整个环境。
更好的科学方法,比算力更值钱
42:06他们可以对模型做数量惊人的小规模消融实验,让模型一点点变好。当一组agent决定把算力集中起来,运行规模大得多的训练任务时,他们可以花上主观感受中的几十年设计。一个能从这些集中起来的算力中获得最多信息的实验。实验运行结束后,他们还可以再花上主观感受中的几十年全面分析结果,然后再设计新的实验。尽管每个副本能获得的算力会减少,这支庞大的agent的大军仍能保持高生产力的另一个主要原因是,这些自动化研究员可以想出更好的科学方法。从小规模实验中学习scaling law本身就是一个很好的例子。GPT-4的论文说,他们用算力少一万倍训练出来的模型,就能预测最终模型的损失。这个更聪明速度更快的自动化公司,可以试着发现更多的缩放现象。比如,mop研究员,只需要用小一百倍的模型,就能预测更大规模训练任务的最佳超参数。类似这样的发现还有多少?
致谢
43:07我记得和一位ai研究员聊过,他认为从极小的神经网络中学习可能会带来极大的启发。他是这么说的,天上的神和地上的蚂蚁遵循的原理必定是一样的。我要感谢几位朋友,他们和我一起完成了这篇文章,相当一部分的写作maxfrienrencegavefried和thomaslesson.我们下篇关于超级智能的文章,再见。在那之前,如果你想在那期视频文章发布时收到通知,请订阅我的YouTube频道,下次见。