在 AI 发展史的大部分时间里,每一步都由人类驱动。但在 Anthropic,我们正把越来越大比例的 AI 研发工作交给 AI 系统自己完成,这加快了我们前进的速度。
如果这条路走到底,并配以足够的算力,这一趋势指向一种能够完全自主地设计并开发其继任者的 AI 系统。这被称为递归自我改进(recursive self-improvement)。我们尚未走到那一步,递归自我改进也并非注定发生。但它可能比大多数机构所准备的时刻来得更早。
借助公开基准,以及 Anthropic 内部此前未曾公开的数据,The Anthropic Institute 正在说明:AI 已经在加速 AI 系统的开发。仅举一例——如今,Anthropic 的工程师平均每季度交付的代码量,是 2021–2025 年期间的 8 倍。
本文讨论的技术趋势表明,未来几年 AI 系统的能力将大幅提升,而这些趋势影响深远。能够建造自身的 AI 将是技术史上的重大事件——它可能为世界带来巨大福祉(科学、医疗等领域)。但完全的递归自我改进也可能加剧人类失去对 AI 系统控制的风险。如果系统能够完全建造自己的继任者,那么我们如何保障它们的安全、如何监控它们、如何塑造它们的行为,都将变得重要得多。
开发周期 · 五个阶段从人类写代码,到闭环
-
2021–2023建造最初的 Claude
早期,Anthropic 的工作看起来和任何一家科技公司一样:人们在笔记本电脑上写代码和文档。
-
2023–2025聊天机器人
人们用早期聊天机器人协助流程中的部分工作,比如生成简短的代码片段,再把输出复制到文本编辑器里。
-
2025–2026编码智能体
随着智能体能力增强,它们能自己编写和编辑代码,有时是整个文件。
-
今天自主智能体
智能体现在可以自己运行代码,并把数小时的工作委派给其他智能体。
-
20XX ?闭环
未来,智能体可能变得足够强大,能够自己构建并训练模型。如果这发生,未来的 Claude 版本就可能由 Claude 自己持续改进。
§01来自外部世界的证据
AI 模型改进的速度正在加快。它们能够可靠地独立完成的任务时长,大约每四个月翻一番——此前这一趋势是每七个月翻一番。2024 年 3 月,Claude Opus 3 能完成人类大约需要四分钟的软件任务。一年后,Claude Sonnet 3.7 能处理约一个半小时的任务。又过一年,Claude Opus 4.6 能处理 12 小时的任务。1 如果这一趋势延续,熟练的人需要数天完成的任务今年就可能进入射程。到 2027 年,AI 系统也许能胜任一个人需要数周完成的任务。
同样的模式也出现在编码与研究基准上。基准衡量模型在某一领域的表现,当模型接近 100% 表现时,基准就「饱和」了。2 SWE-bench 是真实世界软件工程的标准测试:它把一个真实开源代码库和一份真实 bug 报告交给模型,要求它写出一处能修复问题、并通过项目自身测试的代码改动。模型在两年内从个位数低分跃升到让该基准饱和。
CORE-Bench 测试的是模型能否复现已有研究——这是它们开展原创研究的先决条件。它把一个已发表论文背后的代码和数据交给 AI 模型,要求它重跑所有内容,并确认能复现论文结果。AI 系统在 2024 年大约只有 20% 的成功率,十五个月后便让该基准饱和。运行长时任务基准的 METR 发现,Claude Mythos Preview 能工作「至少」16 小时,且已达「在没有新任务的情况下 METR 所能测量的上限」。
公开基准能说明这些系统的能力,却无法揭示 AI 系统对加速 AI 研发本身所产生的影响。要了解这一点,我们需要来自 Anthropic 这类 AI 公司内部的直接证据。
§02来自 Anthropic 内部的证据
构建一个前沿模型需要两大类工作。一是工程:编写代码、搭建基础设施、监督模型训练。二是研究:决定做哪些实验、解读返回结果、判断下一步该尝试什么想法。
在工程和研究两方面,图景是一致的。在工程上,Claude 可以被交给一个定义不清的问题,并自己想出如何解决;人类提供目标,但不再需要提供方法。在研究上,Claude 在执行一个被清晰定义好的实验时,已经能与熟练的人类持平甚至更好。然而,在需要 Claude 就「选择目标」行使判断时,工程和研究两方面都仍存在巨大的能力差距。这正是今日的 AI 与未来能够自主设计其继任者的系统之间的差距。
在 Anthropic,员工随着经验增长而接到更开放、更重要的任务是常态。早期,他们执行别人指定的任务,比如「导出按钮坏了,请修一下」。有经验后,他们拿到一个目标、自己设计方案,比如「排查为什么网络在高负载下变慢」。到了最资深层级,他们在决定哪些问题根本值得去做:「团队下个季度该造什么?」我们可以用 Anthropic 的内部数据,看 Claude 在这些不同类型的任务上已经走了多远。
Claude 写了 Anthropic 八成的代码
Claude 撰写了 Anthropic 代码中的相当大一部分。截至 2026 年 5 月,合并进 Anthropic 代码库的代码中超过 80% 由 Claude 撰写。3 在 2025 年 2 月 Claude Code 以研究预览形式发布之前,这个数字只有个位数低段。这一转变也体现在每位工程师的产出上。每位工程师每天合并的代码行数,在 Anthropic 的前四年(2021–2024)保持恒定,随后在 2025 年开始上升——那时 Claude 开始运行代码,而不只是给出代码让工程师去复制粘贴。2026 年,当模型开始在更长的时间跨度上自主工作,斜率再次变陡。2026 年第二季度,典型工程师每天合并的代码量是 2024 年的 8 倍。4 这是因为大部分代码由 Claude 撰写,工程师更多是在指挥和审阅,而不是自己敲。
代码行数的增长,与主观感受上的大幅效率提升相吻合。在 2026 年 3 月对来自 Anthropic 各研究团队 130 名员工的一项调查中,中位受访者估计,在那些「无论有没有 AI 都会做」的项目上,使用 Mythos Preview 让他们产出了大约 4 倍 的成果(相比完全没有任何 AI 模型)。5 我们估计 3 月真实的提升幅度要低一些。6 尽管如此,我们认为整体说法是可信的,且与我们的其他观察一致:Anthropic 有相当一部分技术人员,正在以比没有 AI 辅助时快数倍的速度完成核心工作。
我们还看到证据表明,Anthropic 的人正在用 Claude 做那些「否则根本不会发生」的工作,比如构建探索性工具、处理长期被搁置的清理。例如,2026 年 4 月,Claude 交付了 800 多项修复,把某一类 API 错误减少了 一千倍。负责监督的工程师估计,人类要完成这项工作需要四年;修复别人的 bug 既慢又费神,而人类很难同时把那么多不熟悉的上下文装进脑子里。
「大约一年前,我开始全力拥抱『Claude 化』。那是一场疯狂的冒险,而我已经大约 5 个月没有自己写过任何代码了。」
—— Anthropic 员工 *
Claude 写的代码是「好」的,而且还在变好
「好代码」意味着两件事:它能工作,且写出它的方式让另一位工程师能读懂并在其上继续构建。就第一条标准而言,证据是清楚的。Anthropic 员工纠正、重新引导或中途接管 Claude 任务的比率,一年来持续下降,即使在最复杂、最开放的任务上也是如此——那些没有清晰规格、工程师自己也不确定答案长什么样的问题。
在最开放的任务上,Claude 的成功率在 2026 年 5 月达到 76%,六个月内上升了 50 个百分点。举一个该难度层级任务的例子:一次例行升级开始让成千上万个训练任务崩溃。一位工程师把 Claude 指向这场线上故障,给的信息不过是一些文本内容和集群访问权限。Claude 逐个排查正在运行的作业、一次测试一个环境设置,最终定位到触发崩溃的那个不起眼的调试标志,可靠地复现了它,并确认了修复方案。在大约两小时内,Claude 交付了通常需要两到三天的工作量。
第二条标准,是写出另一位工程师能读懂、能继续构建的代码。在这方面,人类与 AI 的差距依然存在,但正在迅速缩小。Anthropic 内部并未完全达成共识,但许多人认为,2025 年底时 Claude 写的代码质量仍差于 Anthropic 的人类代码,而如今大致持平。我们预计一年内它会更好。
这改变了 Anthropic 审查自己代码的方式。现在,对我们代码库的每一项改动提议,都会先由一个自动化的 Claude 审查器阅读,查找 bug、安全漏洞和其他缺陷,然后才允许合并。用这个工具,我们做了一次回溯分析,发现如果对代码库的每一项改动都做一次自动 Claude 审查,本可以拦下 claude.ai 过去事故背后大约三分之一的 bug,让它们根本不会进入生产环境。写出那些代码的工程师,是世界上最擅长构建这类系统的人之一。Claude 现在正在抓住他们漏掉的错误。
从「超级有用」到「超越人类」,不到一年
Claude 擅长在别人设定好的目标下跑实验。每次 Anthropic 发布模型,我们都会做同一个测试:给 Claude 一段训练小型 AI 模型的代码,要求它在仍通过同样正确性检查的前提下,让这段代码跑得尽可能快。目标和成功指标事先固定,所以 Claude 的任务就是通过改写代码、运行、计时、重复来找到加速点。这是一个实验研究循环的微缩版。2025 年 5 月,Claude Opus 4 相对初始代码平均提速约 3 倍。到 2026 年 4 月,Claude Mythos Preview 达到约 52 倍。作为校准,一个熟练的人类研究者需要四到八小时才能达到 4 倍。7 在研究工作流的这一环——在清晰定义的实验内优化步骤——Claude 在不到一年里,从「超级有用」变成了「超越人类」。
「今天的大致格局是:人类出想法,而模型能够以比过去快一个数量级的速度,去实现、测试和评估这些想法。」
—— Anthropic 员工 *
Claude 正越来越擅长提出自己的实验。2026 年 4 月,Anthropic 发表了 Claude 端到端跑完一个开放式研究项目的首个演示。由 Claude 驱动的智能体被给了一个 AI 安全领域的开放问题——大致是:一个较弱的模型能否可靠地监督一个更强的模型?——并被放着去解决它。这涉及提出假设、测试、与并行智能体共享发现、迭代。该任务有清晰的性能「地板」和「天花板」:地板是弱监督者独自能做到的程度,天花板是强模型在正确答案上训练后的表现。两位人类研究者用大约一周时间,弥补了这段差距的约 23%;而智能体在 800 累计小时内弥补了 97%,使用了约 1.8 万美元算力。这项工作有一些保留:结果未能干净地迁移到生产级模型上,且问题仍由人类选定、评分标准也由人类制定。但在这些边界之内,所有实验都由智能体自己设计。人类唯一起到的实质作用,是定方向。
「Claude 在 1–2 天里、几乎没得到我什么帮助的情况下就做完了这一切。我觉得,如果一个初级同事在同样时间里带着这样的结果回来找我,我会略感佩服。未来已来。」
—— Anthropic 员工 *
研究判断力:从 51% 到 64%
Claude 正越来越擅长把研究会话引向研究发现。我们检查了真实的 Claude Code 会话(2026 年 1 月至 3 月间),其中 Anthropic 研究者与 Claude 一起处理开放式的调查问题,比如弄清为什么某次训练总是崩溃,或为什么某个模型在基准上得分很低。在每一个案例中,我们都找到了研究者走了弯路的一个时刻:他们追了一个方向,让会话偏离了正轨,之后才回到正轨。然后我们只把会话偏离正轨之前的工作展示给各个 Claude 模型,问它接下来会做什么。另一个能够看到会话最终走向的 Claude,则来评判 AI 还是人类提出了更好的下一步。8
由于我们刻意挑选了人类选择「有改进空间」的时刻(n=129),这并非模型判断与人类判断的对等比较。这些时刻给我们的,是一组真实、有挑战性的情境:正确的下一步并不显然,而人类的选择可作为一个有用的标尺,用来随时间比较模型表现。在这个指标上,2025 年 11 月我们最好的模型(Opus 4.5)有 51% 的时候胜过人类的选择;到 2026 年 4 月(Mythos Preview),这一比例升至 64%。研究的日常工作很大程度上就是一串这样的「下一步」决策,因此这是衡量模型最终能否自己跑完一项调查的相关指标。我们把这一结果视为一个早期信号:AI 系统正在越来越擅长做出 AI 研究所依赖的那类判断。
「就目前而言,人类的比较优势仍在于看到更大的图景,在眼前任务的边界之外思考。」
—— Anthropic 员工 *
§03Anthropic 的工作未来会是什么样?
证据表明,在 AI 开发流程的每一步,人类的角色都在收窄。一旦人类与 AI 写的代码质量持平,人类就会完全停止写代码,转而只做审阅。但如果他们审阅代码的速度赶不上 Claude 生成代码的速度,人类审阅就会成为 AI 开发的瓶颈。类似地,一旦 Claude 能跑实验,问题就转向「这些实验里哪个值得跑?」。一言以蔽之:「动手做」(写代码、跑实验、产出结果)现在几乎不消耗人类时间,即便它仍有算力成本。
就目前而言,人类比较优势的领域是研究品味与判断力,包括选择哪些问题重要、相信哪些结果、以及判断一条路何时是死胡同。
「工作(和生活)曾运行在人与人之间小恩小惠的『礼物经济』上。『你能帮我把这个脚本跑起来吗?』……每一次都制造了一点点亏欠、一点点相互的在意。Claude 更快,它制造零亏欠,但每一次这样的请求,也都是一次人与人协作机会的流失。」
—— Anthropic 员工 *
「在一切顺利的日子里,我忍不住想,我做的事毫无意义,一切都自动化了,而且比我更好更快。但也有那些一切崩溃、我不明白为什么的日子,那时我意识到,我已经不知道自己到底在忙什么了。」
—— Anthropic 员工 *
§04如果我们错了呢?
对上述证据的一个自然反驳是:仍留在人类手中的工作——选择做什么问题——才是最重要的。没有这种判断,Claude 是一个有能力的助手,但不是能凭自身驱动 AI 进步的系统。
今天的训练方法和架构能否解锁这种能力,确实不清楚。但 AI 很少靠「我发现了!」时刻前进。AI 近期历史上确实有过少数几次这样的时刻,比如 Transformer 架构、或混合专家(MoE)模型,但范式级的想法往往相隔数年才出现。在这之间,大多数进步是渐进的:我们把某个东西放大,看哪里出错,修好它,再试一次。而这恰恰是 Claude 现在最擅长的那类工作流。爱迪生说天才是 1% 的灵感加 99% 的汗水。但我们看到,汗水正越来越多地被自动化。越来越清楚的是,推动前沿的很多东西是可自动化的;大规模的研究进展主要是工具和资源的函数——它们决定了你能多快跑实验、能同时跑多少、能多快拿到结果。
即便我们假设 Claude 永远无法获得好的研究品味,对我们证据的一个保守解读仍然意味着复利式的加速。如果人类把大部分时间花在占个位数比例的方向设定类工作上,而其余由 Claude 处理,那就意味着每位工程师或研究者所驾驭的工作量远超从前。我们看到的证据表明,Anthropic 的人既在加快,也在覆盖更广的面。实际上,这意味着 AI 已经让 Anthropic 的前进速度,远快于有效 AI 工具出现之前。
更不保守的解读是:关于 Claude 研究判断力在提升的早期证据——尽管目前还很单薄——是一个指示器,表明这种能力也在变好。「研究品味」也许只是另一种 AI 能力:AI 系统会在一段时间里做不好,然后就变得擅长了。我们在其他定性技能上见过类似模式,比如 AI 系统能解释一个笑话为什么好笑、展现出心智理论(theory of mind)、解出语言谜题。
§05可能的未来
接下来会发生什么,取决于两件事:趋势是否延续,以及如果延续我们选择怎么做。我们至少可以想象三种未来情景:
趋势停滞,但能力广泛扩散
本文描绘了许多指数轨迹。但这些轨迹最终可能被证明是 S 型曲线。我们也许正在接近曲线的弯折处:规模回报递减,曲线先变直、再变平。区分一个「胜任的研究者」与「伟大的研究者」的那种判断力,也许是一种无法靠放大算力和数据这类训练输入而获得的能力。如果是这样,要越过这道瓶颈就需要一个新想法,比如一种取代所有当前前沿模型所用 Transformer 架构的架构方法。
另一种可能是:AI 进步的关键约束在供应链而非模型本身——推进和扩散前沿可能需要比现在更多的能源和算力。制约因素也许是芯片制造、电网扩张或互连带宽的速度,而不是智能本身。我们也不能排除 AI 生态遭受外生冲击、使进展急剧放慢的可能,比如算力或电力供应骤减,这会让进展放缓、也让实验室的前期投资更昂贵。又或者我们没有预见到其他某种进步障碍。
即便模型能力冻结在今天的水平,我们也预期世界会发生重大变化。Project Glasswing 是一个早期迹象:在头几周里,Mythos Preview 在全球最重要的系统中发现了超过一万个高危和严重级软件漏洞——多到网络防御的瓶颈已经从「发现漏洞」转变为「多快能打上补丁」。而今日模型向更广泛经济的扩散仍处于早期——在那里,一家 100 人的公司越来越能做 1000 人公司的活,因为每个员工都将坐落在智能体金字塔之上。
我们把这一情景纳入是为了完整,但我们认为它不太可能。我们能够衡量的每一种能力——包括那些感觉更「软」的,比如代码质量和开放式任务上的成功——迄今都沿着同一条曲线。我们还没有看到这条曲线弯折。在我们考虑的三种未来里,这一种会给政府和社会最多的时间去适应。我们更担心的是接下来两种,它们变化更快,留给准备的空间也少得多。
实验室持续获得复利式效率提升
在这一情景里,AI 开发变得大幅自动化,但人类继续设定研究方向、评判结果。随着时间推移,使用 AI 系统的组织会变得高效得多,因此我们可以预期组织中每个人的生产力乘数显著上升。100 人的公司能做 10000 人甚至 100000 人组织的活。这将彻底改变知识工作和政府服务,但也可能被用于有害目的:从对全体人口进行威权式监控,到为每个个体量身定制操纵、并以任何人类团队都无法匹敌的规模运行的影响力行动。在 Anthropic 这类公司里,人类的角色会转变:人们会与 AI 系统合作来扩大研究规模、产生新洞见,并共同构建用于验证 AI 输出可信的系统。
我们在此列出的证据表明,我们很可能正走向这一情景。但加快流程中的某一部分,往往只是把瓶颈转移到别处:整体速度受制于那些没有加快的部分。在计算领域,这被称为 Amdahl 定律,同样的逻辑也适用于组织。Anthropic 已经遇到了 Amdahl 定律的一个标志性现象:随着我们开始在整个组织里推进更多代码,人类代码审阅成了新的瓶颈。
我们也在工程之外遇到了这种摩擦。由于 Anthropic 员工与高能力模型合作,新的想法、倡议、工具和模拟呈爆炸式增长——远超出我们能够跟进的能力。一个组织发现并修复这些瓶颈的速度,可能是一项随时间提升的技能,也可能成为任何组织最重要的技能。
AI 系统自身能够完全递归自我改进
如果推进能力的技术趋势延续,而 AI 系统能发展出变革性人类创造力所固有的那些能力,那么 AI 系统有可能设计并优化自身。在这个世界里,AI 发展进步的速度完全由可用于 AI 系统的算力(或发现算法训练/推理中各种效率的速度)决定。人类在其发展中扮演的角色大幅缩减,我们的努力很可能大部分转向对一个不断扩张的、由 AI 系统运行的「虚拟实验室」进行监督、验证与核实。我们预期,能够自动进行 AI 研究与开发的系统,其技能会迁移到科学其余领域,使它们能开始变革其他领域。
对齐问题在这个未来里如何被解决——或未被解决——是我们最不确定的事。模型可能被证明对齐得足够好、也足够具备研究品味,以至于能发现并实现我们尚未触及的新颖解法;它们也可能足够明智,在不然的情况下叫停开发。反过来,今日模型中罕见的失准现象,也可能随着模型建造其继任者而累积,变得越来越频繁、却越来越不被理解,直到我们失去对它们的控制。有可能我们无法构建、整合和验证我们所需的工具,来判断我们实际处在哪条趋势线上。
我们对这个世界会是什么样缺乏好的直觉,因为我们的经济目前由人类和人类建造的工具驱动。就其本性而言,一个由快速递归自我改进驱动的世界,可能会被那个自我改进的模型所主导——当它的能力完全盖过人类、并在更广的经济中扩散开来。如果人类劳动不再是竞争性的,经济会是什么样,很难预测。
即便模型开发变得完全自动化、递归化,我们也无法预测这对大多数人的日常生活意味着什么。Amdahl 定律在这里同样适用。递归智能可能带来《Machines of Loving Grace》中勾勒的许多益处,在某些领域很快就实现。我们预计实体智能(即机器人)可能会紧随递归智能而来,并走上一条回报递增、成本递减的相似路径。更强的智能也许能帮我们更快地在物理世界建造东西、对救命药物开展更有成效的临床试验、开发新颖的协调形式。
但仅仅实现递归改进,并不意味着工业生产方式、社会组织方式或市场运作方式会立即改变。再多的智能也无法「学会」一种药物在数十年使用中的效果,无法比宪法规定的更早举行选举,也无法在一个周末把陌生人变成老朋友。对大多数人来说,这个未来的体感节奏仍将由各种瓶颈决定——即便上游的实验室以算力的速度运转。那种碰撞——自我建造得越来越快的递归智能,遇上由人类、关系和治理构成的世界——是这个未来中我们同样无法预测的另一部分。
§06我们该怎么做?
如果能够有效地放慢这项技术的发展,从而给我们更多时间去应对其巨大影响,我们认为那很可能是好事。但如果放慢只是让最不谨慎的行动者迎头赶上,它可能让所有人都更不安全。没有全球协调机制,公司和政府将不得不在竞争与地缘政治压力下,就安全做出艰难决定。
我们认为,让世界拥有「放慢或暂时暂停前沿 AI 发展」的选项会是好事,以便社会结构和对齐研究能跟上技术的推进。The Anthropic Institute 将与许多其他方合作开展研究并采取行动,帮助构建一个可信的放慢或暂停所需的那些系统。这些系统将使前沿 AI 开发者能够核实全球其他方确实已经停下或放慢,并确保恶意行动者无法借协调放慢之名偷偷抢先。如果这类系统存在,我们预计我们会放慢或暂时暂停——如果其他处于或接近前沿的开发者也会以可核实的方式这样做。
有意义地放慢或暂停,需要多个处于或接近前沿、位于多个国家的资源充足的实验室,同意在相同条件下停止。它还需要每一方能核实其他方确实已经停止。由于 AI 系统的独特特性,这一军控问题中「可探测性」(一个低于「可核实性」的标准)这一要素,比其他技术要困难得多。训练运行远比导弹发射井更容易隐藏,其投入是通用的,而悄悄违约的动机极大——因为在别人暂停时继续下去的那一方,可能继承领先地位。一个可信的暂停还必须明确:什么触发它、什么解除它、由谁裁决。
这些在原则上并非必然不可能——世界曾为其他复杂技术(如《中程核力量条约》)建立过核查机制——但那些机制用了数十年才建成基础设施与信任。我们没有那么久。相比之下,单一实验室的单方面暂停可以立即实现,但作用小得多:它会改变谁是领跑者,却不会创造出当前缺失的那个更广泛的审议过程。
在未来几个月,我们将组织对话,让政策制定者、研究者、公民社会和其他 AI 公司帮助回答本文提出的一些问题,尤其是围绕完全的递归自我改进,以及如何为协调与审议创造更好的选项。我们会发布对话的成果。共同探究这些问题的窗口就在眼前,AI 公司之外的人也应参与这场审议。
§07更新 · 2026 年 9 月 18 日(原文脚注)
- METR 的关键指标告诉你的是:AI 系统在一组任务上达到 50% 可靠度的时长;不过在 80% 可靠度上,趋势线看起来是一样的。
- 尤其当基准转向更开放的形式和更困难的任务(如奥赛级数学)时,由于题目和答案集本身的错误(如题目表述含糊、题目无解),基准往往在低于 100% 时就饱和。
- Anthropic 领导层曾公开估计,我们 90% 或更多的代码由 Claude 撰写,包括脚本和实验代码。我们 >80% 的数字,衡量的是合并到生产的代码行中可归因于 Claude 的份额。这是一个更保守的衡量,原因有二:我们的归因流程存在缺口;而未归因于 Claude 的行,包含自动生成的代码和其他并非由人手写的产物。
- 代码产出的激增正在让所有人共享的基础设施承压。GitHub——世界上大多数软件所依托的平台——整个 2025 年大约有十亿次代码提交;到 2026 年中期,它每周就有 2.75 亿次,全年按此推算约为 140 亿次。该公司 COO 已表示,它正在「极其努力」地扩充容量,只为跟得上。
- 关于这项调查方法的更多细节,见《Claude Opus 4.7 系统卡》第 2.3.5 节。
- 许多受访者可能没有仔细考虑如何校正问题定义中的各种偏差或微妙之处;METR 近期的研究表明,开发者对 AI 效率提升的估计可能被高估。
- 提速幅度的大小,很大程度上取决于初始代码留有多少改进空间,因此不应把它读作真实世界的训练提速。所以这里的绝对倍数不是该锚定的数字。更有信息量的是这个实验设置所能实现的同类比较:既跨模型(过去一年从约 3 倍到约 52 倍),也对照熟练人类(同一任务上四到八小时约 4 倍)。
- 为检验评判器偏差,我们在另一组 127 个「人类下一步已经很不错」的时刻(相对于原始那组「人类方向有改进空间」)上做了同样的测试。在那里,模型的建议只有大约 20% 的时候被评为更好。
* 本文中 Anthropic 员工的引语取自内部讨论并获许可使用。它们反映的是截至 2026 年 5 月的个人观点,不代表公司官方立场。
原文由 Marina Favaro 与 Jack Clark 合著,Santi Ruiz 提供编辑支持。Shan Carter、Romello Goodman 和 Nikki Makagiansar 基于 Brian Calvert 与 Jun Shern Chan 收集的数据制作了图表。Daniel Freeman、Jim Baker、Max Young、Sarah Pollack、Francesco Mosconi、Holden Karnofsky、Andy Jones、Kevin Troy、Chloe Lubinski、Anton Korinek、Meg Tong、Andrew Ho、Dan Altman、Drake Thomas、Jack Shen、Sasha de Marigny 和 Avital Balwit 提供了反馈。
本页为全文中文翻译,原文:The Anthropic Institute — Recursive Self-Improvement。翻译力求忠实;引语与图表说明属译者整理,如有出入以原文为准。