起飞预测
Brendan Halstead
本补充材料说明我们在 Plan A 各部分中如何预测 AI 能力。我们修改了 AI Futures Model,以模拟四种情形:
- 默认轨迹,即假如当初没有达成放缓能力进展的协议时的走势,
- Plan A 联合体轨迹,它以受控方式扩展至 TED-AI,然后暂停以进行对齐研究,
- 一个从协议中叛离、试图秘密建造 AGI 的隐蔽项目,以及
- 协议解散后的轨迹,其中协议后的大部分算力被销毁,领先项目重新开始竞赛。
本文档其余部分据此组织。第 1 节介绍 Plan A 模型与 2025 年 12 月版 AI Futures Model 之间的差异:训练运行建模的一项重大改动、我们更新后的算力预测,以及对默认参数的修改。在第 2 至第 4 节中,我们说明为模拟另外三种情形而添加的各项扩展。如果你尚未阅读 AI Futures Model 的文档,我们建议先在此处阅读。
在此我们描述本模型与 2025 年 12 月版 AI Futures Model 不同的三个方面。这些改动适用于所有被模拟的轨迹。
对前沿训练运行的显式建模
与大多数其他 AI 起飞模型一样,AI Futures Model(2025 年 12 月版)将某一时刻的有效训练算力 E(t) 定义为前沿模型的累计训练算力 C(t)(以 FLOP 计)乘以该时刻的软件效率水平 S(t)(以每 FLOP 对应的当下 FLOP 计):
E(t) = C(t) · S(t)。
在现实中,训练运行需要时间,而上述表述假定当下的软件效率会追溯性地适用于已在使用的那个模型的训练运行。其一个后果是略微高估了起飞能进行得多快。但对 Plan A 而言更重要的是,这个模型没有给我们一个好办法来处理这样的情形:某个 AI 项目的训练系统性能(以 FLOP/年计)突然变得远小于用来训练该项目可用最佳模型的系统(隐蔽项目以及协议解散后的情形便是如此)。
在 Plan A 版本中,我们改为将有效训练算力建模为作为一次漫长训练运行的一部分而连续增长,其增长速率由训练系统性能 T(t) 与已知训练方法的软件效率决定:
E′(t) = T(t) · S(t)。
我们把这个速率称为有效训练系统性能,缩写为 ETSP。
当所有输入都以指数方式增长时,ETSP 和有效算力也以相同速率呈指数增长,因此这个模型的表现与那个更简单的模型一致。所有其他方程与 2025 年 12 月版 AI Futures Model 相同。
对算力与劳动时间序列的修改
AI Futures Model 依赖于外生给定的算力和劳动预测。Plan A 版本使用两套时间序列:一套代表假如未实施 Plan A 时的默认世界,另一套在协议生效时从默认轨迹分岔而出。这两套背后的建模在我们的《算力补充材料》中讨论。总结如下,
- 2029 年之前的默认时间序列已作更新,相比 AI Futures Model 中的版本略为乐观
- 2030 至 2035 年的 Plan A 时间序列反映了由机器人技术带来的受控但规模巨大的算力扩建,随后从 2035 至 2040 年放缓。
一个局限是人类劳动的预测不太符合现实;我们没有在这上面投入太多精力,因为在 AI 研发被自动化之后,人类劳动在模型动态中所起的作用非常小。
对默认参数的修改
该情景中支配时间线与起飞的默认参数,被设定为反映情景第一作者的观点。然而,由于能力预测并非 AI 2040 的主要关注点,这些参数所体现的考量不如 AI Futures Model 中所用取值那般充分,并且在情景叙事与建模并行撰写的过程中,有时会被临时性地调整。尽管如此,它们与该作者截至 2026 年 4 月的中位数取值仅有轻微偏离,并且所有作者都认为默认轨迹完全合理。下面我们列出一张表,描述每个相对于 Daniel 中位数所作改动的参数。
| 参数 | 改动 | 理由 |
|---|---|---|
| 间隔年数(Gap years) | 1.1 × 2025 年有效 FLOP 增长 | 设定为使 AC 里程碑在 2030 年 1 月达成。 |
| 达成 AC 所需的时间跨度(间隔前) | 10 个工作年 | |
| 中位到顶尖品味倍数 | 5.28 倍 | 设定为在 AC 后约一年达到 ASI,同时在 AC 与 TED-AI 之间留出约 3 个数量级的有效算力。 |
| AI 研究品味斜率 | 每一次 2025 年有效 FLOP 增长 3.5 个标准差 | |
| 达到 TED-AI 所需的、高于 SAR 的中位到顶尖人类跃升数 | 1.5 |
对联合体轨迹的建模
与我们建模的所有其他主体不同,联合体并不在尽其所能地竞相以最快速度建造更强的 AI。具体策略在《能力扩展策略》补充材料中有更详细的讨论,但从高层次看,策略是平稳扩展至顶级专家主导型 AI(Top-Expert-Dominating AI,TED-AI),然后暂停以进行对齐研究,最终再把控制权移交给 AI。
在此,我们考虑沿两个轴变化的策略:
- 联合体力求在协议进行到多深时达到顶级专家主导型 AI(TED-AI),以及
- 在达到 TED-AI 时,联合体力求支付多少安全税。
安全税是指联合体实际 AI 的能力水平,与联合体本可训练出的最佳 AI 的能力水平(假如它们动用全部训练算力和已知最佳的能力训练算法)之间的差距。「支付安全税」的一个例子是:发现了 neuralese 训练,发现它会高效得多,却为了让控制更容易而决定不使用它。我们预计现实中联合体会希望支付一定的安全税。
联合体能力轨迹的大致形状:短暂停顿,然后平稳扩展,接着在移交前长时间近乎暂停。
联合体轨迹在以下各个阶段按照略有不同的规则进行模拟。
阶段 0:AI 训练暂停
此阶段在默认路径上本会发生 AC 的若干年之前开始。(在该情景中约为 9 个月前。)尽管有效算力被强制保持平稳(训练暂停了!),但训练系统性能仍可增长,因为联合体内部领先的公司在该时期结束时最终会拥有更多算力。
在阶段 0 期间,AI 研发也基本暂停。然而,我们将联合体内部领先主体的软件效率建模为在此期间增长设定的若干数量级。这是因为「完全研究透明」:到阶段 0 结束、扩展重启之时,公司的知识产权基本上已经公开。我们预计各公司在协议之前已作出互不重叠的软件发现;因此汇集这些知识产权将提升前沿的软件效率。
阶段 1:扩展至最大可控 AI
在此阶段,有效算力通过通常的 E′ = T · S 随有效训练系统性能而增加。TSP 通过外生给定的 Plan A 时间序列增长,而软件效率的增长受到审慎控制,以便在特定时间达到 TED-AI。我们假定 TSP 每增加一个数量级,都需要强制的最低限度的软件进展。
为了追踪每个时点所支付的安全税,我们实际上模拟了两条不同的轨迹:
- 一条代表合法项目的可实现能力。这条轨迹力求维持(恒定的)软件进展速率,以便在目标时间达到 TED-AI 加上所期望的安全税量。
- 一条代表合法项目的已实现能力。这条轨迹力求维持(恒定的)软件进展速率,以便在可实现能力达到 TED-AI+税额的同一时刻达到 TED-AI。
在每个时间步,各轨迹都会将其研究投入从理论最大值加以节制,转而选择使其最接近预先选定的软件进展路径的取值。
如果所选的扩展时长和起飞参数所要求的软件进展速度,快于某一时点上自然可能达到的速度,那么研究投入可能根本不会被节制。通常,一旦 AI 能力水平提升到足够程度,联合体便能够追赶上所期望的软件路径。偶尔,联合体也可能无法在期望的时间前达到 TED-AI,例如在这样的世界里:从暂停水平达到 TED-AI 本会自然地花上十年,而联合体却试图仅用一年就达到。
反过来,足够长的扩展期,或从暂停水平到 TED-AI 之间足够窄的有效算力差距,可能意味着仅靠硬件扩展(外加强制的最低软件增长速率)就能在目标年份前达到 TED-AI。在这种情况下,联合体便会提前达到 TED-AI。
阶段 2:放缓至几近停止,然后最终移交给 AI
为简化起见,我们把这一阶段建模为联合体已实现能力的字面意义上的停止。在现实中,我们预计它们会更平滑地放缓,然后随着控制技术改进、「最大可控 AI」阈值缓缓上移而继续极其缓慢地提升。
然而,联合体的可实现能力仍在继续增长。TSP 增长放缓但仍在继续。至于软件效率增长,我们指定一个恒定的、以每年若干数量级计的软件进展速率,用以代表阶段 2 期间大量对齐研究所带来的能力外溢。(举例来说,机制可解释性方面的重大进展虽对对齐有前景,但也很有可能同时催生高效得多的训练方法。)
由于已实现能力实际上停止,而可实现能力仍在继续增长,因此在此期间所支付的安全税急剧增加。
在现实中,联合体会在某个时点选择移交给 AI(在我们的情景中,这大约发生在阶段 2 进行到第五年时)。不过我们目前并未显式地对移交建模,因为我们的分析没有一项在很大程度上依赖于移交之后的动态。这就是为什么在探索器中联合体能力线会无限期地保持平稳,而非像我们预期的那样在移交后最终跳升。
对隐蔽项目的建模
在 AI 训练暂停(阶段 0)的那一刻,假定隐蔽项目起始时拥有以下资源:
- 总研发算力预算等于领先公司研发算力的某个比例。我们假定隐蔽项目在训练、实验和内部推理之间的分配比例,与领先实验室相同。
- 一支等于领先实验室劳动力同一比例的工程劳动力,
- 与协议前领先公司相当的 AI 能力、软件效率和研究存量。
我们还假定隐蔽项目的算力和劳动供给随时间保持不变。最后,我们假定在隐蔽数据中心建设期间的某段时间内,隐蔽项目无法开始训练或研发。
仅考虑这些因素时,我们的建模表明隐蔽项目的进展很可能相当缓慢。在中位情形下,研发算力每减少一个数量级(相较协议开始时的领先实验室),都会使隐蔽项目达到 TED-AI 所需的时间比领先实验室长 6 倍以上。
然而,我们也假定隐蔽项目在一定程度上因联合体的 AI 进展而获得提升。主要因素——也是我们唯一显式建模的因素——是软件改进从联合体向隐蔽项目的泄漏。为此,我们引入一个参数,表示联合体软件进展速率中被叠加到隐蔽项目自身软件进展速率上的比例。我们保守地假定隐蔽项目会充分利用联合体发现的任何算法,即便是那些被认定可能危险的算法,因此我们把可实现的软件效率增长速率而非已实现的软件效率增长速率,作为被窃取的量。
由于软件扩散,联合体的扩展策略对隐蔽项目追赶的能力极为重要。联合体为在期望时间达到 TED-AI 所需作出的软件进展越少,隐蔽项目获得的提升就越少。因此,接受更长的、所需软件进展更少的扩展时长,会增大联合体在 TED-AI 时的 ETSP 领先优势,通常也会拉长联合体达到 TED-AI 与隐蔽项目达到 TED-AI 之间的时间间隔。
对协议解散的建模
对协议解散的建模相对简单。
- 「相互确保算力摧毁」的有效性,由解散时新领先项目可获得的全球算力比例来表示。
- 我们还引入一个参数,表示协议解散后研发算力的增长速率,代表任何未被摧毁或新建晶圆厂的产出。
- 与隐蔽项目一样,我们在技术上假定人类研发劳动力与算力成比例变化。尽管这可能不符合现实,但在 AC 之后人类劳动的作用基本可以忽略不计。
- 解散后的领先项目起始时拥有协议解散前的前沿模型权重(来自已实现的联合体轨迹)以及所有已发现的软件改进(来自可实现的联合体轨迹)。
我们假定协议解散后的领先项目全速推进,如同默认轨迹一般。
具体而言,它们应扩展至类似「最大可控 AI」的水平,但在 AI 2040 中我们将其操作化为 TED-AI。
在该情景中,从技术上说,暂停从 2029 年 3 月持续到 2029 年 9 月,而在首次重大训练运行于 2030 年 1 月获批之前的那一年最后一段时间内,「试点」实验得以进行。
这一假定可能并不代表隐蔽项目的最优策略。我们在本模型的一个较早版本中做过一些粗略实验,考察各种算力分配策略,发现它们对隐蔽项目轨迹的速度影响可以忽略不计(除极端情形外——例如,把零算力分配给训练会完全停止有效算力增长;类似地,把零算力分配给实验会完全停止软件效率增长)。
这同样是一个多少缺乏原则性的假定(相比之下,例如可以专门估算隐蔽研发劳动力并将其作为一个单独参数纳入)。然而,当工程几乎完全自动化时,工程人数的精确削减程度关系甚微。我们相当有把握地认为,改进这一简化不会以任何显著方式影响结果,并已在多个环节对此作了实证检查。由于时间所限,我们目前未在此列出详细结果。
这是我们的模型对隐蔽项目慷慨的方式之一;它类似于假定运营隐蔽项目的人在协议签署之时便能获取领先实验室的前沿模型权重、数据集以及全部算法知识存量。作为改进,我们可以添加一个模型参数,表示隐蔽项目起始时「落后的月数」。遗憾的是,由于时间所限,截至 Plan A 发布时我们并未纳入这一点。
这略微慷慨,但总体上看很可能是准确的。它最灾难性的失效方式是:Plan A 期间生产的部分合法算力被偷运给隐蔽项目(或从研发集群内部被非法使用)。这将是灾难性的,因为在 Plan A 期间全球算力会增长数个数量级。一种较轻微的失效模式是隐蔽项目在协议期间利用不断增长的消费级硬件存量(作为临时凑合的 AI 研发算力)。最后,隐蔽项目可能试图在协议期间建造并运营自己独立的、不受监测的半导体供应链。我们防止上述所有情况发生的策略在《验证计划》中有所描述。
我们确实允许它们在建设期间积累窃取来的软件,详见下文。
我们之所以说「以上」,是因为所陈述的结果是把隐蔽项目与一条算力水平被冻结在分岔点的轨迹作比较,而现实中领先实验室在起飞期间会受益于不断增长的研发算力。
其他因素包括蒸馏和权重窃取。在本模型中,我们假定这些都能被阻止。