各方案对比
Eli Lifland
引言
在本篇补充材料中，我将估计每种方案在各类中间指标上的表现，以及它通向美好未来的机会。为了具体起见，我讨论量化指标，但我对自己精确的估计并不很有信心。我确信的结论是：方案 A 明显优于方案 B–D。关于我认为可能与方案 A 相竞争的方案，参见此表。
我估计的是：在政府和/或领先公司试图执行某方案的条件下，该方案会有多好。以下内容并非意在成为一套详尽的分类；我考虑的是如果大致按所描述的方案去尝试会发生什么，而不是把每一种可能的未来都归入与之最接近的方案。关于我如何将各种轨迹归类到各方案，更多细节见下文。
我考虑的方案有：
- 方案 A（如情景中具体实现的那样）：可核查的减速 + 完全的研究透明。一项可核查的国际减速协议，加上 AI 研究的完全透明。在保持对安全的高度信心的同时扩大 AI 能力，但要平衡来自协议瓦解和秘密项目的风险。
- 方案 A：可核查的减速 + 实质性透明。要更一般地被归类为方案 A，其实现必须包含一次实质性的、可核查的减速，且该减速涉及 AI 的持续扩张，而非无限期停止。它还必须包含至少与「外国政府派驻审计员」同等强度的透明——这些审计员向各国政府发布报告（并公开其删节版本），如我们的过滤式透明提案所述。方案的其他方面，例如相互确保算力摧毁，则不是必需的。
- 方案 B-动能型：以动能手段破坏中国并消耗一部分领先优势。为获取更多可用于安全的领先优势而破坏中国，并愿意升级到大规模动能打击，例如使用无人机或常规导弹打击。要被归类为方案 B，美国必须有意将其对中国的领先优势用于安全目的，并且在实践中至少将起飞进程放慢 3 个月。
- 方案 B-网络型：以非动能手段破坏中国并消耗一部分领先优势。与方案 B-动能型相同，但不愿升级到大规模动能打击。这可以包括网络攻击和供应链攻击。
- 方案 C+：国内监管，并在不进行破坏的情况下拖慢中国。美国通过国内监管争取到大量时间，而不破坏中国。它转而力图通过非破坏性手段拖慢中国，例如出口管制以及向中国人才发放绿卡。要求至少 2 个月的减速。
- 方案 C：领先项目消耗一部分领先优势。领先的 AI 项目将其一部分领先优势用于安全，并有可能与其他前沿项目协调以实现进一步的减速，但不涉及国内监管。要求至少 1 个月的减速。
- 方案 D：竞速。前沿 AI 项目以近乎最高速度冲过智能爆炸，投入不为零但很小比例的资源用于安全（至少 1%；更低则算作方案 E）。
政府还可以尝试实施其他一些方案。其中一些将在下文讨论。
为简化起见，我假设：
- 从「自动化程序员」（AC）到「顶级专家主导型 AI」（TED-AI）的最短起飞时长略少于一年，即从 2030 年初到 2030 年底。这与默认的方案 A AI Futures 模型轨迹相符。最短起飞时长即领先的 AI 项目全速推进时会发生的情况。
- 所有方案都可以像方案 A 情景那样在 2029 年初开始实施，不过对于方案 C 和 D 而言这无关紧要，因为这些方案在起飞开始之前都是什么都不做。这仍可能涉及一些安全工作，前提是这样做有助于推进能力。
我在下文去掉这些附加条件，并呈现其他作者的观点。
方案评估表
这些估计都是粗略的最佳猜测，其具体数值对我们推荐方案 A 并不起决定性作用（不过高层次的要点是起作用的）。
| 指标 ↓ / 方案 → | 方案 A | 方案 B | 方案 C+ | 方案 C | 方案 D | |
|---|---|---|---|---|---|---|
| 动能型 | 网络型 | |||||
| 客观指标 | ||||||
| ▶ 起飞时长（从 AC 到具备夺权能力的 AI） | 6 年 | 3 年 | 2 年 | 1.5 年 | 1.13 年 | 1.02 年 |
| ▶ 训练算力安全税（数量级） | 2.8 | 1 | 0.75 | 0.46 | 0.13 | 0.02 |
| ▶ 安全算力（H100e-年） | 1000 亿 | 5 亿 | 1 亿 | 2000 万 | 400 万 | 50 万 |
| ▶ 安全研究员-年 | 100 万 | 2,000 | 1,000 | 1,500 | 500 | 200 |
| 主观指标（1–5） | ||||||
| ▶ 认知文化 | 3 | 1 | 2 | 2 | 1 | |
| ▶ 公共透明度 | 4 | 1 | 2 | 2 | 1 | |
| ▶ 权力分布 | 5 | 1 | 2 | 2 | 1 | |
| 结果（各种实现方式的中位数） | ||||||
| ▶ p(对齐成功)；即 1 − p(失对齐的夺权) | 72% | 50% | 45% | 40% | 25% | |
| ▶ p(美好未来 | 对齐成功) | 58% | 50% | 55% | 50% | 40% | |
| ▶ p(美好未来) | 42% | 25% | 25% | 20% | 10% |
各方案在客观指标上按字母顺序排名，方案 A 与方案 B 之间存在很大的跳跃。然而，方案 C+ 和 C 在某些主观指标上胜过方案 B。方案 B 对安全的专注及其战时氛围可能会损害认知环境，而它很可能采取的国有化或准国有化会降低公共透明度并使权力集中。
比较各作者对方案可能性与结果的看法
这些估计对以下不确定性进行了汇总：默认能力轨迹是什么样、各方案何时被实施，以及各方案被执行得多么得当。相关数字见此表格，方案分类如下文所述。
可能性
各作者对每种方案发生概率的估计
| Eli | p(政府采取至少与方案 B 同等强度的行动)：35%；政府的警觉似乎一直在增强，而且超级智能（ASI）的重要性也会越来越明显。不过要注意，方案 B 要求实际减速至少 3 个月。p(达成协议 | 至少与方案 B 同等强度)：50%；达成协议显然是理性的，但在实践中存在各种阻碍。再次注意，「至少与方案 B 同等强度」要求至少 3 个月的减速。p(方案 A | 达成协议)：30%；方案 S（一种透明度较低的可核查减速），或者只是一份略弱一些的协议，都是有可能的。据此，方案 A 约为 5%，其他协议约为 10%。假设方案 B 为 15%，其他强度较高的非协议情形为 5%，因为方案 B 相当宽泛。像方案 C+ 那样的国内监管似乎也有可能，不过「实际实现 2 个月减速」这一要求降低了其概率。此外，有意愿这样做但又不上升到方案 B 或更高，这是一个相当狭窄的目标。方案 C 似乎比 C+ 更有可能。方案 D 似乎比方案 C 略更有可能。把「其他」定在 25% 也许感觉有点低，但也不算太糟，因为我认为 B、C、C+ 和 D 合在一起已经足够宽泛，能够描述在类似强度水平上可能发生的许多种世界。 |
|---|---|
| Ryan | 对于什么才应该算数，我非常不确定。我认为方案 C+ 大多是那些以愚蠢监管来拖慢 AI 的世界。我认为，如果不是因为存在「将领先优势用于安全」的意图，方案 B 的评分会更高。 |
结果
我们在此关注 p(对齐成功)，即 1 − p(失对齐的夺权)。为简化起见，本节忽略 p(美好未来 | 对齐成功)。
各方案避免失对齐夺权的概率
| Eli | 我在上面方案评估中给出的概率是以下列条件为前提的：(a) 默认轨迹为默认的方案 A 轨迹，其中 AC 到 TED-AI 之间略少于一年，AC 到 ASI 之间约为一年。(b) 方案实施于 2029 年初开始，即 AC 之前约 0.75 年。我对起飞时长的中位估计约为 (a) 中所述的 2 倍，但我对更快的起飞也赋予了相当的概率。这意味着我的 p(对齐成功) 估计应当既有所上升、又略向 50% 回归的组合效应。此外，方案 A 不像其他方案那样对默认起飞时长敏感，而且从秘密项目的角度看，效应大小究竟指向哪个方向其实并不明确，因为起飞开始与结束之间更大的有效算力差距需要更多的软件进步。到 AC / 起飞开始的轨迹时间线与我的中位估计相当接近，因此在这方面我略向 50% 回归。对于 (b)，我的中位估计是方案实施得比这更晚，但我认为这对除 A 以外的所有方案影响不大，因为在其他方案中反正更晚减速才是更优的。我确实因此降低了方案 A 的价值，但幅度不大，因为我认为秘密项目很可能仍然难以在不被发现的情况下开展。此外，方案评估中的数字基于方案的中位实现方式，而非对所有实现方式的预期结果进行汇总。我不太有把握的快速猜测是，改用预期结果也应使我的数字向 50% 回归，但不确定，因此这项调整会很小。综合上述考虑，我做出如下调整：A：72→70 B：50→55 C+：45→50 C：40→45 D：25→32。对于「其他」，我认为其中很大一部分是各种未被覆盖的、相当不错的随机方案，包括方案 S。例如，其中约有 40% 是非方案 A 的协议。不过它也包括方案 E。总体上我把它评为与 B 相同，即 55。 |
|---|---|
| Ryan | 这些数字对你如何分类方案非常敏感。例如，我认为情景中所描述的方案 A 的风险，大约只有本补充材料所分类的方案 A 的 3/5。由领先 AI 公司做出的一个真正优秀的方案 C 版本，相当接近我为方案 B 给出的数字（但比一个出色的方案 B 要差）。「其他」中很大一部分是安全投入不足、连方案 D 都够不上分类的世界。 |
其他方案
政府还可以遵循许多其他可能的方案。下面我们列举其中一些我们认为最有前景和/或最有可能的方案。
可能与方案 A 相竞争的方案
| 概要 | 优势（相对于 A） | 劣势（相对于 A） |
|---|---|---|
| 方案 S：无限期停止。停止一切前沿 AI 能力进展，意图至少持续数年。方案 S 的不同变体对恢复 AI 进展有不同的条件；例如，可以是对齐方面的进展、测谎手段、人类意识上传，或智能增强。 | 预期减速时长更长，对于「扩张过快」有更大的容错余地。可能更简单。 | 在人类能力范围内扩张出可控 AI，对于加速对齐/控制、认知环境、核查以及对 AI 的总体理解是有帮助的。 |
| 国内优先的方案 A。在国内对 AI 进行足够程度的监管，将 AI 夺权风险降低到可接受水平，这需要长时间的减速。其他国家也有可能在国内进行监管，从而不需要类似方案 A 的东西；否则，以后再过渡到方案 A。 | 初始步骤是美国自己能够实现的，而且即便国际层面不可行也非常有帮助，因为它大幅延长了时间线。主动与中国建立信任。 | 在应对秘密项目和搭建核查机制方面，不如同时谈判方案 A。由于竞速动态，可能在政治上不可行。 |
| GPU 军备控制。各国限制其 GPU 存量或流量的国际协议，类似于历史上的裁军协议。 | 执行起来简单得多，历史先例也更多。可以实现相当程度的减速。 | 减速较少，支付安全税的能力较弱，持续的竞速动态意味着无法协调走向科技树中更安全的路径。 |
| AI 版 CERN。一个开发前沿 AI 的国际项目，所有其他项目都受到监管、在能力上大幅落后。 | 更容易防范算法泄露以及向秘密项目的蒸馏。前沿参与者更少，可能使执行更容易。 | 由于透明度较低、广泛部署较少，决策更差（包括技术安全方面的决策更差）。权力集中的风险更大。 |
我们认为明显不如方案 A 的方案
- 改用这些 GPU：与 GPU 军备控制类似，只是现在要求这些 GPU 被用于具有生存意义的有用应用，而不是被销毁。参见此评论，其中有一个更具体的提案：要求这些 GPU 被用于向外部安全组织提供推理算力，或用于开展公开透明的安全研究。理论上这个方案应当优于 GPU 军备削减，但它可逆性较差，也更难执行。
- 方案 B-但不减速，又称 D-战争型：与方案 B 类似，只是你不减速，即你几乎不消耗任何你通过破坏中国而扩大的领先优势。（在做出上述估计时，目前将其归类为方案 D 的一个变体。）
- 与中国达成较弱的协议。例如，美国可以提出：「如果你让我们完全透明地了解你在做什么，你就能获得更多用于 AI 推理的芯片，并在我们的安全要求上拥有非约束性或非多数的发言权。」
- 方案 E：与方案 D 类似，但安全投入更少，即少于 1% 的资源。
将各种轨迹归类到各方案
将实施窗口定义为以下两点之间的时期：
- 起点：如果以最高速度扩张，则在到达「自动化程序员」（AC）之前的 1 年。AC 是一个 AI 集合，它完全自动化了一个 AGI 项目的编码工作，自主取代该项目全部的编码人员。也就是说，你宁愿解雇所有人类，也不愿停止使用这些 AI。
- 终点：具备夺权能力的 AI。当（以 AI 存在对抗性失对齐为条件）人类实际上极不可能阻止 AI 夺权时，就到达了具备夺权能力的 AI。理论上人类仍有可能通过采取极其激烈的行动（如关闭互联网）来关停这些 AI，但他们不太可能这样做，例如因为 AI 可能被高度依赖和/或极具说服力。
如果在整个这一窗口内所尝试的方案是一致的，那么该轨迹就被归类为那个方案。即便尝试了多个方案，每条轨迹最多也只能算作一个方案；这是一个并不显而易见的选择，把轨迹算作多个方案似乎也是合理的。
如果在实施窗口期间尝试了多个方案，则该轨迹被归类为所尝试的方案中最强烈的那一个。将其用作一般性分类有点含糊，但为具体起见，在方案 S/A/B/C+/C/D 之中，轨迹会被归类为所尝试方案中在该列表里最靠前的那一个。其背后的理由是：直觉上，即便协议很快瓦解，一条轨迹也应主要算作方案 A 或 S；而且如果它一开始是一个强度较低的方案，但随后在实施窗口内过渡到 A/S，也应算作方案 A 或 S。
以下选择效应是这种分类方式的一个后果：在更强烈的方案中，人被筛选为更有能力的人。此外，强度较低的方案筛选出的是那些即便出现令人担忧的证据、之后也不会过渡到更强烈方案的人。
我明确排除的一个选择效应是：诸如对齐难度之类的背景变量对一条轨迹算作哪个方案的影响。也就是说，在评估各方案时，我假设无论尝试哪个方案，对齐难度的分布都相同；具体而言，就是我对对齐难度分布的总体猜测。如上所述，对于人类能够控制的因素（如他们的能力），我不这样做。
附录
训练算力安全税的定义
训练算力安全税是指：为达到某一给定能力水平，一次训练运行实际使用的算力量，与达到该能力所需的最小算力量之间的差值。富有成效地利用那部分不必要算力的方式，例如可以是在一个更安全但算力效率更低的范式下进行训练，或者把大量算力花在由 AI 驱动的可扩展监督上，以改善训练过程中的激励。
用这种方法来衡量安全税，对于我们真正关心的东西而言是一个不完美的替代指标。在那些提供相同能力增量的改进之间，放弃该改进对安全的有用程度很可能存在很大的差异。
与方案 A 可能存在的其他差异（不过这取决于实施的是方案 S 的哪个变体）：算力建设更慢、透明度更低。
其一种特例是「暂停 GPU」：要求固定比例的 GPU 要么 (i) 关闭，要么 (ii) 用于挖掘加密货币（或用于某种可核查的、非 AI 的研发用途）。这个提案有一个既是优点也是缺点的特性：它使得重新启用 GPU 更容易。
但也许你可以通过小规模的公开部署和有选择的透明来缓解这一点。
或许我应当允许方案的实施更早开始，尤其是当方案非常强烈时。例如，如果方案 S 在默认 AC 时间之前 1.5 年就开始，它大概应当算数。