常见问题

问：方案 A 难道不会加剧权力集中风险吗？

答：不会，方案 A 大幅降低了权力集中（COP）风险。现状是：大量权力正在集中到前沿 AI 公司手中（这些公司都设在美国）。如果它们解决了对齐问题，其结果将是少数几位 AI 首席执行官或美国政府官员掌控一支超级智能大军，从而拥有接管世界的能力。（这正是 AI 2027 减速结局中所发生的情况。）

方案 A 通过以下方式显著改善了现状：

• 增加前沿 AI 公司的数量和多样性。由于监管拖慢了前沿，落后的参与者可以追赶上来；在方案 A 情景中，到 2040 年，来自不同国家的数十家公司都接近 AI 开发的前沿。
• 提高对 AI 开发的透明度和可见性。驱动权力集中风险的一个核心动态是：世界上大多数权力中心直到为时已晚才意识到自己将被 AI 剥夺权力。在方案 A 中，起飞期长得多、也透明得多，因此公众、美国政府以及美国以外的各国都有多得多的时间去看清实验室内部正在发生什么。
• 把 AI 驱动的地球变革多分摊几年，给所有人更多时间去准备和应对，使得某种类似于我们当前制衡体系的东西更有可能得以延续，而不是崩塌为混乱的冲突。
• 降低把秘密忠诚植入 AI 系统的可行性。由于存在高质量的算力核算，任何人都不再可能获得隐藏的算力——那些算力本可被用来向 AI 中训练出后门。

问：中国难道不会不同意这项协议吗？即便他们在纸面上同意了，难道不会违约、照样继续开发 AI 吗？

答：中国很可能会想要类似方案 A 的东西，因为对中国而言，现状的结果是他们将在竞争中被美国 AI 公司击败。这将导致要么是失对齐的 AI 接管世界，要么是美国在 AI 能力上取得足以剥夺中国权力的决定性领先。（这两种可能分别对应 AI 2027 的竞速结局和减速结局。）今天的中共似乎并不很清楚 AGI 或 ASI 的重要性，但随着 AI 对世界的影响越来越大，这种情况会改变。

问题不是「中国会不会违约？」问题是「他们能侥幸得逞的最大违约是什么，而那会有多糟？」

违约有两种方式：(1) 建设一个庞大的秘密项目，并设法对世界其他地方隐瞒；(2) 使用现有的合法算力。

对于他们能拥有的秘密项目最大规模，一个基准估计约为 120 万 H100e。我们在秘密项目补充材料中对这个问题做了更彻底的分析，并且我们有一条情景分支推演了中国可能如何违约。

我们通过训练核查机制来防止对现有合法算力的使用。我们假设美国和中国的审计员被给予对对方研发数据中心的完全透明，使他们能够检查算力是否被用于其所声称的用途。我们在核查补充材料中对这个问题做了更彻底的分析。

问：完全研究透明难道不是坏事吗？因为它会把算法机密泄露给中国和其他 AI 公司。

答：目前没有任何 AI 公司声称自己能抵御国家级别的对手。它们即便对于模型权重也做不到安全——而模型权重比算法机密要容易保护得多，因为模型权重体积庞大，往往在 1–10TB 量级，而算法机密往往可以被单个人类记住。由于 AI 算法本就已经泄露给了竞争国家，因此在这里，完全透明的代价相对于其巨大的收益而言是相当低的。

问：方案 A 很复杂。我们难道不应该采取一个更简单、更直接的方案，比如全部停下来（方案 S）吗？

答：我们所提出的方案 A 实现方式非常复杂，即便是一个良好的实现也会带来相当大的生存风险。然而，我们所知的一切更简单的方案都会比方案 A 带来更多的风险。特别地，方案 S 的主要问题在于：它在「向前推进以解决那些阻碍进一步能力扩张的安全/对齐问题」这方面做得不如方案 A，因为我们是在更早的能力水平上被停下的。这很糟糕，因为在某个时刻，方案 A 和方案 S 都将崩溃并回到竞速状态，而在方案 S 中，到那时所取得的对齐进展会少得多。话虽如此，我们对方案 S 深表理解，也能想象最终被说服相信它的某个版本终究更好。

问：美国政府很无能。我们为什么要信任美国政府能把 AI 监管做好？

答：对任何方案而言，无能的执行都是一个严重的隐患。事实上我们非常担心方案 A 被无能地执行，因此我们写了一条情景分支，说明这可能如何导致生存灾难。

如果美国政府不监管 AI，那还有谁来监管呢？我们不信任业界能有效地自我监管。此外，如果 AI 公司冲过智能爆炸时把美国政府蒙在鼓里，那看起来是一种不稳定的局面，可能导致突然警醒并手忙脚乱，或者更糟——一家美国公司实际上把政府当作傀儡操纵（如 AI 2027 减速结局中所暗示的那样）。如果美国政府没有被蒙在鼓里，他们就会想要监管 AI，而我们正在努力弄清并描述良好的监管应当是什么样子。

方案 A 的很大一部分都是为了尽快提升政府——以及更广泛世界——在 AI 方面的能力而设计的。例如，这也是我们为什么推荐完全研究透明、而不是某种更温和的透明的部分原因。这也是我们为什么推荐限制 AI 进展速度的部分原因；它给世界更多时间去对每一个新的能力水平做出反应和准备。我们还就利用 AI 改善认知，以及政府可以立即采取以提升其对 AI 的理解和有效监管能力的行动，有一些看法要说。最后，方案 A 的一大动机是防止极端的权力集中——这本身就是好事，同时也有助于缓解政府的无能。

问：方案 A 根本就不会发生。你们难道不知道吗？

答：方案 A 情景是一项建议，而非一项预测；它不是我们预期会发生的事。我们认为 AI 2040 中的许多想法都是好的，即便方案 A 没有发生，它们也将对那些试图把事态引向更好方向的人是有益的启发。话虽如此，我们也认为方案 A 足够有可能，因此为它而努力是值得的。

仅仅在过去一年里，政策制定者对 AI 的意识和理解就发生了巨大的转变。随着 AI 的影响越来越大，将会出现多得多的警醒。在不可逆转之点——即 AI 或由 AI 赋能的人类能够剥夺世界其他部分权力的那一点——之前，AI 很可能已经对世界产生了变革性的影响。要对任何具体细节有把握都很难，但一些具有说明性的可能性包括：

• AI 可以自动化绝大多数工作：体力工作靠机器人，认知工作靠运行在云端的 AI 智能体。这将导致大规模、普遍的失业。
• 除失业之外的极端经济影响。例如，也许 AI 公司会持续以约每年 3 倍的速度增加其收入，直到 2030 年，这将意味着前沿 AI 公司将拥有每年 10 万亿美元的收入。这是一家公司所拥有的前所未有的财富和权力，将会敲响警钟。
• AI 彻底改变战争的性质。例如，由 AI 驾驶的无人机蜂群可能使现有的机械化军队（如步兵、坦克、飞机、航空母舰）完全过时。这可能导致地缘政治力量平衡发生重大变化，因为那些不处于 AI 前沿的国家将在军事上落后。
• 极端的滥用能力，例如假设情况是：AI 能够利用普遍可获取的材料，低成本地设计和传播生物武器。要使世界对这些能力具备防护能力将极其困难。

很难知道在 AI 对世界产生巨大影响之后，政治环境会是什么样子。主要的问题在于：相对于由 AI 造成的永久性锁定，对世界的变革性影响发生得有多早。方案 A 如果被早早实施——在 AI 尚未完全自动化 AI 研发过程之前——会容易得多、也有效得多。