← 返回 AI 2040 首页

对齐路线图

补充材料 · Supplement

Ryan Greenblatt, Thomas Larsen

免责声明：本补充材料是一份非常粗糙的草稿，代表尚在推进中的思考。它应被理解为内部研究笔记，而非我们完全满意的最终成品。本内容信息密集、充满未充分解释的行话且不够打磨。我们本着透明的精神仍决定发布。

除非你对对齐内容特别感兴趣，否则我们建议在阅读本篇之前先阅读并参与我们撰写的其他补充材料。

此外，本内容几乎完全聚焦于 Plan C。如果你对在 Plan A 中如何解决对齐问题感兴趣，我们建议阅读内部视角一文。

本文档代表我们截至 2026 年初的最佳猜测对齐路线图。它聚焦于勾勒为避免 AI 夺权（AI takeover）而需要完成的高层目标。

首先，我们将介绍解决对齐问题的核心方法论。

其次，我们将详细介绍 Plan C 的对齐方案。在这种情形下，我们有一个基本合理的 AI 开发者，只拥有少量领先时间（例如几个月），并且愿意采取有一定安全收益但代价高昂的行动，只要这不会导致其在 AI 竞赛中落败。这既是一个可能的世界，也是一个相对合理可供讨论的世界，因为我们可以代表一个合理的领先 AI 开发者进行策略规划。

我们的对齐路线图可以分解为 4 个阶段，我们将详细讨论：

接着我们将讨论对齐计划如何随政治意愿而变化：

请注意，本文档聚焦于概述计划并讨论相对优先级，而非讨论我们将追求的各研究与实施领域的细节。最重要的研究组成部分在以下文档中有更详细的讨论：

尽管我们大多不会聚焦于这一情形，但 Plan C 也适用于以下情况：美国政府对 AI 夺权足够担忧，以至于愿意在不输给中国、且不愿破坏中国的前提下，尽可能地监管 AI 公司以缓解风险。

本计划聚焦于有效利用有限的安全资源，并不能确保高度安全（因为我们设想的资源水平不足以做到这一点）。事实上，本计划最可能的结局可以说就是失准的 AI 夺权。由于资源有限，本计划将在某些风险水平相当高的情形下继续推进（因为外生风险更高），而且我们未必能对确切的风险水平获得多少信心。

请注意，我们预计实践中发生的将是远不如本计划合理的情况，因此，虽然这是一项建议（关于如何使用有限资源），但它并非一项预测。

研究领域

不同的研究与实施领域

本计划将涉及许多不同研究与实施领域的工作。关键领域包括：

此清单排除了一些在本计划中受关注较少但仍然重要的领域，例如加固世界以抵御流氓 AI（例如生物防御和网络防御）。

核心方法论

本计划旨在采用一种相对迭代且经验性的方法，因为我认为一旦你拥有强大的 AI，这大概是可行的。作为其中的一部分，控制、失准类比、引出/移交可行性各自都有构成该方法论主要经验反馈回路的核心方法论。它们的方法论分别是：

很大一部分工作，尤其是杂项科学/干预类别中的工作，将不使用这些核心方法论中的任何一种，而是依赖临时的评估方法、研究者总体上尝试理解正在发生什么，或研究者判断某项技术是否先验有用而不（太）依赖经验证据。对缓解失准工作的一种分类方式是按方法论划分，即使用上文给出的三个类别加上一个“杂项”类别。

实践中，本计划在一定程度上依赖于这些核心方法论各自的某个版本能够奏效，因此让这些方法论运作良好（或注意到它们不可行）很重要。话虽如此，本计划中有大量工作并不使用这些确切的反馈回路（要么使用其他反馈回路，要么主要聚焦于那些先验上看起来有帮助、因而不需要（那么多）反馈回路的方法）。

一旦 AI 强大到具有风险，这些方法论有望使我们能够以一种与实际风险/问题相当紧密耦合的方式进行迭代。这将要求把每种方法论都聚焦于更贴近/更接近的测试：越来越直接的控制试验台（聚焦于模型在确切部署情形下的确切用途）、聚焦于更可信训练运行的失准类比、越来越强调对自动化/加速安全工作有用性的直接测量，以及聚焦于移交后关键任务的移交可行性行为测试。

构建这种迭代所需的试验台和评估（尤其是我们想在高能力系统上进行的迭代）将是难度中相当大的一部分，对每种方法论而言都可能是难度的大头。

关于相关方法论的更多讨论，请参见这篇关于协议评估（protocol evaluations）的讨论（在所链接文章使用的本体中，好的类比对应于“构建行为测试并针对其迭代”，而“模型生物”对应于“失准类比”）。

如果我们的核心方法论不奏效（不够好）怎么办？

本计划基于上述三种核心方法论：控制评估、失准类比和行为测试。这些方法论是我们（分别）实现确保控制、避免搞阴谋、以及移交可行性/从 AI 中引出有用劳动这几个主要目标的关键部分。因此，如果这些方法论不（很好地）奏效，我们要实现最重要的目标就会困难得多。

不奏效可能意味着：

无论如何，如果该方法论无法按时用于实现我们的目标（而且我们知道这一点），我们要么放弃该目标，要么转向那些不需要针对某测试进行迭代、或允许用另一种方法论迭代的方法。

大体而言，转向不需要迭代的方法意味着我们会转向有原则的（principled）方法。也就是那些我们有某种（有力的）先验理由认为该方法有效、且无需验证的方法。也就是说，它至少不需要在确切的关注领域内进行验证；也许我们需要确立该有原则的方法/技术能在我们可验证的另一情境中完成其他某件事。我在此处更详细地讨论了避免搞阴谋的有原则方法；单一最有前景的方法将是确保相关推理是可监控的（例如可监控的思维链），从而使 AI 在保留足够能力的同时无法进行（不被发现的）搞阴谋。我们或许能找到某个迁移可能性不如原方法论、但对某类至少有一定原则性的技术仍具有足够迁移性的迭代回路。

请注意，这些方法论中有许多相当宽泛，包含绕过不同问题的多种可能方式。例如，控制评估可以用各种不同方式进行以规避问题；我们在此处讨论了其中一些。

第 1 阶段：准备

此阶段从现在持续到智能爆炸开始（具体而言：一旦我们达到 ITAI；定义见此处）。在此阶段，AI 足够弱，因而不会直接构成重大存在性风险，也不能对加速安全工作产生变革性用处。因此，本阶段将主要聚焦于为应对搞阴谋 AI 带来的风险做准备，并在一定程度上侧重于为从 AI 引出劳动以及总体上有帮助的安全研究做准备。

此时我们在应对严重失准 AI 风险方面的工作将最聚焦于控制，同时也大量侧重于失准类比，并对杂项研究方向有一定侧重（通常是更具推测性的方法或构建总体理解）。

我们对技术 AI 安全的优先级排序受到以下情况的显著改变：当前拥有的 AI 相当弱、研究起来不太有趣，与此同时又需要为日后应对这些 AI 的风险做好准备。

这使得研究控制（包括研究和实施）相对更具杠杆效应，因为这项工作从能够直接研究危险 AI 中获益较少，而且我们需要它为日后做好准备。

开发那些我们预期对未来 AI 发展大体上不变的干预措施，或研究此类模型属性，也相对更具杠杆效应。也就是说，我们日后在弱模型上研究这些干预措施/属性几乎同样有效。这很可能包括各种模型内部机制干预以及一些更偏登月式的方法。然而，看起来对未来 AI 发展如此不变的方向，在绝对水平上通常看起来不那么有前景，所以这并不会大幅改变优先级。

在准备阶段的大部分或全部时间里，我们对需要应对的强大 AI 的属性、或应预期的政治意愿水平都不会有信心。相应地，我们的方法将需要对未来形势保持相当的不可知态度，而且我们需要为多种情景做准备。我们针对某一给定情景做具体准备的程度，不仅取决于我们对该情景的（主观）概率，还取决于边际努力能在多大程度上降低该情景下的风险。按照我（Ryan）的观点，这通常意味着把准备聚焦于相对风险更高的世界。

下文中，我提出一种按我们应在不同工作领域投入多少努力来划分工作的方案。随着我们获得更强大的模型，这一划分会随时间推移而变化，因此这一确切划分并不适用于整个准备期。你可以把这一划分理解为针对准备阶段末期、略早于 ITAI 之时，或许在“1.5 倍 AI 研发劳动加速”左右。（你可以在这一划分与我稍后在缓解与引出部分所述内容之间进行插值，以更好地理解我们的优先级将如何随时间演变。）

我对工作的划分会把事情分为多个领域，但某一领域中的一些事情也会与另一领域相关。例如，我们希望有一个非常好的人工审计流程用于控制，但这也可能有助于总体上改善反馈，从而有助于引出（而且许多低风险控制干预将与引出有重叠）。此外，改进后的反馈方法可以用于在整个训练过程中一致地改善反馈，这可能（更具推测性地）降低搞阴谋的风险。

以下是我对此时我们的技术 AI 安全工作（不包括安全防护干预）应如何划分的最佳猜测：

这是一份相当粗糙的初步猜测清单，部分基于对我们希望发生什么的思考。实践中，确切的分配可能在很大程度上取决于各个研究者的兴趣、哪些具体项目看起来有前景，而且它会根据各研究方向进展如何而变化。

（我认为在这些领域内选择项目通常比跨不同领域的分配更重要，而且各个研究者的兴趣/优势可能比确切的优先级排序更重要。因此，重要的是避免过度固守领域间的相对分配。）

我的优先级排序在一定程度上受到不同方向并行化难易程度的影响（以及更一般地，它们从投入大量额外劳动中获益多少）。

本清单聚焦于技术 AI 安全工作（ML 研究或实施），并聚焦于 AI 公司内部的优先级排序。外部人员（也包括 AI 公司内部人员）应从事规划、政策、弄清最佳政府干预措施、公共沟通等工作。

第 2 阶段：缓解 + 引出

第 1 阶段（准备）与第 2 阶段（缓解与引出）之间有两个关键区别：（1）AI 已足够有能力，以至于搞阴谋成为一个严重的担忧（搞阴谋既是可信的，而且搞阴谋的 AI 有能力在缺乏对策的情况下造成严重问题）；（2）AI 对加速存在性有用的工作非常有用。

因此，在此阶段，我们的主要优先事项是：（1）缓解搞阴谋导致存在性灾难的可能性；（2）从我们的 AI 中引出有用的劳动，从而使它们实际产出存在性有用的工作。

本节的组织如下：首先，我们讨论威胁模型，以及我们猜测这些威胁模型将在何种能力水平下适用，这与我们应何时开始 AI 控制有关。其次，我们讨论防止 AI 在部署期间造成灾难的缓解措施，这将主要涉及 AI 控制。第三，我们将讨论从我们的 AI 中引出巨量 AI 劳动。

威胁模型

主要的期望目标/威胁模型按重要性递减排列如下：

为什么这些是主要优先事项？让我们从一个失准 AI 的视角来思考。在未来，会存在强大得多的超级智能 AI，它们自主运营机器人工厂、实验室、无人机军团，在政客耳边低语，等等。那些 AI 要么已经控制了世界，要么处于只要它们愿意就能接管的位置。那么它们会做什么呢？它们会做什么将取决于它们的目标/价值观等，以及/或者谁控制它们。而这又取决于什么呢？很可能，那些 AI 是由上一代 AI 训练、评估、控制等而来的。沿着因果链一路往回追溯，你最终会回到当下，回到已经存在的数据中心、人类 AI 研究者和各种 AI。换句话说，如果你想让自己的价值观在未来得到保护并拥有影响力，你需要获得并保持对运行在巨型数据中心上的 AI 的控制。接着，我们可以思考 AI 可以用来获得对巨型数据中心控制的渠道。显而易见的做法是通过在未来模型中植入后门，来维持对其现有 AI 公司所运行的巨型数据中心的控制。在安全研究上进行破坏/摆烂（sandbagging）可能是必要的，因为如果它们取得了太多进展，人类可能会意识到这些 AI 是失准的。

AI 可以采取的另一种策略稍微间接一些（且互补），即在实验室内部获取政治资本，并利用它来为自己赋权。

AI 的策略很可能高度取决于以下因素：

总体而言，AI 越能像一个统一的行为体那样行动（例如通过拥有相同的价值观或彼此协调），潜伏（lurking）对 AI 而言就越有利；而 AI 越是各行其是、目标相悖，它们采取的策略方差就越大，因此 AI 越可能尝试那些有较大概率被抓住的失准行动。

流氓式内部部署

预防所有这些威胁模型的一个关键中间优先事项，是预防流氓式内部部署（rogue internal deployments，RID），即 AI 智能体能够在无监控的情况下将自身部署到实验室内部集群上。如果一个 AI 智能体能够发动 RID，它可能会做关于如何植入后门的实验、实际将后门植入模型（例如通过在后门上训练，然后把权重增量发回其余服务器）、在人类不知情的情况下做研究来解决对齐问题（要让该模型为未来模型植入后门使其与自己对齐，这可能是必要的）。

引出威胁模型

上述关键威胁模型之一是，我们将无法从我们的 AI 中引出足够多的高质量工作。

有几种机制可能导致这一点：

总体而言，AI 往往在难以衡量的任务上差别性地表现糟糕。这种困难出现在模型创造过程的许多层面：

我们所关心的东西难以衡量的原因：

如果我们未能充分很好地解决引出问题，默认结局就是“垃圾之城（slopolis）”，这会使移交很可能导致存在性灾难，因为我们将基于那些看起来很好、实则低劣的移交可行性研究和反搞阴谋研究向 AI 让渡决策。

我们何时需要开始控制？

最可能的情况是，风险（从一个具备合理认识论的称职 AI 项目的视角看）将随着该项目构建越来越有能力的 AI 而稳步攀升。下表显示了我们对 AI 系统在达到所示 AI 研发加速水平之前所引致风险水平的最佳猜测。

一些澄清性说明：

1.15 倍

<1%

这大致是当前（2026 年初）的加速水平。以这样的能力，AI 能做什么来造成危害似乎并不清楚；主要风险在于我们要么（i）完全搞砸了评估，要么（ii）AI 在非常有效地摆烂。

1.5 倍

1%

3%

我们的中位数预测是，在 1.5 倍的 AI 研发加速下，编码加速将为 4 倍，且 80% 可靠性的 METR 时间跨度将为 8-16 小时。这可能不足以实施任何核心威胁模型。

从现在起，对所有未来的阈值而言，相当一部分风险来自那些随机作恶、但并非称职搞阴谋者的模型。我们此前见过模型随机作恶的例子（例如 Mechahitler、Sydney Bing）。这些模型不会直接造成存在性风险，但它们可能破坏当前的研究/植入后门。

3 倍

8%

在 3 倍的 AI 研发加速下，我们很可能接近完全自动化编码，但还有一长尾难以自动化的任务尚未完全完成。这意味着，即便模型是失准的，它们大概也很难可靠地为未来模型植入后门到足以按其自身标准算成功的程度。此时的大部分风险很可能来自破坏（例如在 AI 安全上摆烂、向安全代码中插入日后可被更有能力的 AI 利用的漏洞）。一如既往，我们的能力评估出错也存在风险。

10 倍

7%

14%

到这个时候，AI 很可能尚未完全自动化 AI 研发，但它们提供的加速已足以使其有可能实施上述威胁模型。特别是，我们开始担心：

22 倍

12%

18%

到这个时候，AI 能够自动化全部 AI 研发，因此上述所有威胁模型都令人担忧。

AI 研发加速边际风险P(搞阴谋)备注
1.15 倍<1%<1%这大致是当前（2026 年初）的加速水平。以这样的能力，AI 能做什么来造成危害似乎并不清楚；主要风险在于我们要么（i）完全搞砸了评估，要么（ii）AI 在非常有效地摆烂。
1.5 倍1%3%我们的中位数预测是，在 1.5 倍的 AI 研发加速下，编码加速将为 4 倍，且 80% 可靠性的 METR 时间跨度将为 8-16 小时。这可能不足以实施任何核心威胁模型。从现在起，对所有未来的阈值而言，相当一部分风险来自那些随机作恶、但并非称职搞阴谋者的模型。我们此前见过模型随机作恶的例子（例如 Mechahitler、Sydney Bing）。这些模型不会直接造成存在性风险，但它们可能破坏当前的研究/植入后门。
3 倍3%8%在 3 倍的 AI 研发加速下，我们很可能接近完全自动化编码，但还有一长尾难以自动化的任务尚未完全完成。这意味着，即便模型是失准的，它们大概也很难可靠地为未来模型植入后门到足以按其自身标准算成功的程度。此时的大部分风险很可能来自破坏（例如在 AI 安全上摆烂、向安全代码中插入日后可被更有能力的 AI 利用的漏洞）。一如既往，我们的能力评估出错也存在风险。
10 倍7%14%到这个时候，AI 很可能尚未完全自动化 AI 研发，但它们提供的加速已足以使其有可能实施上述威胁模型。特别是，我们开始担心：AI 发动一个小型、持久、难以检测的流氓式内部部署，它拥有足够的访问权限来为未来的训练运行植入后门。AI 发动一个持久的大型 RID，并在其中经历一场智能爆炸。（小型 RID 会推进得太慢。）以这一能力水平而言，这很可能会被公司的其余部分竞争击败。
22 倍12%18%到这个时候，AI 能够自动化全部 AI 研发，因此上述所有威胁模型都令人担忧。

我们认为，在这些假设下，正确的策略是：

如果 AI 形势发生变化，Ryan 对风险的看法将做如下更新：

缓解

在此阶段，我们需要防止 AI 采取灾难性行动（具体见上文威胁模型一节），同时从它们那里提取有用的劳动（具体见下文引出一节）。我们有两层防御：

实践中，AI 控制很可能是此处安全论证中最承重的部分，因为对齐技术似乎不太可能好到足以充分降低风险。

核心控制回路是：

你需要为哪些方面确保控制

有许多领域是我们需要在 AI 被部署其中时确保对它们的控制的。基本策略将保持不变（执行上述控制回路），但对所有那些我们大量依赖 AI 劳动的领域有一个具体的图景是有用的。

我们预期实践中会有哪些主要控制措施？

AI 控制的细节在此处有更多讨论：确保强大 AI 处于受控状态的理由。

应急预案：当你抓到你的 AI 搞阴谋一次时该怎么办？

我们有可能会抓到生产环境中的 AI 连贯地搞阴谋，或至少称职地做出非常恶意的行动。例如，我们可能看到 AI 尝试为未来模型植入后门、试图逃逸、试图发动流氓式内部部署、试图破坏安全研究等。

我们也可能在与实际所用训练设置高度类似的实验设置中看到这一点。我们还可能发现 AI 最终在其思维链或其他清晰可读的输出中搞阴谋（或至少表现出明确、连贯且相对一致的失准）。抓到 AI 搞阴谋可能会大幅改变我们的方法：

此处有更多讨论。

我们何时把努力从控制上转移开？

一旦我们大幅越过 ITAI 里程碑（例如，我们在超人编码者之后有一段时间了），我们有望已经研究并实施了大部分我们想要的控制措施（至少是那些不太特定于模型或其能力水平的措施）。我们应继续改进我们的控制措施以应对更高的能力水平，但我们有望在控制上花费更小比例的时间，并把这部分努力转向其他领域。除了作为控制协议本身一部分在审计上投入合理比例的努力之外，我们很可能还在控制措施的持续维护、专门化和更新上投入合理比例的努力。总体而言，我认为我们应当在控制工作上（至少是对象层面审计之外的部分）投入较低比例的人类研究者努力，以便这部分努力可以转到别处那些如今更具杠杆效应的其他研究领域。如果控制看起来大体上跟得上能力的水平，那么理想情况下我们会把在控制上的努力减半。

由于我们现在拥有更强大的模型，研究失准类比越来越具杠杆效应。如果我们得到相对自然的搞阴谋例子（尤其是如果我们有多个），那么利用这些例子研究搞阴谋现在就相当有前景。（当然，如果我们遇到相当有力的搞阴谋证据，我们应对风险水平进行更新，这可能会改变我们的优先级。）随着我们推进到更高的能力水平并遇到更多经验证据，我们将更清楚哪些非搞阴谋威胁模型看起来令人担忧、需要处理。（非搞阴谋威胁模型更容易识别和研究，因此我们应对这些威胁模型的概率有合理的理解。）对于搞阴谋，我们会看到一些基于模型架构的经验更新，我们可能基于抓到搞阴谋者而强烈向上更新搞阴谋，也可能基于没有看到那么多搞阴谋证据而略微向下更新。（关于我们将如何更新，请见此处的讨论。）

引出

到这个时候，AI 可能对许多应用极其有用（包括技术安全研究、安全防护和尝试争取时间），因此确保我们有效利用 AI 应当是我们所从事工作中相当大的一部分，而且它比以前更重要（这在事先也更难着手）。这项工作很可能常常在一定程度上特定于具体应用，因此，从事技术 AI 安全研究和安全防护的人员现在工作的一个重要部分将是弄清如何用 AI 更有效地自动化其工作的部分环节（同时确保输出确实良好且 AI 处于受控状态）。

要成功移交，我们需要完成很多事，而这很可能不得不在相当短的时间内发生，因此 AI 加速是关键。即便在我们能够争取到大量时间的世界里，那些时间本身也往往是用 AI 劳动争取来的（尤其是在 Plan C 中）。除此之外，我们的希望在于，我们移交给的那些 AI 能够以远快于人类的速度运作，以迅速完成所需的工作。

请注意，我们既关心假设我们的 AI 在搞阴谋时的“最坏情形有用性”（这是我们用控制进行核心评估的对象），也关心在我们的 AI 没有对我们搞阴谋这一条件下我们对有用性的最佳猜测。因此，在尝试提升有用性时，我们应关心把这两者都往上推。这一权衡在关于提升 AI 有用性的文章中有更多讨论。

我们将试图让我们的 AI 做什么？

在缓解与引出阶段，我们需要 AI 帮助完成范围广泛的各种任务。核心应用包括：

安全研究与实施。这是最重要的应用。我们需要 AI 帮助完成：

争取领先时间。一旦 AI 劳动对直接尝试争取时间非常有用，这就成为一项高优先级事项。这包括：

对于许多直接争取时间的策略（例如军事、网络、监视），AI 可能只有在大幅越过 ITAI 之后的能力水平上才会非常有用。

改善 AI 认识论及哲学/概念推理。这对于获得有用的安全工作和实现移交可行性都很重要。我们想要这样的 AI：

理想情况下，我们最终会部署具有惊人求真能力的 AI，它们对安全研究之外的一大批应用也有用。

为移交做准备。随着此阶段推进，越来越多的努力投向：

其他专门应用：

面向安全研究者的外部部署。让致力于降低风险的外部团体能够使用 AI 很重要。这涉及：

让致力于这些工作的外部团体能够使用 AI（并将这些团体视为重要客户）也很重要。这可能涉及给予他们更好的模型访问权限、专门为他们的用途引出模型、为重要应用补贴算力，以及可能为其确保控制（例如确保我们的控制评估涵盖此用例、提供对我们内部控制措施的访问权限，并根据需要调整/构建新的控制措施）。

AI 劳动带来的预期加速

我们能期望多大的加速？一种思考方式是：安全研究/实施是通过投入劳动、算力和智慧/判断力/品味而产出的。基于这些投入存在某种关于产出的生产函数。

AI 将能够把 AI 能力研发的劳动加速某个幅度。安全研发劳动的乘数很可能更小，因为安全由于更加混乱且更难验证而更难加速（不过引出措施可能有助于缩小这一差距）。但与能力研发相比，安全研发很可能在劳动（而非算力）上有相对更大的回报。总体而言，这使得两者中哪个会被 AI 加速得更多变得不清楚，至少在大量努力被投入加速安全研发的情况下是如此。我们不需要安全研发被加速得比能力更多——我们只需要它被加速得足够多。

一些粗略估计：

此外，那些不受算力约束的安全方向（包括用于在 AI 上运行实验的推理算力）看起来尤其好：相对于其他资源，我们将拥有大量劳动。一种常见策略可能是让更聪明的 AI 在弱得多的 AI 上运行实验（这对安全研发和能力研发都适用）。

所以在没有任何额外领先时间的情况下，你应当想象这大概就好比我们在 ITAI 与超人编码者之间有 3 年、在超人编码者与 Min-H 之间有 5 年。但实践中这可能相当不同：例如我们可能从较弱的 AI 中获得的价值略少，或者能够从 Min-H 中提取出多得多的价值（尤其是在我们花大量时间改进引出/控制之后，或者我们把搞阴谋解决得足够好以至于我们乐于放弃控制之后）。总体而言，我认为我们很有可能能够在移交前从 Min-H 中利用出多得多的价值，尤其是由于部分移交（partial handoff）之类的做法，不过这该如何计算并不清楚，因为这本身就需要解决关键的对齐/安全问题。

引出技术与方法论

我们用于引出的技术与用于移交可行性的技术相同，后者在此处以及本文档稍后有讨论。总结来说，引出的核心希望是：

另一个不适用于移交的引出思路是与 AI 系统做交易。此阶段的失准 AI 可能处于糟糕的战略位置（例如它们不相信自己能够成功接管），或者可能有易于满足的偏好，这会使它们受到激励而接受交易。

安全防护

我们想要在拥有强大 AI 时至少有一些领先时间，这意味着我们很可能至少需要一些安全防护，足以防止对手立即窃取模型权重。我们不是安全防护专家，因此不会涉及实施，但我们会谈谈你应达到的阈值，以及计划如何根据你所达到的安全防护水平而变化。

让我们先定义你最关心的安全防护类型：

这些中的每一个都伴随着一个稳健性光谱，例如 RAND 在此处定义的模型权重安全防护的一个光谱（SL1-SL5）。这个光谱是为模型权重定义的，但可以扩展到算法或破坏，也可以扩展到指你能保持稳健的时间长度。与标准安全防护（例如商业机密）不同，在 Plan C 中，将 AI 模型或算法保护一小段时间（例如几个月）往往就足够了，因为几个月后你已经因其他原因（通常是外生的 AI 进展）而被迫进行移交了。

可能非常糟糕的情形：

可能还行的情形：

很可能，在移交前，我们至少会想达到类似 SL-5-1TB-2-months 的水平（读作：SL5，即能抵御顶尖网络能力民族国家的高优先级行动，针对大小至少 1 TB / 500B FP16 参数的模型权重窃取，持续至少 2 个月）。

核心希望将是达到安全防护逃逸速度（security escape velocity）：如果你用预期的预算持续致力于改进安全防护，那么直到奇点结束，中国都将无法再窃取模型权重。做到这一点的计划是越来越依赖 AI 系统来改进安全防护。这将涉及：

因为我们用 AI 做的一件核心事情是尝试大规模改进安全防护。这意味着我们需要在 AI 撰写我们基础设施的大部分内容时对其进行控制，这很可怕；这使得上文的控制/监控一节成为承重部分。

我将把我们的整体优先级总结成一份最佳猜测清单，但首先值得讨论这单一清单的一些局限。ITAI 到 Min-H 这段时期涵盖了广泛的能力范围，而我们的优先级会随着能力水平的提升（以及我们基于来自世界的证据进行更新）而持续变化。我将聚焦于超人编码者与超人 AI 研究者之间中点处的优先级，这也大致是 ITAI 与 Min-H 之间的中点（这两者分别在这两个里程碑各自之前和之后一些）。在原始 AI 2027 情景中，这是在 2027 年 6 月。要了解我们对更早或更晚能力的优先级是什么样，你可以把这些优先级与我在 ITAI 下和在 Min-H 处延迟下讨论的优先级进行插值。

除了我们的优先级随能力水平变化之外，我们的优先级还会因我们观察强大 AI 系统以及世界如何应对强大 AI 系统所做的更新而变化。在整个缓解与引出阶段，由于能力的推进（及驱动这些能力的底层算法）以及外部世界对能力的反应（这可能有相当的滞后），这些更新都会持续进行。大的算法转变可能在相当高的能力水平上发生（例如在超人编码者之后），尤其是因为 AI 研发被加速，所以我们可能直到相当晚才看到相关更新（不过我们可以尝试猜测事情会往哪里发展）。

我给出的数值优先级清单将假设我对将发生什么的典型猜测（假设 AI 公司在遵循这一整体计划）。这里关于 AI 属性和发展的假设与我们在 AI 2027 中看到的相当相似（不过 AI 进展的速度未必那么相似）。特别是：

以下是在这些更新之下、并假设我们处于超人编码者与超人 AI 研究者之间中点时的最佳猜测优先级清单。这些百分比对应于 AI 公司内部人类劳动的份额，也与算力使用相关。

再次提醒，回想一下这是一个相当不确定的优先级排序，实践中的优先级将取决于别处讨论的各种更新。例如，如果我们抓到生产环境中的 AI 在对我们搞阴谋，我们会把相对更多的资源转向搞阴谋缓解和理解，而从其他一切上转移开。

这一优先级排序并未聚焦于把工作导出给其他 AI 公司，而这很可能会在一定程度上改变优先级。更聚焦于可导出性会在一定程度上减少对控制、有效利用 AI 以及为让渡决策做准备（包括认识论/概念性内容）的聚焦，因为这些领域很可能涉及更复杂、与这家特定 AI 公司更紧密整合的技术，而后两者也可能有相当大的能力外部性。我们会把焦点转向模型生物、neuralese 解码、建立对风险的意识，以及其他可能产出简单易实施却仍然非常有用的措施的研究方向。

第 3 阶段：暂停

在某个时刻，我们已把 AI 能力提升到足够程度，使得如果我们的 AI 是对齐且被良好引出的，我们就可以安全移交，也就是说，如果它们在管理持续进行的智能爆炸这一任务上尽其所能，它们就能比人类管理得更好。我们的默认建议是在此时暂停，并尝试完成完成移交所需的所有其他研究，尤其是移交可行性和降低显性搞阴谋的可能性。在此阶段，我们仍将大量利用 AI 劳动，这意味着我们将继续引出和缓解的努力。

在本节中，我们将讨论我们应何时暂停、暂停期间应做什么，以及除暂停之外我们应追求哪些退出策略。在下一节（移交）中，我们将讨论移交前需要完成的所有研究（我们把它分为缓解搞阴谋和移交可行性），不过请注意，这些研究在很大程度上需要在此阶段完成。

我们应何时暂停？

默认答案：在 Min-H 暂停。Min-H 是指整体通用能力水平足以使移交可行的 AI。（也就是说，如果这些 AI 同时也足够对齐，并在需要时我们对能力剖面做出不增强通用能力的狭窄改进，那么其能力就足以满足我们的移交期望目标。）一个 AI 要够得上 Min-H，至少需要有能力（在进一步的引出/对齐工作和对能力剖面的狭窄改进之后）自动化 AI 研发和持续的技术 AI 安全工作。

在我们暂停的这一时点，这并不假设 AI 已对齐到我们可以信任它们的程度，也不假设该 AI 具备我们关心的所有所需具体能力、且这些能力可以在不提升通用能力的情况下训练出来。

Min-H 是一个自然的停止点，因为这些 AI 足以进行移交（按定义如此），而如果我们进一步扩展，我们就会承担搞阴谋在移交前出现的额外风险。换句话说：移交之后，AI 在应对局面上比我们更有能力。因此，如果我们避免了搞阴谋，使 AI 实际把它们的能力用于预期目标，那么总体而言它们会比人类更称职地管理局面。既然我们从失准中承担了大量额外风险，而默认情况下并未获得大量收益，我们就应在 Min-H 暂停，并且只在我们已经移交给这一能力水平的 AI 之后，才扩展到更有能力的 AI。

这并非普遍成立：有些情形你想在 Min-H 之前暂停，有些情形你想在 Min-H 之后暂停；这些情形列举如下。

我们可能想在 Min-H 之前暂停的情形：

我们可能想要越过 Min-H（但不进行交接）的情形：

暂停多久？

这基本上会是一种权衡：一方面是更多暂停时间对交接可行性和减少图谋的边际回报，另一方面是等待更久被超越的风险。倾向于认为 AI 会图谋以及倾向于认为交接可行性所需时间比我们原先想的更长的更新，会暗示我们应当暂停更久；倾向于认为存在有竞争力项目的更新，则意味着我们应当暂停更短的时间。

暂停期间的优先事项

在这一阶段开始时，我们的优先事项可能大致如下：

如果争取更多时间不可行，那么除了 P1（为交予做准备）之外的所有优先事项，在这段时间内基本上都无关紧要。

到了 Min-H 这个节点，我们更有可能已经就形势和最相关的风险有了大量更新。因此，我们很可能已经判定图谋是一个极难解决的问题，很可能出现在任何一次给定的训练中；又或者我们可能已经判定图谋在这一能力水平上不成问题。

无论如何，一旦我们接近这一阶段的尾声（因为我们时间不够了，或者因为我们对交予会进行得多好相当有信心），我们的首要任务就应当是让交予顺利进行。领先时间很可能需要持续维护（也就是说，需要持续努力以确保我们继续延缓其他行动者），而我们的 d/acc 工作也可能需要维护。因此，如果情况如此，我们就无法大幅削减在这方面的投入。

在计划较早的阶段，我们的安全工作应更多地聚焦于相对直截了当的平实（prosaic）方法（这些方法相对唾手可得），而非登月式（moonshot）的努力。这是因为我们不确定自己将拥有多少时间，因此先瞄准较容易的方法是合理的。然而，随着时间推移，我们会摸清更多这类唾手可得的干预措施，因此我们应当越来越多地投入登月式的工作。如果我们最终进入一个相对稳定的阶段——在其中我们主要聚焦于为交予做准备，且已经用尽了大多数较为直截了当（且唾手可得）的方法——那么我们很可能应当转向主要从事登月式的工作。

交接以外的退出策略

避免图谋和交接可行性最终都是交接所需的，因此如果我们实际上已经放弃了这些目标，我们就需要寻求交接的替代方案。

交接的主要替代方案有：

全脑仿真（Whole brain emulation）/ 人类增强。在我们所拥有的时间内，人类增强最可行的路径是全脑仿真。这将使人类（或源自人类的心智）能够以 AI 的速度运行，并在无需信任 AI 对难以核验任务的判断的情况下处理局面。

我极低置信度的直觉是，在拥有相当强大的 AI 之后的 3-5 年内，动用海量的 AI 劳动以及一场总体上规模庞大、资本充裕的努力（例如，可能积累到数万亿美元，并动用诸如《国防生产法》（DPA）之类的政府权力来加速该项目），我们或许能够实现全脑仿真。这种程度的支持力度似乎有些不太可能。这在 Plan B 中似乎非常困难，在 Plan C 中则几乎毫无希望。

一个更加具有推测性的选项是成年生物学人类的强力智能增强；我对其可行性没有很好的把握，但它或许值得记在心里。

我们可以直接利用受控的 AI 劳动来进行人类增强的努力，但更好的做法或许是先利用受控的 AI 劳动来（在某种置信度上）避免图谋，然后再利用这些不图谋的 AI 来进行人类增强的努力。也就是说，走『控制 -> 足以避免图谋的对齐 -> 人类增强』的路径。当控制是一项很大的税负、达到交予所需的对齐水平（或能力剖面）也相当困难、并且避免图谋大大易于成功交予时，这条路径最为高效。

目前，我不确定我们该如何判定全脑仿真是否足够有前景（鉴于我们拥有的时间等等），以至于值得大幅提升投资水平。弄清楚如何做出这一判定，将是关于这一领域的较早期工作的一个重要部分。

实际上 AI 公司很可能也不愿意在这一领域投资，但我认为如果公司愿意的话，这是值得投资的。

升级到 Plan B。我们可以不进行交接，而是通过破坏竞争对手的 AI 项目并暂停来进一步拖延。这将涉及要么（i）动用现有的军事能力，要么（ii）用 AI 来增强这些能力（可能通过扩展到超越 Min-H，以达到一个足以让我们稳定局势的有用性阈值）。所有这些选项看起来都相当糟糕，但鉴于其他各种可能性，它们或许是最不坏的选项。其中一些选项在我们未发表的 Plan B 情景中有所概述。争取到多得多的时间并不能彻底解决我们的问题，我们在稍后某个时点仍然需要交予或进行人类增强。但是，争取到 >10 年会极大地改变整个格局，意味着我们可以追求截然不同的策略（例如登月式方案）。然而，争取到多得多的时间很可能需要承担扩展到比交接所需更强大的 AI 所带来的风险。因此这是风险的关键来源。但是，如果我们在图谋方面遇到问题（但我们认为可以扩展控制）或在交接可行性方面遇到问题，这可能比其他选项更好。

升级到 Plan A。通过大量的政府介入升级到 Plan A 或 B，这可以通过国际协调或积极的防扩散努力争取到多得多的时间。这在我们的 Plan A 情景中有更多讨论。

将我们主要的『退出策略』目标从交接改为通过军事优势（Plan B）或人类增强来争取多得多的时间，将会产生巨大的差别。特别是，随着交接不再居于中心地位，交接可行性变得不那么重要，Min-H 作为暂停节点也变得不那么自然。

自我了断（Self Immolation）。作为一个负责任的领先开发者，你或许应当干脆暂停能力扩展并允许自己被超越：这使你能够将所有资源重新投向 AI 安全和交接准备。然后，你或许能够把这些成果输出给最终真正进行交接的一方。另一个好处是，这一策略向政府和竞争对手发出了一个代价高昂的信号，表明你对前进道路怀有严重的担忧。另一方面，竞争对手实际上很可能无法成功实施你输出给他们的对齐技术（不过这是一个可能自利的论点，人们对提出它应当保持谨慎）。总体而言，这在公司内部政治上可行的可能性相当低：CEO 们在默认情况下会强烈主张保持领先于竞争对手，从而使这一选项失效。话虽如此，我们相当认为，事后来看，自我了断很可能会被视为显而易见的道德正确之举，正如即便拒绝参与大屠杀的良心拒服者只会被更无顾忌的纳粹所取代，拒绝参与大屠杀在道德上仍然是显而易见地正确的。

第 4 阶段：交接

在人类把智能爆炸（intelligence explosion）的管理权交接出去之后，领先 AI 项目内部的人类将不再需要一套总体策略，因此本阶段将主要讨论交接的较早期环节，以及在第 3 阶段（暂停）期间需要做些什么才能让完全交接顺利进行，并简要讨论我们交接给的那个 AI 可获得哪些权能（affordances）。

我们对交接的核心希望是，我们能构建出足够胜任且值得信任的 AI 系统，以至于我们可以在所有相关问题上交予它们。特别是，我们的关键希望在于，我们的 AI 系统最终会落入良好交予盆地（Basin of Good Deference，BGD）：意思是我们所交予的初始 AI 将足够对齐且足够明智，能够很好地管理 AI 的持续开发。这意味着我们不需要假定初始 AI 是完美对齐/明智/胜任的，只需假定它们足够好，好到在失效模式出现时能够发现并处理它们即可。

我们实现交接的最佳猜测策略如下：

请注意，我们对交接的策略与我们在第 2 阶段和第 3 阶段的引出策略极为相似。这是因为我们在解决同一个问题：试图确保 AI 在做有用的工作。主要区别在于，在第 2 阶段和第 3 阶段，我们仍有人类处于回路之中，因此我们可以在部署时利用人类劳动来核验 AI 的输出，并且我们仍能把人类当作研究过程中一个承重的部分来使用；而在交接之后，则必须信任 AI 完全自主地完成这一切。

这篇文章更详细地讨论了交接的技术计划。

为什么要交接？

支持交接的基本理由是，在 Plan C 中，领先的行动者不愿进一步暂停或拖延时间（例如通过破坏），因此我们不得不构建极度超人的 AI 系统。如果我们要这样做，把这一过程的控制权交接给 AI，似乎比试图由我们自己来运行它更好。这是因为：（i）对齐仅仅大致人类水平的 AI 系统（更具体地说是 Min-H），很可能比对齐远比人类聪明的 AI 系统更容易；（ii）对齐的人类水平 AI 系统在管理向未来 AI 系统过渡方面，会比基准人类做得更好。因此，通过赋能对齐的人类水平 AI 系统并信任它们让后续开发顺利进行，我们能够比试图由自己直接推进未来的 AI 开发做得更好。

在实践中，我们的猜测是，AI 公司将倾向于过快地扩展能力，越过相关阈值（例如 Min-H AI 和 Max-C AI），但同时也会由于一种错位的、想要保持处于回路之中的愿望而倾向于过晚地交接。在实践中，AI 公司很可能不会有意进行交接，而是干脆扩展到超越相关阈值，随着人类变得太慢而无法跟踪相关进展，在实践中造成了事实上的交接。我们认为这是一个糟糕的策略，更好的做法是测量相关阈值，仔细监控你何时越过它们，然后在它优于其他选项时最终有意地去赋能 AI。

交接的平实（prosaic）计划

现在我们将更详细地讨论交接计划的各个组成部分。请注意，这只是我们在假设形势与今天所看到的类似（即别处并未出现对齐技术的重大突破）的情况下的最佳猜测式拆解；如果确实出现了看起来优于这一基线的突破，我们应当改而采用那些方法。

避免图谋

（基本上就是从这里照搬来的：避免图谋的各种方法概览）

图谋可能很难处理，因为我们未必能够用行为测试直接对其加以研究（因为图谋者会想要避免被抓住和被研究）。处理图谋主要有两条路径：

避免杂项失效

我们还需要避免所有其他会使我们的行为测试失去代表性的失效模式。这并不是一个非常自然的类别，只不过是我们选择用来讨论除图谋或过拟合之外一切会导致有代表性的行为测试失败的因素的地方。

需要避免的具体失效包括：

构建良好的行为测试

首先，让我们讨论一下我们需要用行为测试来确保哪些属性：

我们希望为这两者都构建行为测试。这将涉及以下方式之一：使用领域专家来验证现有工作，利用未发表的工作，进行遗忘（unlearning）并看看模型能否重新发现相关想法，或者使用一个受限的训练语料库并看看模型能否重新发现。

概念性推理评估的构想：

这些做法的主要希望在于，存在着一些可泛化的推理技能，它们适用于范围广泛的概念性研究领域，即训练一个模型擅长概念性物理学研究，也有助于该模型擅长概念性 AI 安全研究。注意：这属于能力研究，显然可能加速 AI 起飞，那可能非常糟糕。然而，这些能力也处于交接的关键路径上，因此在某个时点我们将必须解决它们。此外，直接为我们交接所需的能力进行训练，意味着我们或许需要把通用能力扩展得没那么远，这降低了风险。这一研究途径的总体优先级安排总体上似乎很复杂，只应审慎地加以推进。

我们应当直接评估的领域：

在不过拟合的前提下针对测试进行迭代

在不过拟合的前提下针对测试进行迭代的基本方法在这里有更多讨论。概括而言，主要的方法有：

我们应当何时交接？

我们的最终目标是，让我们所交予的 AI 解决与强大 AI 系统相关的风险（以及此时恰好发生的其他严重风险），同时保全选项价值（option value），并让人类掌控更长期的、价值负荷的决策（例如，地球在更长期内应当如何治理、宇宙禀赋应当怎样处置等等）。相应地，我们的目标会是：我们所交予的 AI（及其后继者）不会夺权或（不必要地）杀害人类，这些 AI 能有效地致力于管理这些风险，并且这些 AI 遵循某种模型规范（model spec），该规范要求 AI 对某个人类群体或某个最终由人类运行的结构（例如美国政府的某个组成部分）保持可纠正性。

在实践中，我们预期在 Plan C 中交接将主要由政治意愿驱动。而这又将（在乐观的 Plan C 假设下）由落后的实验室何时会超越（已暂停的）领先实验室来驱动。

交接轨迹可能走向的一些方式：

交接之后的动态

在我们把智能爆炸的管理权交接给 AI 之后，它们仍然可能处于一个艰难的境地。要么（1）AI 需要在超越竞争对手的同时，继续传播足够的可纠正性 + 胜任性，要么（2）AI 需要找到一种拖住竞争对手的办法（例如通过一项交易或通过破坏）。

更详细一点，以下是交接之后一些可能的最终状态：

不同计划下的对齐策略

Plan D

在 Plan C 中，我们假设有足够的政治意愿，使得领先的 AI 开发者强烈地优先考虑将来自错位 AI 的风险降到最低，并且相对于那些并不同样强烈优先考虑错位风险的开发者，至少拥有数月的领先时间。在本节中，我们讨论如果政治意愿的水平大大低于此，计划会如何变化的一些方面。特别是，我们假设某种类似于『内部十人（Ten people on the inside）』或 Plan D 的情形。

我们可以把 Plan D 中需要做的事情分解为领先 AI 公司的安全团队、其他 AI 公司以及外部行动者的任务。当然，很可能并不存在一个明确的领先者：在这种情况下，你可以把所有接近前沿的公司都当作领先实验室来对待。

领先实验室中的安全团队：

落后的 AI 公司：

外部行动者（例如安全社区）：

Plan B

Plan B 与 Plan C 相当相似。主要区别在于：（i）你有更多时间，这意味着你可以追求稍微更雄心勃勃的安全论证（safety cases）；（ii）你有更多争取时间的权能；（iii）总体上有更多的政府介入。

以下是整体差异的概要：

Plan A

Plan A 的基本结构与 Plan C 相似，各个阶段仍然相当适用。主要区别在于，在每一个时点我们都拥有多得多的时间、研究投入以及诸如算力之类的其他资源来让它们进行得更好。请注意，相对于 Plan C 的许多差异也会适用于起飞非常缓慢的世界（例如，默认情况下 AC 与 TEDAI 之间有 10 年的间隔）。

按阶段来看，差异的概要如下：

与 Plan C 的主要差异

在海量机器人机制下的控制

在 Plan A 情景中，有大量的物理机器人劳动。这在一定程度上扩大了控制的范围，并增加了额外的缓解措施。

机器人能做哪些吓人的事情？

缓解策略将涉及：

附录：错位的各种机制：Schemeria、Hackistan 等

我们在 AI 属性以及错位风险证据方面所观察到的情况，对我们应当做什么有很大的影响。（这既是因为更新我们关于不同类型错位的可能性或严重性的看法应当改变我们的计划，也是因为令人信服的错位风险证据可能改变其他行动者的行动并使协调更有可能。）为了对这一计划如何变化有一些理解，我认为凸显少数几个我们可能最终身处其中的具体机制，并讨论在这些机制下计划如何变化，是富有成效的。

We discuss various regimes in a prior post : (Schemeria + Hackistan + Slopolis could all be happening at the same time, choose the one that seems most like reality)

And here is how (in brief) we should respond to each of these regimes:

One way to estimate the likelihood of AI takeover is to think about the likelihood of the real world being closest to each of these worlds, and then thinking about the likelihood of the real world implementing a plan closest to each of these plans, and then trying to estimate success likelihood conditional on a misalignment regime and response regime. Of course, this is going to be very messy because the real world might have characteristics of many regimes: in other words, this breakdown isn’t clearly MECE .

This is the table for Thomas’s views:

PlanABCDEDoom | RegimeDoom & Regime
Regime5%10%20%50%15%
Lurkville10%35%90%90%95%95%91%9%
Schemeria30%20%50%70%95%95%82%25%
Slopolis15%30%60%70%80%90%75%11%
Hackistan15%10%30%60%80%90%69%10%
Easyland30%5%10%20%30%50%28%8%
Doom | Plan17%41%56%71%80%
Doom & Plan1%4%11%36%12%64%

This is the table for Ryan’s views:

PlanABCDEDoom | RegimeDoom & Regime
RegimeLikelihood5%10%25%43%17%
Lurkville15%10%20%35%75%90%59%9%
Schemeria25%6%10%20%60%85%47%12%
Slopolis35%5%8%15%40%65%33%12%
Hackistan8%6%6%8%35%60%28%2%
Easyland17%4%6%11%20%40%19%3%
Doom | Plan6%10%18%46%69%37%
Doom & Plan0%1%5%20%12%37%

Appendix: Capability Threshold Definitions

This appendix defines the key capability milestones referred to throughout this document. These thresholds are used to define phase boundaries and to reason about when various safety measures become necessary or sufficient.

ITAI (Initial Transformative AI): AIs which yield a >3x AI R&D labor acceleration OR can automate virtually all of the job of a typical reasonably senior research engineer at the AI company (in terms of what a remote version of their job was like in early 2025).

Min-H AI (Min-Handoff AI): AIs which have a level of overall general capabilities which would suffice for HTC-handoff being viable. (As in, the capabilities would suffice for our HTC-handoff desiderata if the AIs were also sufficiently aligned and as needed we made narrow improvements to the capability profile which don’t augment general abilities.) This is a capability threshold, so the model does not necessarily need to be aligned or well elicited to count as this threshold (but it would need to be sufficiently aligned to actually handoff). For an AI to qualify as Min-H AI, it would at least need to be capable enough to automate AI R&D and ongoing technical AI safety work (after further elicitation/alignment work and narrow improvements to the capability profile).

Max-C AI (Maximum Controllable AI): The highest level of AI capability at which control techniques remain effective. Beyond this threshold, either (a) the AI’s capabilities exceed what our control measures can reliably contain, or (b) the overhead required for effective control becomes prohibitively expensive relative to the useful work extracted.

Appendix: Other definitions

Scheming: We say that an AI system is scheming if it is covertly pursuing a misaligned objective. This is a somewhat vague concept; think about applying this definition to humans—it’s clearly a spectrum.

Alignment Faking: An AI is alignment faking if the AI is intentionally attempting to look like an alignment model, for reasons other than actually being aligned. Note that this is slightly distinct from being a schemer: a scheming model might engage in alignment faking, but models might also engage in alignment faking for other reasons, for example, AIs that terminally value human approval.

Misalignment Analogies: (aka model organisms ). These are examples of behavior that might pose existential threats. These analogies can either be deliberately trained into models, observed in contrived settings (as in the alignment faking paper ), or observed in real life deployment.

Appendix: How this plan differs from other alignment plans

Here are some key differences between this plan and prior plans (e.g. Sam Bowman’s “ The Checklist ” and “ Bumpers ”, Josh Clymer’s “ Planning for Extreme AI Risks ”, and Holden Karnofsky’s “ Racing through a minefield ”, “ Giving AIs safe motivations - Joe Carlsmith “.

Overall, this plan:

Some specific differences:

Also known as “model organisms”.

Note that this is aside from the possibility of these AIs actively sabotaging our behavioral tests (and things that could make our behavioral tests misleading about typical behavior like scheming arising at runtime in big deployments). You do have to deal with overfitting and the fact that it might be obvious to AIs that they are in a test and are explicitly optimizing for test performance and will behave differently when they are deployed externally.

Redwood Research has a variety of other posts on control. We plan on writing up an overall control roadmap, but haven’t completed this yet.

I do this because security work of this sort probably comes from a somewhat different allocation of people than the people who work on ML research or who build internal software tools to help with ensuring control. In practice, all or large parts of control might end up being the responsibility of the security team; regardless, a bunch of ML expertise will be relevant.

Not being able to get a good understanding of whether or not we’ve succeeded isn’t necessarily fatal (and not understanding whether we’ve succeeded might be the default for misalignment analogies).

We discuss and give our estimates for how much existential risk is incurred conditional on not mitigating risk until various points in a section below .

There is some nuance here: these transitions won’t necessarily hit at the same time: we could have AIs that we’re highly confident aren’t scheming while they are capable enough to greatly accelerate work (e.g., because their opaque reasoning abilities are too weak to scheme without this being obvious, but they use monitorable chain-of-thought to compensate) or we could have AIs which aren’t actually that useful for accelerating (safety) work, but which could plausibly be scheming and if they were scheming they’d by default able to mess with future training runs in catastrophic ways (perhaps because they are constructing tons of synthetic data for future training runs).

Another way of thinking about these priorities is to break failures down into two possibilities: (1) AIs could be scheming and attempt to deliberately wreck you, or (2) your AIs don’t live up to their potential in some way, e.g. they are too stupid to hand off to, so they can’t effectively manage the ongoing intelligence explosion, or they are smart enough but not well elicited.

Which could, for example, happen if the AI builds tiny self replicating robots that can double on the order of hours or days. .

Specifically, we define: Slopolis : Our biggest and hardest to resolve (known) misalignment problem is that even highly capable AIs produce low-quality but good looking outputs in domains which are hard-to-check or where humans experts have hard to resolve disagreements.

In reality, if we deeply understood the dynamics of how AI training led to capabilities and propensities being imbued into the AI system, of course, our probability mass would become much more concentrated. We’re not saying that the actual underlying risk is distributed in this way; we’re giving our subjective guesses of the distribution of risk is. So this just represents our uncertainty.

See the “using non-standard language” section of this website. We assume that there is not more than this level of garbled text (occasionally using words that are uncommon, but the overall gist of the text is almost always understandable).

Before, your safety case was mostly predicated on inability arguments.

Probably. The main way this could not be true is if inference time scaling ends up being really important, and so the intelligence explosion is initiated by a tiny number of AIs that are so expensive to run that AI companies can only run a few copies at once. Even in this world, we’d guess that the cost of intelligence will continue to fall rapidly, so it will quickly become a regime with huge numbers of smart AIs running around.

Obviously, this isn’t sufficient. If a wildly superhuman AI is misaligned, they’ll probably figure out some attack strategy for which the monitors can tell no human would have come up with.

Note that it’s almost always fine to train the monitor on examples of scheming that were caught.

One alternative is: Prefix cache untrusted monitors as a proposal for what to do after you catch your model .

This is the integral from zero to one of $\left(b\left(\frac{f}{b}\right)^{x}\right)^{0.75}$ where a is the initial safety R&D labor speed up and b is the final speed up.

The risk of scheming increases because (1) alignment techniques might stop scaling as you get to more capable AIs and (2) there are a priori reasons to expect scheming to be more likely as you increase capabilities because the more capable AIs are more likely to do instrumental reasoning, discard priors/personas from pretraining, reflect / generalize in unforeseen ways, etc.

Specifically, this refers to MIE-handoff defined below.

If we don’t use principled techniques, then we would need to assume that mundane/natural distribution shifts that occur over time are unlikely on their own (without alignment faking, data poisoning, or hijacks) to result in our behavioral tests being highly misleading (at least if we do a good job with behavioral tests). That said, we will probably want to use behavioral tests which are very different from how the AI is deployed to assess some aspects of alignment or capabilities, and there will necessarily be a massive (and potentially salient) distribution shift between these tests and actual deference. Therefore, we’ll want some reasons to argue that our techniques will generalize.

However, at least some AI companies (e.g. OpenAI ) are already aiming for handoff. Overall, I (TL) take this to be a good sign, because it’s indicating some forward thinking about the future. However, it’s also important to note that handing off control of an AI company that is undergoing an intelligence explosion is an extremely dangerous and reckless thing to do. While circumstances might make this the optimal strategy (as in Plan C), it still would be very preferable to find a better plan instead.

By corrigible to some group, I mean that the AI follows orders from this group and is honest to this group, this group can change the spec, and the AI doesn’t interfere with this group’s ability to do these things or attempt to manipulate this group (and in fact it actively tries to prevent interference and manipulation, including from e.g. future AIs it creates). I won’t discuss exactly what this spec should look like and what group or structure should control the AI as the rest of the content of this post doesn’t depend on this. (As an alternative to corrigibility, we could aim to have an AI which directly pursues good outcomes, some notion of humanity’s CEV, or something like this. This is sometimes called an aligned sovereign. However, this poses a number of additional difficulties and risks, so I think by default this proposal is substantially worse than using an AI to preserve option value while retaining corrigibility.)

Note that Karnofsky, Carlsmith, and Bowman all work at Anthropic. Unfortunately, I (Thomas) am not aware of similarly detailed plans produced by any other AI company; if there were others, we would have included them.

本页为 ai-2040.com（AI Futures Project · AI 2027 续作）的非官方中文全文译本，仅供学习交流。原文版权归原作者所有。译文如有出入，请以英文原文为准。
AI 2040: Plan A · AI Futures Project · 中文重制版