Plan A 中的安全

Romeo Dean、Thomas Larsen

安全是这样一个领域：在此领域中，专业知识和对机密信息的访问对于形成有见地的观点尤为重要。尽管如此，本篇补充材料仍以我们的最佳理解，就方案 A 中所需的安全给出一个高层次的概述，并说明我们为何认为它是可实现的。

我们认为，从我们的角度看，按难度递增来考虑三类安全是有益的：

• 模型权重安全：防御模型权重及其他大型数据集被窃取外泄。我们关心的指标：外泄带宽。即，攻击者在给定时间内能窃取多少？
• 我们关心的指标：外泄带宽。即，攻击者在给定时间内能窃取多少？
• 核查完整性安全：我们能否信任我们核查措施的结果？我们关心的指标：保证水平（核查补充材料中所解释的置信度—覆盖率曲线）。即，我们有多大信心相信未经核查的最大算力使用量小于 X%（X 取 0 到 100% 之间的值）。
• 我们关心的指标：保证水平（核查补充材料中所解释的置信度—覆盖率曲线）。即，我们有多大信心相信未经核查的最大算力使用量小于 X%（X 取 0 到 100% 之间的值）。
• 算法机密性：防御代码、算法机密以及任何其他不归为「大型数据集」的东西被窃取外泄。我们关心的指标：我们不确定。一方面，我们也可以用外泄带宽来考虑算法安全，但算法机密可能非常小，而且从数据大小到有用性的映射难以预测。因此，最好的方式或许是考虑被外泄并可被攻击者使用的算法效率所占的百分比。
• 我们关心的指标：我们不确定。一方面，我们也可以用外泄带宽来考虑算法安全，但算法机密可能非常小，而且从数据大小到有用性的映射难以预测。因此，最好的方式或许是考虑被外泄并可被攻击者使用的算法效率所占的百分比。

在本篇补充材料中，我们始终假设一个符合 RAND 定义的 OC5 级攻击者，因为在方案 A 中，美国和中国都会担心对方是潜在的攻击者。

方案 A 安全概要

在我们的情景中，我们假设：针对模型权重、以及用于检测核查篡改的 SL5 级安全，在付出极大努力的情况下是可行的；这是我们低信心的最佳猜测。它有可能最终被证明是不可能的，在那种情况下方案 A 就需要修改，我们在此处对此进行讨论。

方案 A 中所期望的安全水平如下：

模型权重安全

目标：我们认为，方案 A 中模型权重安全的目标要求：前沿模型权重（以及类似的大型重要数据集）不能被潜在对手和/或秘密项目窃取外泄并使用。

具体而言，我们认为目标应当是防御 5 年内约 100TB 的外泄。我们将其定义为：权重安全等级 5，针对 5 年内 100TB，简称 SL5-100TB-5y。我们不认为这会是轻而易举的事，但我们确实认为它高度可实现。

下图显示了我们预期方案 A 中前沿模型的规模（我们也预期其他数据集在量级上与之相近，因为在算力最优的扩张中，数据与参数应会持续相互权衡）。

方案 A 的实现

推理数据中心通过以下防御手段实现 SL-5 级模型权重安全：

• 它们被一道信息边界所环绕，即数据中心的墙体，其中包括一个铜箱（一个法拉第笼），阻止信号进出，只留一根进出数据中心的电缆，以及一个供其他需要跨越边界的东西使用的安全交换舱。
• 对于输出电缆（为了与外界通信，它必须存在），我们确保从那根线路出来的唯一信息是由白名单模型所产生的、经过核查的 token。你可以在我们的核查补充材料中读到更多内容。这也与此论文中的提案类似。
• 对于其他需要跨越边界的东西——电力进入、热量排出、人员进出——我们还有进一步的旁路信道缓解措施和总带宽封顶。

研发数据中心有两条有意设置的、允许信息离开数据中心的通道：(1) 将模型权重物理传送到推理数据中心，以及 (2) 供研究人员使用、并用于查询的完全透明输出通道。

• 将模型权重运送到推理数据中心。当一个模型获批公开部署时，一个包含权重文件以及任何获批推理代码（如控制脚手架）的软件包会被下载到设备上，由美国和中国（依次）加密，并由双方共同物理护送至推理集群。在推理集群处，它们被加入推理白名单，以便在公开部署时进行推理核查。
• 透明输出通道将离开数据中心的总带宽封顶在 1 MB/s，这意味着在 5 年期间，有 157 TB 离开数据中心。这足以让 5 万人以约每秒 10 个 token 的速度持续读取输出（这些输出可能对应着数千个无需输出的内部思维链/脚手架 token）。当前一个前沿模型的模型权重目前在 1T 参数量级（对应 1TB），因此通过这条通道外泄模型权重将需要在 5 年内持续劫持（完全透明的）输出通道的 0.6%（或者在更短时间内劫持更大的比例），而这极有可能被察觉。在方案 A 中，由于算力扩张优先于算法进展，我们预期前沿模型的模型权重将接近 100T 参数，因此一次完整外泄将需要在 5 年内持续占用 60% 的输出带宽（忽略可压缩性，它应该不是一个很大的因素）。数据中心内部还有针对模型权重外泄的额外防御层：值得注意的是，我们力图将模型权重保存在不透明的内部数据库中。

剩下的威胁模型涉及旁路信道攻击（例如工作人员携带小型闪存盘），对此我们没有巧妙的解决方案：对所有数据中心的访问都受到严格控制，而且资金充足、富有创意的安全团队不断对这些设施进行红队测试和加固。此外还有一个有利因素：方案 A 中的数据中心是在背景射频（RF）噪声较低的地区从零开始建造的，并且在建造时把安全放在首位。

最后，模型权重还需要在研发数据中心（模型在此训练）和推理数据中心之间定期运送。我们设想这可以通过如下方式进行：使用若干物理存储设备来运送模型权重，这些设备被锁定，并在整个运送过程中由美国和中国双方的代表持续监控。

核查完整性

目标：核查完整性的目标应当是实现一条理想的保证曲线：保证曲线刻画了关于覆盖率（核查方案对其做出声明的 AI 算力所占的百分比）和置信度（核查方案对其在所覆盖资源上所做声明为正确的概率）的信息。我们将保证曲线定义为一组相关的（覆盖率，置信度）取值。

例如，在中间那条曲线上，有 99.99% 的置信度认为 99.9% 的算力经核查确系被正确使用。当然，这类曲线是理论性的，将很难测量，但从概念上讲，我们认为用这条曲线来思考核查完整性目标是有益的。

我们认为，核查完整性目标应当把「核查完整性被破坏（即内部的流氓算力使用）所带来的风险」与「来自其他流氓算力使用来源（即秘密项目）的外部持续风险」相比较，并力求使可能的内部流氓算力使用相对于外部使用而言、在额外风险上可以忽略不计。由于内部流氓算力可能能够访问不透明的内部信息（前沿权重、数据集，以及取决于透明制度、可能还有一些受保护的算法/代码），它有可能比等量的外部秘密项目算力使用危险得多。对「危险多少」的一个良好近似，或许是考虑研发数据中心内部与潜在秘密项目之间可用算法效率的差距。

具体而言，我们认为我们应当取类似于秘密项目有效算力的第 90 百分位估计（以前沿项目当前的软件水平来衡量，从而将其缩放到与内部算力使用可比），然后设定核查完整性目标，使得我们有 90% 的信心相信内部算力使用的覆盖率达到 X 这一水平（例如 X=内部算力的 99.999%），从而使潜在的流氓内部算力 (1−X) 比秘密项目的有效算力小 10 倍。这基本上就相当于说：「我们有 90% 的信心相信，流氓内部部署大约相当于一个比我们所认为可能存在的秘密项目小 10 倍的秘密项目。」

研发数据中心和推理数据中心中的核查都需要得到美国和中国的相互信任，以便双方都确信只有经批准的训练运行、实验和推理工作负载在运行。在我们的具体提案中，推理核查和研发核查主要都依赖网络分接（network taps）来收集证据，并依赖受信任的重算服务器来进行核查。为了对这一核查方案有持久的信任，这些设备应当是相互信任的（或者，也可以采用受信任的光分路器和单方受信任的设备）。此外还需要物理安全来检查这些设备未被篡改或修改，并需要对它们所构建于其上的软件栈有信任（这大概意味着它应当极其简单，甚至也许经过形式化验证）。

在核查设备本身之外，核查还将依赖集群更广泛的、与模型权重安全相重叠的安全属性。例如，不存在能让攻击者偷运出流氓内部计算结果的旁路信道。

随着时间推移，核查保证水平将需要随着算力规模的扩大而急剧提升。我们在核查补充材料中对此进行更详细的讨论。

算法安全

目标：这取决于我们所追求的透明制度，我们在透明补充材料中对此进行讨论。

方案 A：完全研究透明

作为一阶近似，在方案 A 的完全研究透明版本下，AI 中将不再有任何算法机密。但有几个例外：

• 海量（可能是合成的）数据集具有与模型权重相似的属性（尤其是体积非常大），因此通过限制研发数据中心的上传量来限制其输出是可行的。这不足以防止任何给定数据的外泄；但可以防止大多数数据的外泄。数据进展是总体算法进展中相当大的一部分，因此保护数据可能既可实现又很重要。
• 通过计算密集型过程找到的超参数。对于某些超参数，其高效设定是通过昂贵的过程找到的，例如在可能取值范围内进行扫描，然后对训练运行进行测试。这些数值很小，但不必被任何人类所知晓。选择这些超参数的代码可以是透明的，但我们可以防止任何人知晓运行该代码所得出的数值，因为确定该数值在计算上是昂贵的。

起初，这仅仅意味着「当拥有该模型的公司决定将其公开部署时」。以后会有更多的监管，这些监管可能采取、也可能不采取正式的部署前审批流程的形式。

下载权重文件的流程受到极其严格的控制：美国和中国的审计员共同解锁一个安全外壳，其中有一台安全设备，能够向不透明的内部数据库发出下载请求并对文件加密。它是整个集群中唯一一台带有 USB（或类似）端口、允许插入任何用于下载的物理设备的设备。

1 MB/s × 60 × 60 × 24 × 365.25 × 5 = 157 TB。

这里假设使用 FP8 参数，即每个参数为 1 字节。

在方案 A 中，我们还建议有意增大模型权重的规模，以便获得「权重文件更大、因而更难外泄」这一安全收益。这将需要额外的训练算力，因为你不再把模型规模选在最优的算力最优曲线上。

只需极少量算力、因而可能不被核查措施察觉的廉价压缩，其压缩倍数不应超过 2–4 倍，例如通过霍夫曼编码（无损）或廉价的训练后量化技术（如 GPTQ、AWQ、SmoothQuant、QuIP#、AQLM），这些技术以可忽略的质量代价将权重压缩 2–4 倍，通常仅使用 0.0001–0.01% 的训练算力。对于走得更远的压缩攻击，例如更激进的量化或 LoRA 式分解（如 LoRA、QLoRA、VeRA、DoRA、AdaLoRA），它们可能有超过 1000 倍的压缩率，此时「检测出用于进行这种压缩的未授权计算」就比带宽限制本身成为更起决定性作用的安全属性。即便如此，100TB 的权重被压缩 10,000 倍到 10GB，仍意味着你需要在不被检测的情况下、连续 116 天占用输出通道的 0.1%（1 KB × 60 × 60 × 24 × 116 = 10GB）（这可能需要在隐写术上付出很大代价）。监管方始终可以意识到压缩带来的风险，并进行红队测试以确定其可实现性有多高，进而相应地调整训练运行规则和/或输出带宽上限。