核查计划
Romeo Dean
方案A的前提是能够在不依赖信任的情况下,强制执行一项旨在减缓AI进展的国际协议。我们相信,验证措施能够使这成为可能,办法是向美国和中国双方提供足够的保证:对方一旦违约,要么会被发现,要么违约规模小到无足轻重。
我们最好的验证方案在成本高低和可信度高低上存在一个谱系,我们可以将其视为一条验证前沿。如今,这条验证前沿尚不成熟。目前,在美国和中国之间以极高保证度验证一项AI开发暂停的唯一办法,很可能需要让数据中心断电,而任何比这成本更低的做法都可能存在被违反的重大风险。话虽如此,我们相信验证问题本质上是防御占优的,而且AI验证还是一个极其年轻、迄今规模很小的领域,因此在未来几年里取得重大进展应当是高度可行的。
本补充材料先概述我们认为应当遵循、以使方案A可行的验证计划,随后是一个更为详细的走查,说明在我们具体的方案A情景中验证的故事是如何展开的。
想帮助构建这一切吗?请参见Get Involved(参与其中)标签页:需要做什么、这个领域需要什么样的人、一份意向表,以及整个验证领域的开放机会。
- 计划概要 准备协议的可选性 实施协议 提升稳健性
- 准备协议的可选性
- 实施协议
- 提升稳健性
- 在我们的方案A情景中验证该协议
- 附录:基于数据包的验证
计划概要
我们建议由美国和中国牵头,达成一项国际协议,以避免一场通向超级智能的灾难性竞赛。这项协议需要在不依赖信任的情况下即可强制执行,因为美国和中国不太可能达成一项无法验证的协议;而且如果任何违约行为都很可能被发现,它们就更不可能在协议上违约。
我们可以将验证问题拆分为两个关键组成部分:
- 问题1。验证已知算力是合规的。我们相信,存在能够促成不依赖信任的协议的验证措施是可能的。话虽如此,如果一项协议明天就必须达成,我们还没有准备好以低成本、无需信任的方式来强制执行它。鉴于让AI服务保持在线的经济激励日益巨大,一个即用型的验证方案(不需要太多时间来激活)对于促成一项协议可能极其重要。
- 我们相信,存在能够促成不依赖信任的协议的验证措施是可能的。话虽如此,如果一项协议明天就必须达成,我们还没有准备好以低成本、无需信任的方式来强制执行它。鉴于让AI服务保持在线的经济激励日益巨大,一个即用型的验证方案(不需要太多时间来激活)对于促成一项协议可能极其重要。
- 问题2。验证未知算力是无足轻重的。我们的秘密项目补充材料估计,即便是一次执行得当的秘密转移努力,在协议开始时也只能获得约占全球AI相关算力中位数0.5%(80%置信区间:0.1%至1.4%)的“暗算力”,鉴于前沿进展很可能依赖算力,这应当能为协议争取到大量时间和稳定性。随着协议的推进,这个上限也应当会收紧,因为检测努力会不断累积,更多算力会被纳入验证。
- 我们的秘密项目补充材料估计,即便是一次执行得当的秘密转移努力,在协议开始时也只能获得约占全球AI相关算力中位数0.5%(80%置信区间:0.1%至1.4%)的“暗算力”,鉴于前沿进展很可能依赖算力,这应当能为协议争取到大量时间和稳定性。随着协议的推进,这个上限也应当会收紧,因为检测努力会不断累积,更多算力会被纳入验证。
我们建议的解决方案分三个阶段。
第1阶段。准备协议的可选性。美国和中国采取行动,通过准备好进行仅推理验证的能力,并密切掌握存在多少AI算力以及归谁所有,使协议更有可能得到强制执行并更持久。
第2阶段。实施协议。美国和中国进行一次相互的算力申报(扩展至第三国,理想情况下覆盖全球算力的99%以上);对全球约99%的AI数据中心算力进行仅推理验证改造,然后冲刺建立安全的研发验证机制,该机制将使用协议达成后新生产的算力。
这就是我们认为在我们的情景中2029年实施协议的样子:对所有中型和大型AI数据中心(>1万H100e,或约>1亿美元)进行仅推理改造,而这足以覆盖全球约99%的AI相关算力。然后密切关注其余较小的集群,并采取措施避免它们可能被用于秘密项目。我们对这种数据中心规模集中度的建模并不自信,因此确切的临界值和干预措施可能需要有所不同。
第3阶段。提升稳健性。随着时间推移,美国和中国提升验证机制的稳定性和持久性,尤其是通过硬件安全、验证稳健性等手段。
第1阶段。准备协议的可选性
我们建议将协议前的努力集中在冲刺一个最简验证方案上,该方案可用于安全地将全球99%的AI算力改造为可被验证为仅推理,并使全球至少99%的AI算力被(至少被情报机构)以较低不确定性确知其存在,从而使其无法以貌似合理的推诿方式向未来的算力申报(进而向验证机制)隐瞒。
如果现在是2029年,且相对于今天没有任何验证进展,我们的最佳猜测是,如果双方都想高度确信没有快速的前沿AI开发在继续,那么在协议达成后的6到12个月里,前沿AI服务将不得不大部分(例如90%)保持离线。如果准备好了一个最简可行的仅推理改造方案,相应的期限则更接近2到5个月。到2029年,两者在经济影响上的差异可能达到数万亿美元。当然,如果准备好了一个更通用的验证方案就更好了,例如它还能允许经批准的训练和实验继续进行,但我们认为这可能更难,而且在仅推理方案之上只能带来边际收益,因为大部分经济上行空间只需保持推理在线即可保留(因为在放缓协议下,训练和实验无论如何都会被有意限制,尤其是在关于如何推进AI开发的谈判进行期间的最初阶段)。
即便准备好了这样一个验证方案,协议的最大验证覆盖率仍然受限于能够纳入协议的全球算力的百分比。如果美国、中国或任何其他行为方在自己拥有多少算力上可以貌似合理地推诿,它们就可以利用这种推诿空间向协议隐瞒算力,并将其作为秘密项目中未经验证的算力来使用。但如果未知算力总量低于全球算力的1%,我们认为任何此类秘密努力都很可能无足轻重:我们的秘密项目补充材料直接对此进行了建模,估计在我们建议的扩展策略下,一个执行得当的秘密项目在被检测到或被移交之前达到能够破坏协议的AI的概率大约为13%。这些估计适用于协议开始时:随着协议的推进,不确定性应当会缩小,貌似可能的秘密存量也应当会缩减,因为追溯和审计会逐渐收敛,检测努力会不断累积(参见秘密项目补充材料中的检测估计),更多算力会被纳入验证。当然,未知算力越低越好,但我们认为全球算力的1%左右很可能是一个可实现的目标,也足以支撑一项稳定的协议。
首要优先建议:
- 投入验证研发,具体聚焦于开发一个安全的仅推理改造方案,占总验证研发努力的约80%。此外,用约20%的验证研发努力支持补充性的研发工作,追求有前景的额外措施,例如纯软件方案、隐私保护型验证措施,以及更通用的验证方案(例如同时也验证训练和实验的合规性)。
- 此外,用约20%的验证研发努力支持补充性的研发工作,追求有前景的额外措施,例如纯软件方案、隐私保护型验证措施,以及更通用的验证方案(例如同时也验证训练和实验的合规性)。
- 投入于算力核算与追踪(例如由情报机构开展),以掌握世界上存在多少AI相关算力,以及哪些实体持有它。值得注意的是,我们对这种早期芯片追踪的建议并不优先考虑知道这些算力在哪里,或它被用于什么。我们相信,就使一项协议变得可行而言,大部分好处仅仅在于知道存在多少算力,并随时追踪哪些行为方拥有它,因为缺乏推诿空间应当足以迫使这些算力在协议谈判之时被申报(鉴于将存在支持加入协议的巨大激励)。话虽如此,同时知道它的位置也有助于避免出现推诿的情形(例如伪造的转售或芯片报废记录),以及避免美国和中国政府(出于某种原因)对拥有该算力的实体几乎没有影响力的情形(因而无法向其施压,要求申报它们已知持有的算力的位置,例如俄罗斯的算力)。
- 值得注意的是,我们对这种早期芯片追踪的建议并不优先考虑知道这些算力在哪里,或它被用于什么。我们相信,就使一项协议变得可行而言,大部分好处仅仅在于知道存在多少算力,并随时追踪哪些行为方拥有它,因为缺乏推诿空间应当足以迫使这些算力在协议谈判之时被申报(鉴于将存在支持加入协议的巨大激励)。话虽如此,同时知道它的位置也有助于避免出现推诿的情形(例如伪造的转售或芯片报废记录),以及避免美国和中国政府(出于某种原因)对拥有该算力的实体几乎没有影响力的情形(因而无法向其施压,要求申报它们已知持有的算力的位置,例如俄罗斯的算力)。
第2阶段。实施协议
为建立一项稳定的协议,我们建议立即开展一次相互的算力申报和供应链记录审计,以最大化被纳入协议的算力数量。然后对这些算力实施当前最佳可用的仅推理验证方案,以强制执行一段短暂的训练和实验暂停。与此同时,我们建议冲刺建立一个针对恢复后的训练和实验的验证机制。
鉴于未知算力无法被纳入协议的验证,首要优先事项应当是将未知算力的数量降到最低。为此所需的紧急行动是立即开展一次对现有算力以及当前在途或在产算力的申报。随后,美国和中国双方应当能够对彼此的申报进行审计和检查,并将其与各自的私密情报努力(视其是否做了妥善准备而定)进行比对,以化解它们在彼此拥有多少算力上的不确定性。
全球约85%的算力应当由美国或中国的实体所有,因此若要实现99%的算力被纳入协议,就需要将这样一份申报协议推广到其余5至10个国家,它们很可能构成这一差距的剩余部分。将其扩展至其他国家的紧迫程度将取决于:情报机构对这些其他国家拥有多少算力的不确定性有多大,以及这些其他国家在不被检测的情况下成功隐藏大量算力的可能性看起来有多高。
在这次申报之后,我们建议进行一段短暂的AI研发暂停(即暂停新的训练运行和实验),将现有算力转为仅推理。如上所述,我们认为这实现了协议的目标(放缓AI进展),同时保留了大部分经济上行空间(AI服务和产品继续运行),而且也相对更容易验证。无论准备好的最佳仅推理验证方案是什么,都应当予以采用。我们目前建议以一种基于网络分接和重算的方法为目标,但还需要更多研发来弄清楚是否有另一种方法会更好。也有可能只有一个较劣的方案准备就绪,但仍足以在协议的初始搭建阶段使用,直到有更好的方案准备好为止。
最后,我们建议将建立恢复训练和实验的验证机制作为一项在协议开始后进行的单独工作,因为我们认为研发验证有一些重要的属性需要在协议搭建后再决定,而且为了使研发验证能够支撑一项今后稳定的协议,还需要极高的安全要求。特别是,需要就以何种透明度水平为目标做出决定(我们建议采用一种“全面研究透明”机制,但关于在哪些可能性之间进行抉择,详见我们的透明度补充材料),而且无论如何都存在很高的安全要求,因此我们相信被验证的数据中心将需要从零开始建造。如果认为新建耗时长得无法接受,或者存在一个足够安全的研发验证改造方案,那么可能会有一个过渡期,其间使用已有的数据中心进行研发。话虽如此,我们认为大约2年后,当验证和安全要求提高,并且全球约90%的算力无论如何都将是协议达成后新增的算力时,我们更强烈地建议采用新的、协议后的、高度安全的数据中心。
- 开展一次双边算力申报和供应链审计,涵盖现有算力和新的算力生产,并扩展至拥有或生产大量算力的第三国。每一个主要的数据中心所有者以及在供应链中扮演重要角色的公司,都公开申报其关于采购和销售的记录,并允许审计员和检查员进入彼此的国家和公司,以核实记录和最终芯片的数量。这还需要包括在途算力和正在进行的算力生产。从这一刻起,现有算力和新的算力生产将被密切追踪和守护,以使其无法在不被检测的情况下被转用于秘密项目。将这一申报扩展至其他拥有或具备大量算力生产能力的国家。除非已有可靠的情报能够检测到这些算力被转移,否则应紧急行动。
- 每一个主要的数据中心所有者以及在供应链中扮演重要角色的公司,都公开申报其关于采购和销售的记录,并允许审计员和检查员进入彼此的国家和公司,以核实记录和最终芯片的数量。这还需要包括在途算力和正在进行的算力生产。从这一刻起,现有算力和新的算力生产将被密切追踪和守护,以使其无法在不被检测的情况下被转用于秘密项目。将这一申报扩展至其他拥有或具备大量算力生产能力的国家。除非已有可靠的情报能够检测到这些算力被转移,否则应紧急行动。
- 对现有算力以及任何新上线的算力实施仅推理验证。将仅推理验证推广到现有算力,以强制执行短暂的AI研发暂停,同时允许AI服务保持在线。理想情况下会有一个高度安全的方案随时可用。如果没有,则实施当前可用的最佳方案。如果根本没有任何方案准备就绪,那么在冲刺过渡到更好的方案的同时,要么关闭这些算力,要么暂时只依赖非技术性措施(例如在彼此公司中派驻的审计员,检查没有人在实施实验或训练运行)。
- 将仅推理验证推广到现有算力,以强制执行短暂的AI研发暂停,同时允许AI服务保持在线。理想情况下会有一个高度安全的方案随时可用。如果没有,则实施当前可用的最佳方案。如果根本没有任何方案准备就绪,那么在冲刺过渡到更好的方案的同时,要么关闭这些算力,要么暂时只依赖非技术性措施(例如在彼此公司中派驻的审计员,检查没有人在实施实验或训练运行)。
- 冲刺按照所选透明度机制建立研发验证。我们在方案A情景中建议一种我们称为“全面研究透明”的特定机制,但正如我们的透明度补充材料所述,在某些条件下另一种方法可能更好。无论采用何种机制,都应当建造某种由高度安全的研发集群和高度安全的协议后推理集群组成的组合,因为在大多数透明度机制中,我们设想至少AI模型权重和验证正确性需要SL5(能抵御民族国家级行为方)级别的安全。正因如此,我们认为这些集群应当从零开始建造。
- 我们在方案A情景中建议一种我们称为“全面研究透明”的特定机制,但正如我们的透明度补充材料所述,在某些条件下另一种方法可能更好。无论采用何种机制,都应当建造某种由高度安全的研发集群和高度安全的协议后推理集群组成的组合,因为在大多数透明度机制中,我们设想至少AI模型权重和验证正确性需要SL5(能抵御民族国家级行为方)级别的安全。正因如此,我们认为这些集群应当从零开始建造。
该协议的主要目的是创造条件,以允许放缓AI开发从而提升安全性,办法是通过在安全资源配置上(例如做对齐研究而非能力研究)或在开发方向上(例如同意不追求某个可能不那么安全的研究方向或不使用某个高效算法)缴纳安全税。总体而言,我们把这种以安全为重心的AI研究放缓称为“AI研究滴定”。AI研究滴定的方法起初可能是粗糙的(例如严苛的实验算力上限),并随时间推移变得更为精细(例如根据对能力外部性的科学理解逐案做出决定)。
我们此外认为,一项协议可能还必须应对潜在的、具有破坏稳定作用的硬件研究水平和硬件生产水平。在方案A情景中,我们建议进行硬件研究滴定,并对机器人和算力生产实行总量控制与交易(cap & trade)政策,以应对来自这些方面的风险。所有这些都在方案A的验证故事中有更详细的探讨。
第3阶段。提升稳健性
一旦一项协议建立起来,我们预计对其稳健性有许多改进是可能的。我们建议大力投资于硬件安全;改进验证机制;在硬件设计中追求有利于协议稳健性的有利权衡(例如通过使验证更容易、改善各种安全属性、在协议内行为方与秘密项目之间形成差别化的有利地位等);以及降低退出协议的激励(例如通过相互确保算力摧毁,以及在各行为方之间平衡协议解体的结果)。
我们预计对协议稳健性有许多可实现的改进。鉴于协议破裂是方案A成功的最大威胁之一(正如我们的协议衰退补充材料所探讨的),降低退出协议的激励是提升协议稳定性的核心部分。秘密违约脱离协议是对协议的另一个核心威胁(正如我们的秘密项目补充材料所探讨的),因此提升协议稳健性的另一个核心部分是让验证机制更好,既在已知算力的保证水平上,也在减少未知算力的数量上;改善各种其他安全属性,例如模型权重安全;以及更广泛地使潜在的违约行为方更难取得或窃取进展。
在我们的方案A情景中验证该协议
在我们的方案A情景中,我们遵循上一节勾勒出的高层次验证计划。验证补充材料的这一部分将以更具体的细节走查实施与验证的故事。因为这是一个关于未来的情景,处于一个非常年轻、研发仍在进行的领域,我们对具体细节并不自信。话虽如此,我们希望为上文勾勒的验证计划究竟如何实际实施建立一个有用的具体基线。
2026-2028:准备协议的可选性
2026:芯片追踪开始
美国的情报机构开始在内部密切关注走私进入中国的AI算力,以及它们的国内生产水平,到年底对中国实体总共拥有多少AI算力达到10%的不确定性。它们尚未利用这些信息做任何事(即,它们不向BIS分享走私信息)。中国得知美国情报界正在这样做,于是也开始这样做,主要通过利用其在台湾TSMC的现有资产来获取总产量的准确计数和记录。它们对美国AI算力总量达到10%的不确定性,主要是由于对台湾以外的现有算力和生产(例如韩国和美国)的不确定性。对新算力生产的不确定性要低得多(约1%数量级)。
2027:验证研发获得资金
美国行政部门开始表达对协议可选性以及能够促成这种可选性的验证措施的兴趣。经过一系列信息征询(RFI)后,它们选择将努力集中在一种以网络分接和重算为核心的方法上,用于仅推理改造方案。在彼此的数据中心安装设备的前景一开始敲响了警钟,但这是一个可以着手解决的、可行的安全问题。最终,由于某些可能的网络分接设计极其简单(本质上就是一块分割光信号的玻璃),加上对各种物理安全议程的并行投资,这些分接器实际上或许值得大规模生产以备不时之需,成为一种切实的可能性。单方信任的重算服务器(网络分接器将流量重定向到它,并由它实际负责执行验证)更为复杂,因而默认情况下更难被信任,但这里也进行了大量投资。这些研发项目有意做到透明和开源,以建立信任。中国也看到了以类似透明的方式开发和构建自己对称方案的激励。在这一年的下半年,双方同意就重要的、与验证相关但在其他方面并不敏感的信息进行相互信息共享,尤其是关于彼此的网络和计算范式,这对于构建兼容的网络分接器和重算服务器是必要的。这一年里进行了来自不同资金来源、世界不同地点的若干试点,对设计进行迭代改进,并为扩大生产规模做准备。最终,美国和中国选择了采用极其简单的光学分割设计的网络分接方案,这类方案给任何漏洞留下的空间最小,而没有采用我们在下框中提出的一些更雄心勃勃的设计,或不同的基于密码学的方法——后者更不确定,但如果它们(以足够低的成本)行得通,可能会更好、更容易被信任。
我们目前的最佳猜测是,美国和中国应当以一个使用网络分接器和重算服务器的仅推理方案为目标。在我们看来,它似乎抓住了绝大部分的上行空间,能够使一项初始的放缓协议得到高度验证且经济成本低,同时又是可实现且易于构建的。我们对后一半(可实现且易于构建)不太自信,这正是为什么我们更有信心地建议尽快启动信息征询(RFI),并对各种方法进行试点和迭代。
提案概要:
- 通过移除(大量的)后端网络(也称东西向网络),将数据中心改造为一组组相互隔离的推理单元。目前数据中心中的AI服务器之间存在大量高带宽通信,但这(大多)只对训练才有必要,而在一些相对较小的开销下(例如重组用户内存存储),大规模推理应当能够使用少得多的横向扩展互连。移除它是一项重要的纵深防御措施,可使集群更难被用于大型训练运行。
- 目前数据中心中的AI服务器之间存在大量高带宽通信,但这(大多)只对训练才有必要,而在一些相对较小的开销下(例如重组用户内存存储),大规模推理应当能够使用少得多的横向扩展互连。移除它是一项重要的纵深防御措施,可使集群更难被用于大型训练运行。
- 在前端网络(也称南北向网络)上加装简单的、被动的网络分接器,将所有输入/输出流量的副本重定向到重算服务器。这些前端网络上的网络分接器有多种可能的实现方式。我们目前认为它们大概应当完全被动,并将光信号一分为二,因为这大概最容易被信任。另外,还应当有一条从存储库返回推理单元的路径。
- 这些前端网络上的网络分接器有多种可能的实现方式。我们目前认为它们大概应当完全被动,并将光信号一分为二,因为这大概最容易被信任。另外,还应当有一条从存储库返回推理单元的路径。
- 强制所有AI工作负载(推理、智能体式工具使用等)都被组织成离散且可复现的数据包,这些数据包对重算服务器是透明的(因为它们经过网络分接器)。要在数据包上做正确性证明,就需要可复现性。默认情况下,推理工作负载并不一定可复现。实现可复现性可能会为维持可复现性带来一些成本开销,但我们认为这是一个可解决的问题(此方向工作的示例见此处)。
- 要在数据包上做正确性证明,就需要可复现性。默认情况下,推理工作负载并不一定可复现。实现可复现性可能会为维持可复现性带来一些成本开销,但我们认为这是一个可解决的问题(此方向工作的示例见此处)。
- 在重算服务器上执行部分重算(对数据包进行随机抽样),以检查数据包的正确性。重算服务器的完整性是这一步骤中极其重要的一个方面,但假定其计算和输出可以被信任,那么通过随机抽样进行部分重算应当具有极为有利的可扩展性,能够以极高的概率验证所有输出的正确性,而只使用原始算力的一小部分。计算详见附录。
- 重算服务器的完整性是这一步骤中极其重要的一个方面,但假定其计算和输出可以被信任,那么通过随机抽样进行部分重算应当具有极为有利的可扩展性,能够以极高的概率验证所有输出的正确性,而只使用原始算力的一小部分。计算详见附录。
- 具备强有力的物理安全属性,以帮助确保验证措施免受例如篡改攻击的侵害。验证过程的完整性要求有足够的物理安全措施,以避免篡改以及其他可能颠覆验证过程的攻击。
- 验证过程的完整性要求有足够的物理安全措施,以避免篡改以及其他可能颠覆验证过程的攻击。
- 通过限定最大侧信道通信量,并使用周期性内存擦除(大概通过强制记忆化实现)来验证完备性。这一验证提案的完备性,即集群唯一的输出是经过验证的推理token,需要如所述的侧信道缓解和内存擦除。我们并不验证空闲算力没有被用于未经批准的工作负载(因为这看起来非常困难),但我们努力确保以输出形式持久存在的唯一结果是经过验证的推理输出。这需要在推理单元上采取强有力的侧信道缓解和周期性内存擦除(我们认为可以通过强制记忆化来实现)。
- 这一验证提案的完备性,即集群唯一的输出是经过验证的推理token,需要如所述的侧信道缓解和内存擦除。我们并不验证空闲算力没有被用于未经批准的工作负载(因为这看起来非常困难),但我们努力确保以输出形式持久存在的唯一结果是经过验证的推理输出。这需要在推理单元上采取强有力的侧信道缓解和周期性内存擦除(我们认为可以通过强制记忆化来实现)。
对这一提案的一个潜在升级是构建更复杂的“安全网络网关”,它们比网络分接器具有更多功能,能够进行随机抽样,并以稳健的方式组织和随机抽样复现数据包的日志,发送给重算服务器。
这些安全网络网关可能是什么样子的一个粗略草图。存在数据通路方向(输入和输出),每条通路上都有网络分路器,将数据流记录下来,组织成随机抽样的数据包,然后发送给一个安全的重算服务器。在启动阶段,这些网关还可以额外检查上传到推理单元的仅为白名单内的模型权重。你可能希望这些网关具备的某些硬件安全属性是有先例的,例如可参见iPhone的安全隔区(secure enclaves)和PUF。
这些可以在与之前类似的设置中替代网络分接器使用。
在这项构建以网络分接和重算为核心的方法的关键努力之上,还有大量资金(约1亿美元量级)被调动到对其他方法的研发中,包括纯软件和以密码学为核心(例如ZKP)的方法,以及一个类似规模的物理安全研发资金池(约1亿美元量级),作为仅推理改造方案的补充。
除了我们勾勒的部分重算方法之外,也许还可以用其他方式来验证仅推理,例如:
- 纯密码学协议,例如用于AI工作负载的零知识证明(ZKP)。这有望做到隐私保护,并可能需要较少的硬件改造,但目前有些推测性,因为缺乏可被发现的、计算效率足够高的相关算法。
- 这有望做到隐私保护,并可能需要较少的硬件改造,但目前有些推测性,因为缺乏可被发现的、计算效率足够高的相关算法。
- 基于内存挑战的验证。这有望可能也不需要硬件改造,但在验证完备性方面似乎很可能会面临一些困难。尽管如此,它对于协议的初始实施可能是可行的。
- 这有望可能也不需要硬件改造,但在验证完备性方面似乎很可能会面临一些困难。尽管如此,它对于协议的初始实施可能是可行的。
- 粗糙的硬件改动。移除主要的横向扩展互连,并例如安装一些简单的传感器和其他物理安全机制,也可能足以在协议的初始阶段(例如1年)验证仅推理,直到面向更大量算力和更高风险工作负载的更高保证度措施准备就绪为止。
- 移除主要的横向扩展互连,并例如安装一些简单的传感器和其他物理安全机制,也可能足以在协议的初始阶段(例如1年)验证仅推理,直到面向更大量算力和更高风险工作负载的更高保证度措施准备就绪为止。
2028:芯片追踪趋于成熟
情报机构一直在密切追踪新的算力生产,并在缩小它们对多少AI算力早于其追踪努力就已存在的不确定性方面取得了部分成功。到年底,中国对美国的总算力有约2%的不确定性,美国对中国的有约4%的不确定性。这意味着从中国的角度看,它们有80%的信心认为美国拥有介于2.22亿到2.26亿H100等效算力之间。从美国的角度看,它们有80%的信心认为中国拥有介于2500万到2700万H100等效算力之间。
2029-2030:协议实施
2029年1月:相互芯片申报与检查
在方案A谈判开始后的一周内,美国和中国已完成一次算力申报和供应链记录审计,允许彼此派遣数百人进入对方国家检查和审计记录。这使它们得以进一步降低它们对彼此算力本已相对较小的不确定性。现在各方的最佳猜测是,对方在申报中最多可能隐藏了约150万H100e(80%置信区间达到约400万),这约为领先AI公司研发算力的4%,约为全球总算力的0.5%。关于一个秘密项目大概能隐藏多少算力的估计和推理,请参见秘密项目补充材料。
关于按集群规模分档建议的干预措施,更多细节见下:
中型和大型数据中心(>1万H100e,约1亿美元)
仅推理改造
99%
小型数据中心和分散的AI算力
对AI性能高于A100的任何设备实行报告要求。随机抽查。
1%
AI用途不明的非AI算力(例如iPhone)
由情报部门查找大规模搜集消费级算力的行动。
0.1-10%?取决于不确定的AI用途调整。
| 集群规模 | 即时干预措施 | 2029年1月该类别中的估计算力占全球AI数据中心算力的百分比 |
|---|---|---|
| 中型和大型数据中心(>1万H100e,约1亿美元) | 仅推理改造 | 99% |
| 小型数据中心和分散的AI算力 | 对AI性能高于A100的任何设备实行报告要求。随机抽查。 | 1% |
| AI用途不明的非AI算力(例如iPhone) | 由情报部门查找大规模搜集消费级算力的行动。 | 0.1-10%?取决于不确定的AI用途调整。 |
芯片申报还涉及对所有新的算力生产保持极其密切的关注,任何性能指标超过一定AI相关阈值的芯片,都需要被引导到已知地点以纳入验证措施。而功率较低的消费级算力生产则很可能可以维持不受限制。
美国和中国需要将未来算力生产可能流向非法项目的情况降到最低。这意味着它们需要监控其制造并守护其运输。幸运的是,AI算力制造高度集中在全球少数几个设施中,而且这种情况在整个2029年应当会持续。我们认为它们要成功核算100%的新AI算力生产(连同高性能AI内存和网络等关键组件)是高度可行的;我们的秘密项目补充材料估计,从协议后生产中转移的量可以保持在近乎为零,并以非常高的信心认为总量在10万H100e以下。我们建议允许公司将其购买的新算力引导到两个地点之一。
- 现有数据中心/正在进行的数据中心建设:引导到这里的算力,只有在仅推理改造完成后才被允许进行推理。
- 临时的、相互的冷存储保管设施:引导到这里的算力将被守护起来,直到新的安全的、相互验证的研发集群建成后,它才能被配置用于研发(训练和实验)。
起初,我们提议任何互连、算力、内存和带宽足够低的芯片都可以不受限制地生产。然后到2032年,我们初步提议设定一个上限,同时略微放宽算力阈值(为可能需要更高边缘算力的更多消费级应用留出空间),并收紧互连阈值(希望降低它们在被转移后用于秘密项目的潜在用处)。关于这一点,2032年一节有更多内容。
2029年2月:仅推理改造开始
在美国和中国完成算力申报和检查、并相对确信它们了解彼此绝大部分算力之后,它们就一项短暂的AI研发禁令达成一致,并向世界宣布。AI公司现在应当立即停止研发,包括暂停进行中的训练运行。在它们向彼此最大的数据中心推广仅推理验证方案期间,它们同意对小型集群(任何10K H100e以下的,因为改造这些还需要一段时间)实行100%断电,并对所有更大的数据中心实行80%断电,因为只需约20%的算力应当就足以让所有AI产品和服务正常运行,只是速率略有下降。这限制了在协议搭建期间任何人违约并取得差别化收益、然后从比之前更有利的位置重新开始竞赛的程度。
美国约95%的算力分布在总共约200,000个AI服务器机架中(平均每个服务器机架略超过1K H100e),中国约95%的算力分布在100,000个AI服务器机架中(平均每个服务器机架约250 H100e)。
幸运的是,美国有约10,000个网络分接器和100台(单方)可信重算服务器的库存。中国有约20,000个分接器和200台服务器的库存,而且它们各自每月还能从各类第三方再购买10,000个。由于中国算力较少,美国能更快地改造中国的算力,但它们同意按由中国可达速度确定的、成比例的改造时间表进行,即用现有的网络分接器库存在1个月内将美国算力的40%改造为由4个服务器机架(即4K H100e)组成的推理单元。因此它们都将遵循这一速度,然后在第3个月节点提升至80%,此后再提升至95%以上和/或更小的推理单元。
2029年3月:研发集群建设开始
在进行仅推理改造的同时,美国和中国随后就它们将以之为目标的高层次监管计划和透明度机制达成一致(其中一些选项在我们的透明度补充材料中有所强调)。鉴于对非法项目所感知到的风险相对较小以及其他各种考量,它们决定以“全面研究透明”方法为目标。这涉及建立具有SL5模型权重安全和SL5验证完整性的研发数据中心。它们希望这些数据中心不可防守,以使利用这些新研发集群试图退出协议并重新开始竞赛变得困难,因此它们通过将美国研发集群设在蒙古、中国的设在加拿大来力求相互威慑。美国在其蒙古集群配有守卫,配备强健的“焦土”机制,一旦中国或其他人试图夺取算力就将其摧毁,加拿大的中国算力也有对称的措施。它们于3月立即以高度紧迫感着手这些基础设施项目,力求在6个月内让少量产能上线,以便能够启动一次经验证的研发试点。它们计划遵循的验证方法与推理验证方法类似,用网络分接器进行证据收集,用部分重算来验证构成工作负载的数据包的正确性。
2029年4月至5月:第三方国家开始加入协议
从4月开始并持续到2029年余下时间,世界上最富有的20个国家中的大多数以及重要的半导体供应链国家,通过进行算力申报并允许对其数据中心进行仅推理改造而加入协议,包括:德国、日本、英国、印度、法国、巴西、加拿大、墨西哥、意大利、澳大利亚、韩国、西班牙、阿联酋、沙特阿拉伯、台湾、荷兰、瑞士。
2029年6月至7月:新的高度安全(SL5)仅推理集群建设开始
作为透明度机制的一部分,计划是广泛公开部署经批准的前沿模型,但要在通过SL5输出验证和蒸馏缓解措施实现的SL5模型权重安全之下进行。计划是为消费者提供混合的零数据保留(ZDR)推理,以及为更高风险的部署提供透明推理。关于这一点,我们的透明度补充材料有更多内容。我们认为这些集群大概需要从零开始建造,才能达到SL5模型权重安全和验证完整性。
为了在ZDR的好处(AI用户拥有强有力的隐私保证)与风险(AI被用于关乎存亡的危险应用)之间取得平衡,我们提议在协议期间为推理提供3个层级的隐私服务:
完全ZDR
100%
有非常激进的分类器、拒答、反越狱,以及在高风险领域(例如AI研发)不具备能力的模型。
否
10万H100e
概率性ZDR
99.9%
(随机抽样,若被分类器标记为高风险则进入透明公共数据库)
随机抽样,送入分类器,若被标记为高风险则进入透明公共数据库
是
1亿H100e
无ZDR
基于分类器可变(随机抽样,若被分类器标记为高风险则进入透明公共数据库)
正常的分类器、拒答、遗忘学习等缓解措施,以及压缩/蒸馏缓解措施。
1000亿H100e
| 数据删除概率 | 缓解措施 | 微调API? | 推理集群上限(全球) | |
|---|---|---|---|---|
| 完全ZDR | 100% | 有非常激进的分类器、拒答、反越狱,以及在高风险领域(例如AI研发)不具备能力的模型。 | 否 | 10万H100e |
| 概率性ZDR | 99.9%(随机抽样,若被分类器标记为高风险则进入透明公共数据库) | 随机抽样,送入分类器,若被标记为高风险则进入透明公共数据库 | 是 | 1亿H100e |
| 无ZDR | 基于分类器可变(随机抽样,若被分类器标记为高风险则进入透明公共数据库) | 正常的分类器、拒答、遗忘学习等缓解措施,以及压缩/蒸馏缓解措施。 | 是 | 1000亿H100e |
2029年8月至9月:全球95%算力上的仅推理准备就绪
随着几个最大的算力所有者在夏季加入协议,世界上95%的算力现在都处于仅推理验证之下,而且它现在已扩展到更高的粒度(更小的推理单元)并改善了物理安全(侧信道削减以及高投入的物理守护和监控)。
2029年末:试点研发验证开始上线
在加拿大和蒙古,双方共同建造的数据中心上线,到9月加拿大约达1GW、蒙古约达2GW规模(约占世界算力的2%),到年底扩展至约占全球算力的15%。公司被允许开始在这些集群中托管算力,并随着空间上线而竞标。起初,只有非常小的实验获得批准,同时对验证和安全措施进行红队测试和迭代,以检验并改善其有效性。
现有的AI验证工作(Baker等人、Scher等人、Harack等人、Cankaya等人)引入了许多概念和提案,可以被利用或进一步发展以执行研发验证。
我们提议思考验证问题的一种方式是将其分为两部分:(1) 收集证据,以及 (2) 基于证据证明某事。这可以从非常简单(例如,所有已知算力设施的电源都关闭了,因此没有AI研发在进行)到非常复杂(例如,基于密码学证据,以极高的概率证明该训练运行正确地使用了经批准的训练数据和方法)。
以下是我们目前所见的一些证据收集和验证方法的一个非穷尽的示例说明:
我们所关心的五个关键验证指标包括:
- 保证曲线。保证曲线捕捉的信息涉及覆盖范围(验证方案对其做出声明的AI算力的百分比)和置信度(验证方案对其在所覆盖资源上做出的声明正确的概率有多大)的水平。我们将保证曲线定义为一组相关的(覆盖范围,置信度)值。我们关心整条二维曲线,因为知道移交风险和秘密项目风险在何处交叉是很重要的。
- 执行难度。正确实施该验证方案会有多难?例如,验证方案是否存在承重的部分,需要大量的专家人力,用于例如搭建验证软件、制造和安装设备、物理安全的执行和监控等。
- 所需准备。实施验证方案需要多少研究时间。对于一个用现有情报能力就能实施的方案,准备工作会极低;反之,对于一个需要复杂的片上机制的方案,准备要求会极高。
- 隐私级别。这描述了验证提案在多大程度上要求证明方与验证方之间披露私密信息。我们对此不太担心,因为我们无论如何都在独立地建议增加透明度,而且我们也认为可以有安全缓解措施(尤其是对于我们不想扩散的信息,如模型权重)。尽管如此,验证不需要低层次访问(例如token、模型权重、算法)仍然是理想的。
- 经济成本。最后,这是一个衡量指标,衡量实施验证方案损失了多少总体经济价值,而忽略这样一个事实:由于该干预,可能避免了一些具有巨大经济下行的风险(例如AI灾难、人类灭绝等)。因此我们是以一个AI开发持续的“好世界”为条件,来看相比那个反事实损失了多少经济价值。实际开发、制造和/或实施验证方案的成本,很可能被以下考量所主导:允许多少AI推理继续进行,以及由此产生的、更难量化的下游经济收益。
- 范围。例如,该验证方案只检查仅推理,还是检查包括大型训练运行和实验在内的任意AI工作负载。
选择哪种验证方案很可能在这些指标之间存在复杂的权衡。我们目前的最佳猜测是主要依赖路径上信息收集(即网络分接器),然后以部分重算作为验证算法,因为它似乎最有可能稳健地扩展到极高的覆盖范围和置信度。
借鉴先前的AI验证工作(Baker等人、Scher等人、Harack等人、Cankaya等人),我们认为任何验证方法中都应当有多层防御。在本补充材料的其他部分,我们通常聚焦于我们认为能够承担最主要作用的验证方法,但我们认为许多其他措施也将是必要的,或至少是有帮助的,包括:
- 物理安全。任何验证方法都很可能依赖于关于AI计算基础设施物理状态的一组不变量。若干有前景的未来方向和现有方法包括防篡改外壳、监控摄像头、周界控制和物理隔离(airgapping)。仅推理的执行很可能需要确信硬件没有被显著篡改,尤其是当验证涉及物理改造时(我们目前认为这是最有前景的路径,尽管纯软件方法也未被排除)。好消息是,验证的物理安全要求与我们无论如何都会独立希望数据中心具备的安全态势有大量重叠。
- 基于人的方法。举报人计划、对人员的访谈以及派驻的审计员,在揭露大规模违规方面可能大有作为,尤其是在早期。我们在任何提案中都不将这些作为承重依赖,但我们认为它们会是非常有用的补充,特别是在更稳健的技术机制准备好上线之前的早期阶段。
- 相互信任的制造与供应链安全措施。许多验证机制将依赖于硬件(例如网络分接器、重算服务器、防篡改外壳等)确实名副其实。这就产生了对验证硬件本身的制造和供应链进行相互验证的需求。Harack等人指出,片外机制尤其可能通过非侵入性的下游测试或在尾部节点晶圆厂的合作生产来相互验证。还有一个有前景的想法,即在某些领域用同步的单方检查来绕开相互信任问题:Cankaya提议使用被动光纤分路器(没有数字逻辑,只是熔接的玻璃),使双方都能独立观察网络流量,而无需信任对方的硬件,再结合单方信任的设备来各自独立地实施自己的验证。
2030年初:全面研发验证正在进行
现在,位于加拿大或蒙古的经验证研发集群中约有1亿H100等效算力(约为当时世界算力的20%,相当于协议开始时存在的算力的35%)。这些集群已部署到位透明度措施,现在公司被批准使用组合算法进行协议后的首批重大训练运行。几个月后这些训练运行完成,其中几个模型达到了自动化编码员里程碑(AC)附近的水平。这些模型经过广泛测试和红队测试,包括由许多为此目的在研发集群中租用少量算力的第三方团体和审计员进行。
现在有一个重大的监管问题:如何控制研发进展的速度,以在风险(进展太快)与收益(提升能力)之间取得平衡。这可以说是协议中最难称职执行的部分。这里存在一组复杂的依赖关系:进展太快会招致AI接管风险和/或导致进展扩散到潜在的秘密项目(减少合法项目所拥有的余量),而进展太慢则招致在协议可能破裂之前在对齐上取得较少进展的风险,或者确实实际上输给一个在协议之外运作的非法项目。
我们建议的高层次能力时间表是:扩展到你能够可靠地为之做出基于控制的安全论证的最大能力,理想情况下主要通过硬件扩展实现,然后暂停,直到你在基于对齐的安全论证(移交风险)上的边际进展低于协议所招致的风险为止。
但即便心中有一个理想的高层次能力时间表,实际上要执行这种水平的能力进展也可能很难,尤其是在能力进展从投入(例如算力)难以预测、难以衡量或默认节奏很快的程度上。我们的最佳猜测是,严苛的算力上限,然后再加上一套优质的临时规则的混合,将会足够,如下框中更详细的解释。
计划的这一部分最终依赖于监管上的称职,而这很可能是一个棘手、复杂、不可预测的问题:决定将研究滴定到何种速度才是正确的速度。因此这是计划中较弱、令我们担忧的部分,我们希望未来的工作能够改进关于如何妥善驾驭它的想法。归根结底,这是我们建议采用全面研究透明的核心原因之一,因为我们认为它能帮助做出更准确、更有效的监管决定。我们确实认为存在一些有前景的方法,在“要求较少的监管称职”与“更准确地代表所尝试的研究滴定目标”之间进行权衡。这两个概念我们将称为:
- 实施难易度。正确实施它有多容易,以及执行它有多容易。
- 监管准确性。该监管实际达成目标的可能性有多大,即在正确实施和执行的情况下,软件研究以高概率以安全的速度进行。
我们在下面强调几种方法,以及我们认为它们在这一权衡上大致落在何处。
- 安全论证举证责任。所有研发在获批之前都需要强有力的安全论证。从监管准确性的角度看,这种方法几乎在定义上就是我们想要的,但区分好的安全论证与坏的安全论证的难度可能极大。而且,首先要做出好的安全论证本身可能就非常困难,尤其是在没有任何AI协助的情况下,这也是为什么这种方法可能只有在协议推进过程中才会变得更可行的原因之一。不过随着协议的推进,AI达到更高的能力,监管准确性的重要性也会变得更重要,因此我们建议将其作为协议中后期阶段使用的机制,届时高能力AI(例如TED-AI)已经被开发出来,或接近被开发出来。
- 优质临时规则。逐案决定被允许的研究方向和速度。这种方法看起来可能比不得不正确诊断安全论证(后者可能极其复杂,或干脆难以生成)稍微容易执行一些,转而能够就要追求或放弃的范式,以及在资源配置方面要拉动的杠杆做出高层次的判断。另一方面,这种方法很可能会损失一些准确性,因为可能高层次的临时规则存在回旋余地或漏洞,允许不安全的开发。
- 人类可解释性要求。所有获批的技术都需要被某个人类群体端到端地理解。强制让人类的理解成为研究进展的瓶颈,可能是一个相当好的安全代理,而且相当容易实施(让人类查看随机样本)。话虽如此,某种东西既不安全又可被人类解释似乎很可能是可能的,因此长时间依赖这种方法可能不稳定。不过,这实际上把速度放慢得太多也是有可能的,因此应当要么有一个放宽的版本,要么使用另一种方法。这种方法看起来对硬件研究滴定可能非常合适,更多内容见下文。
- 算力和资源上限。对研发算力施加简单的上限。这极其容易实施和验证,但它可能就是很不准确。要知道某些算力和其他资源(例如人类研究员)阈值会带来多少进展,将是一个不确定的建模问题,很可能会有很宽的误差区间。不过在协议的早期阶段,把这些设得非常低看起来是一个很好、易于实施的起点,然后可以在产能有时间扩充后升级到更准确的方法。
在一套特定的研究规则到位后,还有一个单独的问题:执行这些规则确实得到遵守。我们可以把执行研发规则的问题分为两部分:
- 工作负载批准。公司申报的工作负载确实符合监管规则,无论其实现方式如何。
- 工作负载验证。公司申报的工作负载与它们实际运行的相匹配。
我们的看法是,工作负载验证可以用与我们之前讨论的类似方式解决(通过网络分接器收集证据,然后对随机选取的可复现数据包进行部分重算),而工作负载批准将与到位的AI研发规则形式紧密相关(例如,它们只是实验算力上限吗?有特定的被禁技术吗?有特定的必需技术吗?),我们对批准的总体基线提案是让研发集群中的审计员团队直接手动进行。
这里的核心难点在于,工作负载是否遵循规则可能并不清楚,尤其是当规则更偏临时性时。此外,AI公司可能有可能进行对抗性攻击,比如试图把一个不合规的工作负载编码在一个表面上看起来合规的工作负载之中。随着机制推进,它们有越来越多的算力处于相互验证之下,这类利用总算力极小百分比来达成不合规目的的攻击可能变得重大。
我们能想到的可能缓解措施有:
- 对申报的工作负载和数据采取反隐写术措施
- 由审计员编译成GPU指令,理想情况下使用日益稳健和安全的编程语言。
- AI辅助的数据过滤和检查
一个可用的潜在总体机制是维护经审查并批准可使用的代码和数据的“白”名单,和/或被禁代码/数据的“黑”名单,和/或某种类型的每个工作负载都必需的技术的“金”名单。然后工作负载批准问题就可以简化为仅仅对照这些名单进行检查,以批准或拒绝一个工作负载。仅使用白名单代码来实现一个隐蔽作恶的工作负载可能会难得多,但这也可能只是把问题推给了填充这些名单的流程(无论那是什么流程)。至少这可能有助于使工作负载批准成为一个更透明的流程,公司乃至更广泛的公众都能参与其中(至少对于所有公开可得的内容而言,在协议后期这可能会排除一些内部发现的、试图通过我们在透明度提案中描述的禁运机制来保密的算法)。
我们还提到了可能使用的多种不同类型的证据收集或验证。我们的猜测是,为了达到极高的保证水平(这在方案A中将日益必要,稍后详述),一个可复现性强制要求,结合完整的(且日益细粒度的)路径上证据收集,再搭配一个基于部分重算的验证算法,将是一个可行的方法。话虽如此,我们并不确信另一种方法(例如使用低延迟挑战和有效性检查)不能以更低的成本达到相同的保证水平,或以相同的成本达到更高的保证水平。为了论证验证问题将是可行的,我们将讨论采用基于部分重算的验证算法的完整的(且日益细粒度的)路径上证据收集。
思考验证问题的另一个有用概念是把AI工作负载看作一系列离散的步骤。
默认情况下,这些计算步骤带着随机性执行,但如果能够强制它们可复现(例如,带种子的随机性是可以的),那么我们就能在证据收集的粒度与验证算法的保证水平之间建立一种可预测的关系。这是因为,在只对工作负载的某个小百分比进行重算的随机抽样部分重算中,随着你所检查其正确性的单个工作负载数据包的规模减小,检测概率具有有利的可扩展性。关于这一点,附录有更多细节。
我们为协议头几年设想的具体机制,仍然是使用网络分接器进行证据收集,并对随机选取的可复现数据包进行部分重算以验证正确性。这与仅推理采用相同的高层次方法,随着时间推移,通过把网络分接器移到后端网络的更低层级,数据包规模越来越小。
- 申报:AI公司申报它们想要运行的工作负载,对代码、算法等做到完全透明。
- 批准:审计员按照工作负载批准的实现方式运行检查,如果通过,就发回批准并提供必要的随机种子(这消除了AI公司做假随机性作弊的一个潜在攻击途径)。
- 证据收集:审计员从工作负载中收集证据(例如,通过网络分接器进行完整的日志记录流)。图中证据收集被描绘为低粒度,但实际上它可能发生在单个服务器、GPU的层级,或后期在更低层级。
- 验证:审计员随机抽样并进行部分重算及其他检查,以捕捉工作负载正确性的违规。
- 评估与发布:对于由最终训练运行构成的工作负载,可以有一个额外步骤,涉及运行评估(评估本身也会被验证正确性),然后最终批准模型发布,从而使模型权重从不透明的内部数据库下载,并运送到仅推理集群。从模型权重被盗的角度看,这个过程风险极高,因此需要精心设计和执行。
2030年末:用于协议后模型部署的安全仅推理集群上线
首批SL5仅推理集群上线,开始服务从研发集群获批用于广泛公开部署的首批协议后模型。这些集群采用与改造过的集群相同的基本验证方法(网络分接器和部分重算),但具有改进的安全属性。到年底,约40%的世界算力(全球约9.3亿H100e中的约3.7亿)位于这些新的协议后SL5仅推理集群中。
同样到2030年底,美国和中国已建立起加固的冷存储设施,它们在那里允许检查员核实彼此的AI芯片储备,其规模被设定为大于任何貌似可能的秘密项目(据我们的协议衰退补充材料,美国储备为500万H100e,中国储备为50万H100e),且彼此相对规模与协议前的现状类似。这些设施位于任何一方都能轻易防守的地方。这些地点还将存放经验证的模型权重储备,以便在协议解体的情况下,存放美国和中国一致认为批准使用会是正和的模型(例如,对安全研究非常有帮助且有强有力安全论证的模型)。约在2033年,有一个自动化编码员能力里程碑附近的模型获批进入权重储备,然后在2037年,有一个接近前沿(顶级专家AI)的模型获批进入冷权重存储。
2031-2036+ 改进协议
2031:针对硬件研发和其他高风险领域的限制
美中协议着手应对的核心问题是智能爆炸。但智能爆炸并非唯一需要应对的威胁。另一个核心关切是,AI可能促成工业爆炸、过多的AI硬件进展,或其他危险的科学进展。
对担忧AI软件进展的论证在AI 2027中有所阐释:超人类的AI研究员可能自举成一个我们或许无法控制、且我们尚未弄清如何对齐其目标的超级智能。在快速起飞下,担忧过多硬件进展的论证会被这一点所盖过,但在方案A协议下,如果我们只放缓软件进展,那么在缺乏单独缓解措施的情况下,硬件驱动的接管实际上可能构成接管风险的大部分。
担忧不受约束的硬件进展的三大理由:
同样地,我们希望对其他高风险科学领域,例如生物学研究,也限制其研发。我们对此的默认提案是,在大部分公开部署上依赖推理拒答和监控,然后可能设立专门地点,允许在相互验证的研究实验室中开展高风险的硬件和其他科学研究,我们在那里做出某些(不一定相同的)安全-透明度权衡选择,并相互验证公司遵守硬件研发的滴定规则,这些规则同样可以是安全论证、临时规则、人类可解释性要求和资源上限的某种组合(类似于软件研究)。
公开部署高能力模型的一个坏处是,它们可能促成危险的研究,或者非法项目可能利用这些模型帮助它们进行AI研究,或直接蒸馏这些模型的输出来帮助训练它们自己的模型。为了使广泛的推理部署不会导致蒸馏、非法项目的能力提升或其他危险研究,不仅需要正确的输出验证,还需要拒答、监控和压缩的某种充分组合。
- 拒答或能力塑形。由联合体(Consortium)公开发布的AI应当在AI研究上表现糟糕。可以将它们设计得在机器学习工程上比在其他任务上更差,以使作恶项目更难利用它们。这有一个坏处,即对加速扩散的安全研究更不利。用强健的拒答而非能力缺失,可能是实现这一目标的另一种方式。
- 由联合体(Consortium)公开发布的AI应当在AI研究上表现糟糕。可以将它们设计得在机器学习工程上比在其他任务上更差,以使作恶项目更难利用它们。这有一个坏处,即对加速扩散的安全研究更不利。用强健的拒答而非能力缺失,可能是实现这一目标的另一种方式。
- 监控。在推理正确性验证之上,还应当有监控器(大概被动而非主动就可以)运行在这些模型上,检查它们是否看起来涉及在做AI研究、大规模训练或其他危险研究。相当可靠地检测这些情形可能是可行的,例如,如果它们在一个涉及跨大量GPU训练代码的代码库中运作,那么这相当明显是一种非法使用。
- 在推理正确性验证之上,还应当有监控器(大概被动而非主动就可以)运行在这些模型上,检查它们是否看起来涉及在做AI研究、大规模训练或其他危险研究。相当可靠地检测这些情形可能是可行的,例如,如果它们在一个涉及跨大量GPU训练代码的代码库中运作,那么这相当明显是一种非法使用。
- 压缩。默认情况下永远不向用户展示任何推理中间过程,并将输出最大限度地压缩为摘要,直至某个小配额。尽可能在多个层级上进行垂直整合,只产出输出:
- 默认情况下永远不向用户展示任何推理中间过程,并将输出最大限度地压缩为摘要,直至某个小配额。
- 尽可能在多个层级上进行垂直整合,只产出输出:
我们目前认为这些是可行的缓解措施,将允许大量的广泛部署,但我们并不确定。应当持续进行针对蒸馏和检测危险研究的测试。
- 为硬件研究设定规则。规则的一个特定子集可能是只允许研究类传统的机器人设计、类传统的芯片设计,因为硬件研究的许多风险在于具有破坏稳定作用的、范式转变式的科学突破,它们可能导致诸如纳米技术或远为易于制造的AI算力之类的东西。而类传统的设计或许仍然具有足够的可改进性,能够在协议下实现硬件和机器人建设的收益。话虽如此,如果它们的可改进性不够,那么做出更宽松的硬件研究限制可能更为可取。在硬件领域,我们对投入与进展之间关系的认识可能并不清晰,就像我们对算力与软件进展之间关系也非常不确定一样。尽管如此,我们可以抱有同样的希望:通过在投入上进行严苛的数量级削减(例如能源上限、材料上限、研究人力上限等),我们或许能够以一种有损但易于实施的方式,迭代地把硬件进展的节奏放慢到被认为安全的水平。
- 规则的一个特定子集可能是只允许研究类传统的机器人设计、类传统的芯片设计,因为硬件研究的许多风险在于具有破坏稳定作用的、范式转变式的科学突破,它们可能导致诸如纳米技术或远为易于制造的AI算力之类的东西。而类传统的设计或许仍然具有足够的可改进性,能够在协议下实现硬件和机器人建设的收益。话虽如此,如果它们的可改进性不够,那么做出更宽松的硬件研究限制可能更为可取。
- 在硬件领域,我们对投入与进展之间关系的认识可能并不清晰,就像我们对算力与软件进展之间关系也非常不确定一样。尽管如此,我们可以抱有同样的希望:通过在投入上进行严苛的数量级削减(例如能源上限、材料上限、研究人力上限等),我们或许能够以一种有损但易于实施的方式,迭代地把硬件进展的节奏放慢到被认为安全的水平。
- 执行硬件研究规则。一旦硬件研究滴定规则设定好,我们就需要一种方式来验证它们得到遵守。一种可能性是使用与软件执行相同的高层次方法,即逐案批准硬件研究作业(或通过某种自动化的白名单/黑名单流程),把作业划分为子步骤并收集关于它们的证据,然后检查随机样本以查合规性。这种方法在硬件情形中的一个问题是,要在例如一个化学实验中获得高可复现性似乎难得多,因为现实世界中的两个实验室不像AI芯片那样同质。这为貌似合理的推诿和违规打开了大门。因此,我们大概需要不对所有事情都采用基于复现的方法。话虽如此,硬件研究中可能有许多切片是可复现的。
- 一旦硬件研究滴定规则设定好,我们就需要一种方式来验证它们得到遵守。一种可能性是使用与软件执行相同的高层次方法,即逐案批准硬件研究作业(或通过某种自动化的白名单/黑名单流程),把作业划分为子步骤并收集关于它们的证据,然后检查随机样本以查合规性。这种方法在硬件情形中的一个问题是,要在例如一个化学实验中获得高可复现性似乎难得多,因为现实世界中的两个实验室不像AI芯片那样同质。这为貌似合理的推诿和违规打开了大门。因此,我们大概需要不对所有事情都采用基于复现的方法。话虽如此,硬件研究中可能有许多切片是可复现的。
- 另一种可能性是,由于许多东西可能是宏观尺度的,你可以用一个你信任的监控方案直接监控一切。不过,可信监控器也许很难构建,因此作为替代,你或许可以让人类检查所有记录的随机样本,并从随机抽样带来的有利检测概率扩展中获益。
总体而言,我们对如何验证硬件研究规则非常不确定,目前的感觉是它可能比软件更难(但也认为它有可能更容易)。话虽如此,我们认为其默认速度和风险水平,以及因此所需的总体放缓幅度,很可能会更低。
2032:机器人和算力的总量控制与交易
如前所述,我们希望阻止地球上机器人和AI芯片数量的爆炸性增长威胁协议的稳定。默认情况下,我们目前的朴素建模预测,即便采用当前的硬件设计,我们预测在方案A情景中将达到的AI和机器人能力也会导致生产更多AI芯片和机器人的原始成本与其经济价值之间出现巨大差距。默认情况下,我们认为这会导致再投资螺旋和非常快的翻倍时间。
在方案A中,我们提议从2032年开始设定一个上限,通过总量控制与交易(cap & trade)监管,将地球上机器人和AI芯片的数量限制在约6个月的翻倍时间内,其中私营公司需要在任何给定时期内竞标有限的机器人和AI芯片生产许可。这个上限应当以机器人对工业生产的有用性以及AI算力在AI工作负载中的有用性为单位来设定,衡量这两者——尤其是在机器人的情形中跨任务和跨形态衡量——可能是困难和混乱的(例如,机器人与更传统的机器之间界限模糊)。尽管如此,我们认为为不同的机器人和硬件设计相当好地衡量这些东西,并相应地分配总量控制与交易的限额,应当是可行的。
如果机器人和/或AI算力生产遍布全球,那么实际执行总量控制与交易的许可规则可能非常困难,因此我们提议将新建的工业产能和机器人集中到经济特区(SEZ)中,以便更容易地执行总量控制与交易规则。
我们对此的提案是将所有新建的工业产能和机器人集中到经济特区(SEZ)中,将执行及相关监视集中在这些受限区域,并允许经济的其余部分不受任何硬件验证检查。
然后,经济特区可以对硬件研究和/或仅推理和软件研发采用类似的高层次验证方法,即把生产分解为离散步骤,并由人类对这些步骤进行随机的、手动的审计(和/或借助可信AI监控协助)。
然后,经济的其余部分可以不受验证,但大概应当对机器人、电力和硬件生产的其他潜在投入设置上限。如果这些上限较低,那么经济特区之外可以进行最少的监视。话虽如此,我们猜测这些上限可能因为人们真的想要分散的机器人而代价太高、无法保持足够低。因此,对分散的机器人进行可靠的地理定位、也许再加上随机检查可能是有好处的。为了同样避免过多的分散算力,我们还提议机器人只配备极少的未经验证的边缘算力,而在很大程度上通过云端、由受监控(理想情况下由AI自动化以保护隐私)且经验证的仅推理集群来提供服务,直到有了稳健的边缘算力验证为止。
同样的总量控制与交易原则被扩展到其他在不受限数量下具有破坏稳定作用、但在较低数量下可以是安全的产品和服务。两个主要例子是配备边缘算力的产品和不受监控的推理。可能特别依赖边缘算力的东西包括自动驾驶汽车和消费级算力,而不受监控的推理对政府的军事行动可能特别有价值。在总量控制与交易下,该机制可以在维持协议稳定的安全的社会规模上限之下,容纳这些活动合法存在。然后可以有许可的市场,人们、企业和政府可以在其中相互竞标以获得相应权利。
我们提议设定一个上限,允许世界上存在3000万有效H100e的未经验证边缘算力,估计有2500万有效H100e早于协议就已存在,因此只有500万额度可用于新的未经验证生产。在有了足够的边缘验证措施后,这些算力可以豁免。
不受限制地存在于消费级设备、自动驾驶汽车和机器人中的边缘算力,可能会引入大量可被非法项目利用的算力存量。在协议之前,消费级和边缘算力很可能包含一些AI相关算力(例如拥有单块GPU的爱好者、自动驾驶汽车芯片),以及大多为非AI相关的算力(在AI工作负载上有效性低的芯片),但其数量非常庞大(即,有数百亿部手机,每部对AI工作负载的有用性约为H100的0.1%-1%,这仍意味着数千万H100等效算力,即约占世界上AI相关算力总量的10%)。在我们的算力补充材料中,我们估计这将约为2500万有效H100e。
届时应当用一个更好的、关于在前沿AI工作负载中有用性的模型来更精确地估计这一点。如果发现消费级算力的有用性高于我们的估计,那么避免大量消费级算力被搜罗起来用于秘密项目就变得更加重要,因此例如可能有理由开展一项高优先级的算力回购努力。
我们预计我们提议的上限将导致“边缘验证”(即,本质上是稳健的硬件机制)的快速创新,以避免许可成本。我们预测将会有大量本地AI能力低的廉价手机,而拥有大量本地或“边缘”AI算力的手机或其他消费级设备起初会非常昂贵,但不需要被禁止。然后几年后将会有稳健的边缘验证,可以让强大的边缘算力也变得廉价(无需许可),例如通过硬编码的代码和权重。这个上限被设定为:需要转移消费级算力中显而易见可察觉的份额,才能显著加速一个秘密项目(或给坏行为者太多武器)。至少在方案A的开始阶段,一个令人遗憾但可能必要的现实是:如果你想拥有一块也可以用于AI的高档游戏GPU,你需要付一笔溢价(因为我们不能让每个人都拥有一块,否则搜罗大量这类GPU来贡献给一个作恶算力集群就会变得太容易)。或者用经济学的说法,未经验证的边缘算力带有很大的负外部性(被秘密项目利用的风险)。
在未经验证的消费级算力上限之上,对于允许以单件销售的消费级算力,设定某个有效H100e的临界值(例如,带有特定的算力、带宽、内存容量和网络速度阈值)可能是可取的(在把芯片汇集成一个秘密项目的难度、或因此的检测难度与芯片绝对数量的关系比与算力的关系更为紧密的程度上)。可能还会有一档算力,我们要求它必须具备位置追踪措施(以使秘密项目的使用更易被检测)。
把研究滴定和生产限额放在一起,我们有以下概览:
2033:安全改进
到2033年,我们预计硬件安全,以及数据中心、验证机制和能力的更一般的安全属性,都已显著改善。到2033年底,世界上约99.9%的算力都是协议后算力,这意味着直接关闭所有协议前的集群和算力是轻而易举的,绝大多数算力都在从零建造的、更安全的新地点。此外,到2034年底,届时存在的算力约有90%将是在2033年或2034年生产的。这意味着到那时所做的安全改进,仅在1-2年内就可以已经广泛到位。类似的动态适用于制造设施。
我们对届时哪些是可能的高度不确定,但我们的一些主要想法包括:
- 从零建造、具有极佳侧信道和物理隔离属性的数据中心。
- 在标准化(以求可复现性)以及更一般地改善推理和研发工作负载软件栈安全方面取得巨大进展。
- 从零建造的新算力生产设施(晶圆厂),配备相互监控措施,并与供应链共址,甚至可能与它们将要填充的最终集中式数据中心共址,以最小化攻击面。
- 开始出现某些软硬件协同依赖,尤其是随着架构变化或数字格式的变化,从而使这些范式中的优化和进展在协议前的算力上适用性更低。
- 提高验证机制的日志记录/证据收集粒度,尤其是研发数据中心的,其日志记录技术与后端网络上极高带宽的数据通路兼容,以减少开销。
- 普遍改善硬件安全属性,具备更稳健的可信执行、安全启动、加密、可复现性等,这些对重算服务器尤为重要。硬件上某种程度的标准化对可复现性可能也有帮助。
- 用于对某些工作负载进行自动化片上验证的特殊硬件设计,特别是在某些芯片上硬编码权重以验证它们是仅推理的。这对“边缘验证”可能特别有用,能够在消费级产品中容纳更多AI算力而没有被用于秘密项目的风险。
2034:验证改进
在整个2030年代,世界上AI算力总量呈爆炸性增长。一个值得注意的重要动态是,随着验证之下的算力总量增长,验证负担(需要更高的覆盖范围)也在增长。在方案A中,出于与协议稳定性权衡相关的其他原因,我们既预测也建议进行大规模硬件建设(由总量控制与交易机制加以限制以保持可验证)(硬件不太可能泄露给非法项目,因此差别化地增加合法项目的可用能力)。
验证保证曲线需要改进,以使任何潜在的、非可忽略的作恶内部部署都有很高的被检测机会。到2034年,每小时从每块前沿GPU(每块约100 H100e,因此约为100 H100e-小时的数据包)收集一个数据包,加上1%的重算预算,附录中的数学显示,验证方在一个作恶内部部署累积了约46,000 H100e-小时的未获批工作后,就能以99%的置信度将其捕获,因此一个持续的10K H100e部署会在约4.6小时内被检测到,1K的会在约46小时内,以此类推。
这是一个雄心勃勃的验证规模,它还依赖于验证机制上极佳的完整性安全。我们认为将其扩展到这么远是可能的,尤其是在AI协助下,但我们并不确定,而且我们认为为了不把验证负担增加这么多,把算力上限设得更低是有可能合理的。
2035:把数据中心迁到海洋
最大的持续风险之一是协议破裂、各行为方重返竞赛。由于算力规模的巨大增长(因安全监管)尚未转化为能力进展,重返竞赛可能比最初的现状还要危险,尽管到此为止已取得了对齐进展,因为如今事情会进展得更快。这促使我们采取措施,以便在协议破裂时能够回到协议前的算力水平,甚至更小的算力规模。
我们认为,由于有机器人和AI劳动力,在国际水域的海洋上建造新的数据中心产能所涉及的相对工程和后勤成本将足够低,使得在2035年左右这样做值得,因为在协议破裂的情况下,任何特定行为方都会更难防守它,摧毁它的升级性也会小得多。这是一项有意为之的、相互确保算力摧毁的措施,以增加协议的稳定性。
2036年及以后 高级稳健性改进
到方案A的后期,我们对在安全、验证和协议稳定性方面哪些稳健性改进将成为可能越来越不确定。潜在地,一些极其雄心勃勃的事情将成为可能,这里的一次头脑风暴包括:
- 完全重写软件栈,使其在很大程度上或完全经过形式化验证。
- 利用压倒任何潜在秘密行为方的资源,对验证方案或安全措施进行大规模红队测试。
- 以相互同意的、对称的方式利用AI和机器人劳动力追查潜在的秘密项目,例如我们的秘密项目补充材料中探讨的“AI银弹”:可靠的测谎仪、隐私保护型AI验证,以及极致的工业验证。
附录:基于数据包的验证
本附录推导用于部分重算的随机抽样的数学,以说明为什么它在检测不正确的工作负载方面扩展得如此有利。我们在这一分析中做出的一个关键简化假设是,工作负载数据包是完美可复现的。
A.1 设置
在这一分析中,我们把验证视为对一个数据包流的抽样问题。数据包是一个可复现的计算单元,验证方可以重算它:它的输入、指令和输出都在证据收集点(例如网络分接器)被收集。计算实际上是什么(一次前向传播、一个训练批次)不影响下面的数学。我们做出的进一步简化假设是:
- 统一大小。每个数据包代表相同数量的底层算力。非统一的数据包也行,用一个加权抽样论证,它不会改变定性结论。
- 独立随机抽样。验证方以相同的概率独立地审计每个数据包。实际上你会进行无放回抽样。
设验证方的数据池为某个数据包集合;它可以是单次训练运行、某个月内协议下运行的所有工作负载的每个数据包,或某个集群的流量。设 N packets N_{\text{packets}} N packets 为该池中数据包的总数,s = 1 / N packets s = 1 / N_{\text{packets}} s = 1/ N packets 为数据包大小(每个数据包代表该池的比例),C C C 为重算预算(验证方能负担得起重算的池的比例),N verified = C ⋅ N packets = C / s N_{\text{verified}} = C \cdot N_{\text{packets}} = C / s N verified = C ⋅ N packets = C / s 为实际被审计的数据包数量。
A.2 通过随机抽样进行检测
本节的检测数学是独立推导的,但与 Rinberg et al. (2025) 中的分析相符。假设一个攻击者替换 N fake N_{\text{fake}} N fake 个数据包,将其中每个数据包中申报的计算替换为其自己的未经授权的计算。设
为伪造数据包的比例。如果验证方以概率 C C C 独立地审计每个数据包,那么 N fake N_{\text{fake}} N fake 个伪造包中没有一个被审计到的精确概率为
对于较小的 C C C 和适度大的 N fake N_{\text{fake}} N fake ,这可以很好地用被抓获的伪造包数量的泊松分布来近似,其均值为 λ = N verified ⋅ F fake = C ⋅ N fake \lambda = N_{\text{verified}} \cdot F_{\text{fake}} = C \cdot N_{\text{fake}} λ = N verified ⋅ F fake = C ⋅ N fake :
因此抓获该攻击的概率(在攻击规模 F fake F_{\text{fake}} F fake 下的检测置信度)为
我们将始终使用泊松形式,因为它是对该扩展性最简洁的表达。它只有在 C C C 接近1或 N fake N_{\text{fake}} N fake 为个位数时才失效,而这也正是随机抽样不再给你带来任何好处的时候(参见 §A.3 末尾的讨论)。
A.3 保证曲线
保证曲线由覆盖范围和置信度决定,它们可以用 F fake ∗ F^{*}_{\text{fake}} F fake ∗ 来表达,即我们愿意在不被检测的情况下容忍的伪造数据包的最大比例:
- 覆盖范围 = 1 − F fake ∗ \;=\; 1 - F^{*}_{\text{fake}} = 1 − F fake ∗ ,即我们声称合法的工作负载的比例。
- 置信度 = 1 − e − N verified ⋅ F fake ∗ \;=\; 1 - e^{-N_{\text{verified}} \cdot F^{*}_{\text{fake}}} = 1 − e − N verified ⋅ F fake ∗ ,即我们会抓获处于或高于该阈值的任何实际违规的概率。
置信度公式来自 §A.2 :P ( detected ) = 1 − e − N verified ⋅ F fake P(\text{detected}) = 1 - e^{-N_{\text{verified}} \cdot F_{\text{fake}}} P ( detected ) = 1 − e − N verified ⋅ F fake ,在阈值 F fake ∗ F^{*}_{\text{fake}} F fake ∗ 处求值。重算预算通过 N verified = C ⋅ N packets N_{\text{verified}} = C \cdot N_{\text{packets}} N verified = C ⋅ N packets 体现,因此被审计的数据包越多,曲线就越向外推。
针对几种验证预算(即不同的 N verified N_{\text{verified}} N verified 值)绘制置信度对覆盖范围的图:
这些曲线展示了在不同 N verified N_{\text{verified}} N verified 值下的置信度-覆盖范围关系。更高的 N verified N_{\text{verified}} N verified 给你更高的保证(使曲线右移)。由于 N verified = C / s N_{\text{verified}} = C / s N verified = C / s ,可以通过以下两种方式使曲线上移:(1) 增加重算预算 C C C ,或 (2) 缩小数据包大小 s s s 。
乘积 C ⋅ N fake C \cdot N_{\text{fake}} C ⋅ N fake (重算预算乘以伪造数据包数量)是决定99%抓获概率的单一量:它只需超过约4.6即可。
这使极限情形颇具启示性。设想你每服务器-小时抽样一个数据包,因此 p = 1 p = 1 p = 1 服务器-小时,而攻击也只是单个伪造数据包(一个作恶的服务器-小时埋藏在一个长得多的、比如说长达一年的工作负载中)。当 N fake = 1 N_{\text{fake}} = 1 N fake = 1 时,泊松近似会说你需要 C ≥ 4.6 C \geq 4.6 C ≥ 4.6 ,这没有意义:C C C 是一个比例,上限为1(你无法重算超过100%的数据包)。
这就是泊松近似失效的区间,正确的公式是无放回抽样的精确公式:
对于 N fake = 1 N_{\text{fake}} = 1 N fake = 1 ,这给出 P ( catch ) = C P(\text{catch}) = C P ( catch ) = C 。要以99%的置信度抓获单个伪造数据包,你需要重算所有数据包的99%,即你基本上已经放弃了抽样,正在进行完整验证。周围工作负载的规模无关紧要:你是在抛一枚以 C C C 为偏置的硬币。
只要 N fake N_{\text{fake}} N fake 至少有几十个且 C C C 较小(比如10%以下),泊松公式就是准确的。对于 N fake = 100 N_{\text{fake}} = 100 N fake = 100 ,99%抓获所需的精确预算是4.5%,而泊松为4.6%,非常接近。对于 N fake = 1000 N_{\text{fake}} = 1000 N fake = 1000 ,精确答案是0.459%,而泊松为0.46%。随着 N fake N_{\text{fake}} N fake 增长,两者符合得更好。只有在 N fake N_{\text{fake}} N fake 很小的角落里两者才会分歧,而那也恰恰是随机抽样不再有用、你不得不重算一切的角落。
因此实用的结论是:一旦你要抓获跨越至少数十个数据包的攻击,随机抽样就能给你带来很多好处。要抓获低于这个规模的攻击,就缩小数据包(减小 p p p ),使同样的伪造计算工作跨越更多数据包。
A.4 计算实例
A.4.1 100T-token 训练运行中的 100K-token 后门
考虑一次 N tokens = 10 14 N_{\text{tokens}} = 10^{14} N tokens = 1 0 14 个token(100T)的训练运行,使用分布式数据并行。服务器机架之间的网络分接器记录每一个梯度步骤(其输入批次、梯度更新以及由此产生的检查点更新),因此每个梯度步骤是一个数据包。攻击者想通过悄悄地在 N fake tokens = 10 5 N_{\text{fake tokens}} = 10^{5} N fake tokens = 1 0 5 个(100K)不符规范的token上训练来插入一个后门。
| 量 | 符号 | 值 |
|---|---|---|
| 训练token | N tokens N_{\text{tokens}} N tokens | 10 14 10^{14} 1 0 14 |
| 攻击规模(后门) | N fake tokens N_{\text{fake tokens}} N fake tokens | 10 5 10^{5} 1 0 5 |
| 批次大小 | B B B | 设计选择 |
| 数据包数量 | N packets N_{\text{packets}} N packets | N tokens / B N_{\text{tokens}} / B N tokens / B |
| 数据包大小 | s s s | B / N tokens B / N_{\text{tokens}} B / N tokens |
| 伪造比例 | F fake F_{\text{fake}} F fake | N fake tokens / N tokens = 10 − 9 N_{\text{fake tokens}} / N_{\text{tokens}} = 10^{-9} N fake tokens / N tokens = 1 0 − 9 |
要达到99.9%的检测置信度,我们需要 N verified ⋅ F fake ≥ ln ( 1000 ) ≈ 7 N_{\text{verified}} \cdot F_{\text{fake}} \geq \ln(1000) \approx 7 N verified ⋅ F fake ≥ ln ( 1000 ) ≈ 7 ,即 N verified ≥ 7 × 10 9 N_{\text{verified}} \geq 7 \times 10^{9} N verified ≥ 7 × 1 0 9 。此时重算成本占训练运行的比例为
| 批次大小 B B B | N packets N_{\text{packets}} N packets | 重算成本 C C C |
|---|---|---|
| 10,000 | 10 10 10^{10} 1 0 10 | 70% |
| 1,000 | 10 11 10^{11} 1 0 11 | 7% |
| 100 | 10 12 10^{12} 1 0 12 | 0.7% |
| 10 | 10 13 10^{13} 1 0 13 | 0.07% |
在相同置信度下,把批次缩小 10 × 10\times 10 × 会使所需的重算成本削减 10 × 10\times 10 × (忽略这一事实:在 C 接近1的取值下,我们通过无放回抽样做得比这更好)。数据包大小上的两个实用杠杆是 (1) 更小的批次(每次训练运行更多的梯度步骤),以及 (2) 子批次日志记录,追踪一个批次内部的中间计算(例如单个的前向/反向传播),这可能需要在服务器机架内部、甚至在GPU本身内部设置证据收集设备。
A.4.2 为 100B H100e 的经验证研发中的作恶算力使用设定界限
“2034:验证改进”一节探讨了在验证方对100B H100e的经验证研发算力拥有1%重算预算的情况下,哪些作恶内部部署具有低检测概率。由于对前沿模型以及研发集群其余部分的内部访问,作恶内部部署可能比外部非法项目更可怕。检测依赖于验证系统抓获它们的伪造数据包。下面的数学把 §A.3 的保证曲线转化为具体数值。
从 P ( detected ) = 1 − e − N verified ⋅ F fake P(\text{detected}) = 1 - e^{-N_{\text{verified}} \cdot F_{\text{fake}}} P ( detected ) = 1 − e − N verified ⋅ F fake 出发,代入 N verified = C ⋅ N packets N_{\text{verified}} = C \cdot N_{\text{packets}} N verified = C ⋅ N packets 和 F fake = N fake / N packets F_{\text{fake}} = N_{\text{fake}} / N_{\text{packets}} F fake = N fake / N packets ,N packets N_{\text{packets}} N packets 被约掉,检测概率变为:
在这种形式下,检测概率是重算预算 C C C 和攻击者生成的伪造数据包绝对数量 N fake N_{\text{fake}} N fake 的函数。
要达到99%的置信度,我们需要 C ⋅ N fake ≥ ln ( 100 ) ≈ 4.6 C \cdot N_{\text{fake}} \geq \ln(100) \approx 4.6 C ⋅ N fake ≥ ln ( 100 ) ≈ 4.6 ,因此攻击者在累积到
个伪造数据包的那一刻就以99%的置信度被抓获。当 C = 1 % C = 1\% C = 1% 时,那是461个数据包,与池的规模以及工作如何分布在各工作负载上无关。乘以数据包大小 p p p 就把这转化为对累积作恶算力工作的界限:
考虑2034年一节的运行设置,其中验证方每小时从每块前沿GPU(到2034年每块约100 H100e)收集一个数据包。那么 p = 100 p = 100 p = 100 H100e-小时,且当 C = 1 % C = 1\% C = 1% 时,
无论节奏或分布如何,验证方都以99%的置信度抓获任何在经验证的池内累积了超过约46K H100e-小时未获批算力工作的作恶内部部署。累积作恶工作的界限随 p / C p / C p / C 线性缩放;几个有代表性的运行点:
| 数据包大小 p p p | 预算 C C C | 最大未被检测的作恶工作 |
|---|---|---|
| 100 H100e-小时 | 1% | 46,000 H100e-小时 |
| 100 H100e-小时 | 0.1% | 460,000 H100e-小时 |
| 10 H100e-小时 | 1% | 4,600 H100e-小时 |
| 1 H100e-小时 | 1% | 460 H100e-小时 |
伴随可变的经济代价以及我们讨论的其他权衡。作为基线,我们有超过90%的信心认为,对于推理和训练都存在一个代价高昂的验证方案(例如,进行多年经验证的算力关停,同时开展验证研发冲刺和安全重建)。
我们的秘密项目补充材料讨论了一个秘密项目能够对协议构成威胁或赢得AI竞赛的可能性有多大。
在至少一方对另一方拥有一个它不申报、也不允许对方验证其已断电的大型秘密数据中心存在高度不确定性的程度上,即便这一点也可能难以执行。
另一个目前可以快速执行的现实选项是从数据中心拔除(大部分)后端网络。这可能允许大量推理继续进行(代价较低),但也可能无法稳健地放缓AI开发(推理被用作生成数据的rollout,供别处的联邦学习训练运行使用)。
我们相信这一点的一个关键原因是,验证方只需抓获一次违规,而证明方需要成功隐藏其所有的秘密计算。这就是例如我们在附录中探讨的、由于随机抽样而使部分重算具有有利扩展性的背后原因。
即,不要求算力长时间关停。
以方案A情景为条件(2029年进行了相互芯片申报和检查,且我们的芯片追踪建议得到了称职的执行),我们的秘密项目补充材料估计,一次执行得当的中国转移努力会获得中位数为世界算力0.51%(80%置信区间:0.11%至1.4%)的算力,这意味着“暗算力”总量保持在世界AI相关算力1%以下的概率约为80%。
我们对起飞期(从自动化编码员到超级智能里程碑)进展的算力敏感性并不确定。如果我们(为简单起见)用“少10倍算力你会慢多少”来将其操作化,我们认为它最有可能介于慢2倍到6倍之间(参见《少10倍算力起飞会慢多少?》以及秘密项目补充材料中的匹配模型)。我们预期假想的秘密项目在方案A情景中会遵循的具体轨迹(包括从合法项目泄漏的算法进展的影响),在我们的秘密项目补充材料中有更为审慎的建模和解释。
所谓“确知存在”,我们建议情报机构至少高度自信地知道该算力存在、以及谁拥有它,而不一定确切知道它在哪里(尽管那也有帮助),因为前两个条件应当足以使其无法以貌似合理的推诿方式被排除在未来的相互芯片申报之外。
换句话说,如果没有这项措施到位,一个行为方可能采取的一种策略是:建立它能够蒙混过关的最大规模秘密项目,然后等待,直到它取得足够的对齐进展,以致确信凭借其秘密项目就能取胜。到那时它可以退出协议、摧毁协议后的算力,此时它的秘密项目就会成为世界领先的项目,成功机会很高。如果你的对手拥有一个规模压倒你秘密项目的冷存储算力储备,这种策略就不再可能可行。
有数百亿部手机,每部对AI工作负载的有用性约为H100的0.1%-1%,这仍意味着数千万H100等效算力,即约占世界上AI相关算力总量的10%。
这意味着将会有大量本地AI能力低的廉价手机,而拥有大量本地或“边缘”AI算力的手机或其他消费级设备起初会非常昂贵,直到有了稳健的边缘验证为止。
例如,关于网络的技术细节,如光学速度、带宽、频率。
例如,也许我们认为移交风险已降到10%以下,因此如果在给定时期内使用1%的经验证算力进行的违规有大于10%的风险会造成灾难(即,我们的曲线低于90%置信度、99%覆盖范围这一点),我们就想通过移交退出协议。
例如,披露发生在物理隔离环境内,这在大多数相关情形下应当使其可以容忍。
恢复AI研发的前景对于驱动持续的AI投资也很重要。
这在我们的能力扩展策略补充材料中有更多探讨。这里还有几个更深层的细微差别使情况变得复杂,包括到位的是何种透明度机制,如我们的透明度补充材料所讨论的。
AI研究中的一种研发效率螺旋,其中“更聪明的AI → 更好的研究 → 更聪明的AI”这一反馈回路一直持续到我们无法控制或对齐的AI,而放慢速度以投资于控制/对齐则缺乏竞争力,将公司和国家锁入一个多极陷阱。经过验证的协调,才是走出的道路。
我们将AI相关算力定义为任何能够达到总处理性能(TPP)至少为4,000且性能密度(PD = TPP / 晶片尺寸)至少为4的计算单元。这一定义被设定为略低于A100 SXM GPU——NVIDIA在2021年的最先进芯片。
请注意,这些量没有一个取决于工作如何被划分为各个工作负载。重要的是验证方从中抽样的池。如果有100次不同的训练运行同时进行,而验证方在它们所有的数据包中均匀随机地抽样,那么下面数学中的“工作负载”就是全部100次的并集。计算实例(§A.4.1)中按单个工作负载的表述,只是为了便于谈论一个具体的攻击。