← 返回 AI 2040 首页

算力补充

补充材料 · Supplement

Romeo Dean

本补充材料解释了我们对算力相关数字的估计与预测。它分为两大部分,第一部分为 2029 年之前,第二部分为 2029 年之后(此时它以 Plan A 为条件)。在 2029 年之前的部分,主要目标是逐年预测全球算力总量,并将这些算力细分为若干有信息量的类别,包括 AI 相关算力与非 AI 相关算力、单机设备与集群、区域所有权,以及(针对 AI 相关集群的)数据中心规模。在 2029 年之后的部分,它论证了我们认为在 AI 加速硬件研发与生产的情况下可能生产出多少算力,以及我们对算力在各公司间集中程度的预测、前沿 AI 算力在各用途之间的分配,以及我们对 Plan A 情景下 AI 副本-速度数字将呈现何种面貌的猜测。

图表小结

AI 相关非 AI 相关
集群AI 集群 AI 服务器与 pod。非 AI 集群 CPU 服务器。
单机设备专用消费级 高端工作站与游戏显卡。消费级算力 手机、PC、游戏 GPU。

两个分界线定义了这一划分:如果一枚芯片跨过 AI 算力性能下限,它就是 AI 相关的;如果一个集群以 ≥ 5 GB/s 的速度与至少另一枚芯片相连,它就是集群。

新增 H100e 为年度资本支出 × 成本效率(锚定于 2024/25 年的实际数据 5.09M、13.6M,此后为预测值);已安装存量显示为每年年末的数值。黑色柱条为受 EUV 约束的 §1.1 建设量(2028 年新增约 155M,至 2028 年末已安装约 280M);红色顶帽加入了中国脱离 EUV 的国内制造(§1.3),使全球总量达到约 289M。切换“有效(effective)”即可按 §1.2 的有用性系数重新缩放。

我们对全球全部算力的预测,包括 AI 相关算力与非 AI 相关算力,同时以原始 H100e 和我们的有效 H100e 指标来衡量,后者对内存与网络因素做了调整。全球已安装算力存量以 1 月 1 日为衡量时点。

所有者 = 拥有或租赁该算力的公司所属的国家。全球算力来自 §1.1;中国来自 §1.3.1 的自下而上预测;非中国部分按 85/15 拆分为美国/其余地区。

无交易 vs Plan A,交易达成一年后(至 2029 年末)。Plan A 使资本支出中由债务融资的那一部分崩塌(较 2029 年支出减少约 31%),而由现金流资助的资本支出则保持不变。

在解除不同约束条件下的 Plan A 算力。这两个约束分别是 2032 年的总量管制与交易(cap & trade)政策,它限制了产量;以及硬件研发部署上限,它阻止一支爆炸式增长的硬件研发劳动力将算力成本压得过低、把芯片做得过于易于制造。

算力定义

衡量算力:原始 H100e vs 有效 H100e

本补充材料使用的主要指标是 H100 当量(H100e)——以总处理性能(Total Processing Performance,TPP)衡量的、相当于多少枚 Nvidia H100 GPU 的倍数。

但算力并不是唯一相关的硬件性能指标。算力对 AI 工作负载的有用性还取决于许多其他因素,包括内存带宽、内存容量(向算力存储并输送数据)以及互连(在芯片之间传输数据)。算力(H100e)是我们关注的头条指标,但我们也希望把整体 AI 有用性考虑进去,因此我们还考察另外四种硬件资源,并把它们综合为一个整体的有效 H100e 指标:

资源作用H100(每 H100e)
算力(TPP)数学吞吐量本身(定义了该单位)15,800 TPP
内存带宽向算力输送数据(HBM)3,350 GB/s
内存容量在算力附近存储数据(HBM)80 GB
Scale-up(纵向扩展)在服务器内连接芯片(NVLink)900 GB/s
Scale-out(横向扩展)跨集群连接服务器(Ethernet)50 GB/s

有效 H100e 通过一个单一的有用性系数 U U U 对原始 H100e(它只计入算力)加以调整。

U U U 由上表中另外四种资源构建而成。它针对某枚芯片在其所处时代的代表性 AI 工作负载下,实际被内存供给以及与其他芯片通信的能力进行调整,所有这些都相对于 2024 年一个 10 万枚 H100 SXM 集群衡量,该集群的评分恰好为 U = 1 U=1 U = 1。

对于其 FLOP/s 而言内存充裕、网络良好的硬件可以得到高于 1 的分数(非 AI 的 CPU 服务器携带大量内存与网络、却只搭配相对较少的算力,评分约为 1.4),而例如网络能力较差的算力(如游戏 GPU 和手机)评分则低于 1。

有用性系数在附录中有完整解释。

四类算力

本补充材料尝试对全球所有算力建模,然后以两种相互独立的方式进行划分,从而得到四个类别。

划分 1:AI 相关 vs 非 AI 相关。如果一枚芯片跨过我们的 AI 相关分界阈值的全部四条下限(这些下限被设定为略低于 A100 GPU),它就被视为 AI 相关。

指标分界线A100H100RTX 4090
算力4,000 TPP4,99215,8005,285
内存带宽1.0 TB/s2.03.351.01
内存容量32 GB808024
网络(NIC)100 Gb/s20040064

划分 2:集群 vs 单机设备。

集群 = 在多设备环境中被主动使用,其中至少有 2 台设备以至少 5 GB/s 的双向速度相连。

单机设备 = 作为单一设备被主动使用(例如手机、PC、游戏卡),或以其他方式不满足集群定义。

这些定义为我们提供了四类算力。

第 1 部分. 交易前算力(2029 年之前)

1.1 AI 相关算力

在本节中,我们用一种需求侧方法来预测 AI 相关算力的产量:

所投入的资本支出($)× \times × 成本效率(H100e / $)= 新增算力(H100e)

AI 资本支出趋势在 2023 年第三季度至 2025 年第四季度期间约为每年 1.72 倍,而成本效率(每美元的 H100e)一直以每年约 1.4 倍的速度改善。

来源:Epoch AI —— 超大规模企业资本支出

若天真地外推这些趋势,将得到如下算力预测:

方法为:新增 H100e = 资本支出 × 成本效率,两者均从上述趋势天真地外推(资本支出约每年 1.72×;每美元 H100e 约每年 1.4×)。2024/25 年为 Epoch 的实际数据(AI 芯片销售:2024 年在 2600 亿美元支出下新增 5.09M H100e,2025 年在 4480 亿美元下新增 13.6M)。

本节其余部分将尝试在这一天真基线之上改进该预测。

改进资本支出预测

直到 2025 年,这轮建设几乎完全由科技巨头的经营性现金流支付。然而,若这一趋势持续,超大规模企业的资本支出将在 2026 年第三季度前后有望超过其经营性现金流。

来源:Epoch AI

为做出考虑到这一点的预测,我们把资本支出预测拆分为三个来源:既有趋势的超大规模企业现金流、AI 现金流(来自 AI 公司收入的额外算力支出,近似为前沿 AI 公司收入预测的 80%),以及债务与股权融资(我们在 2025/2026 年已经开始看到其增长)。

我们的预测如下:

在把 2024-25 年钉在 Epoch 的广义资本支出(2600 亿美元 / 4480 亿美元)上之后,这使 2028 年的 AI 资本支出总额达到约 2.4 万亿美元,其中债务达到约 9000 亿美元(占 2028 年建设量的 38%)。(我们把超大规模企业的广义资本支出用作 AI 资本支出总额的替代指标:超大规模企业约占全球 AI 支出的 60-90%,而其资本支出的约 60-90% 是 AI 相关的,我们假设这两个缺口大致相互抵消。)这比天真基线(外推约每年 1.72 倍趋势)得到的 2028 年资本支出 2.28 万亿美元高出 7%!这是因为我们看多的 AI 收入预测(以及我们认为其快速增长会促成的债务融资)实际上把趋势略微向上拉动了。

AI 资本支出总额 = 直接采用 Epoch 的超大规模企业广义资本支出(2024/25 年为 2600 亿美元 / 4480 亿美元)。我们认为超大规模企业约占全球支出的 60-90%,其资本支出的约 60-90% 是 AI 相关的,因此作为一个简化假设,我们假设两者大致相互抵消。超大规模企业现金流(既有趋势)不含前沿 AI 收入(以避免重复计算),我们预测其以每年约 20% 增长,且投入的比例不断上升(约 75→85%)。AI 现金流是来自 AI 公司收入的额外算力支出,近似为前沿 AI 公司收入预测的 80%。债务与股权融资由我们手工挑选为 AI 收入的一个递减倍数(2025-28 年为 3× / 2.8× / 1.8× / 1.6×),至 2028 年达到约 9230 亿美元。这使得 2028 年的资本支出达到约 2.4 万亿美元。

我们的 AI 收入预测遵循一条前沿 AI 公司总 ARR(年化收入运行率)路径:300 亿美元 → 1800 亿美元 → 5000 亿美元 → 1 万亿美元(年度边界从 2026.0 到 2029.0)。请注意,AI 收入是在整年内确认的流量,而非 ARR 运行率,因此这换算为年度已确认收入 2025 年:150 亿美元 / 2026 年:840 亿美元 / 2027 年:3130 亿美元 / 2028 年:7210 亿美元。我们把其中 80% 计为额外的算力支出(即上文的“AI 现金流”流),得到:120 亿 / 670 亿 / 2510 亿 / 5770 亿美元。我们对前沿 AI 公司总 ARR 的推算是手工完成的,且高度不确定。大体而言,我们预计 Anthropic 近期约每年 10 倍的 ARR 趋势会随着其成为收入领先的 AI 公司而放缓,而整体 AI 公司收入趋势将回落到大约每年 3 倍,并略低一些,因为各公司设法在收入 / 推理算力($/FLOP)大致持平的同时让其推理算力在后期以约每年 2 倍增长。这与算力数字之间存在一定循环性,但这是我们当前(高度不确定的)预期。

在这一收入趋势下,合理的债务融资率是多少?首先,五家超大规模企业在 2025 年发行了约 1210 亿美元债券(相比 2020-24 年约每年 280 亿美元的常态),BofA/JPMorgan 预计 2026 年约为 1750-3000 亿美元;像 CoreWeave 这样由债务资助的“新云(neocloud)”背负着约 4 倍收入的债务(约 50 亿美元收入上有 210 亿美元债务);这期 Morgan Stanley 播客认为 2025-28 年约 2.9 万亿美元的建设量中约有 1.15 万亿美元由债务融资。美国投资级发行总额约为每年 1.5 万亿美元。SpaceX 的 IPO 也显示出大规模股权融资的潜力,OpenAI 与 Anthropic 之后可能会跟进类似或更大规模的融资。我们用这些锚点手工把债务设定为 AI 总收入的一个特设倍数,3 倍(2025)→ 2.8 倍(2026)→ 1.8 倍(2027)→ 1.6 倍(2028),给出 2025-2028 年由债务融资的 AI 资本支出约为 360 亿 / 1880 亿 / 4520 亿 / 9230 亿美元。这在 2025-2028 年约 5.1 万亿美元的总建设量中合计约 1.6 万亿美元由债务融资(约 31% 由债务融资),分别比 Morgan Stanley 约 1.15 万亿美元的债务高出约 39%,比其约 2.9 万亿美元的总额高出约 75%,不过值得注意的是 Morgan Stanley 的数字忽略了股权融资。

改进成本效率预测(供给侧)

资本支出预测是一个需求侧预测,而对于成本效率而言,从供给侧来看更为合理。具体来说,本节将聚焦于光刻(主要是 EUV)产能,将其作为可生产多少 H100e 的主要预期瓶颈。

先进逻辑芯片需要 EUV,如今领先的 HBM DRAM 制程节点也使用它(直到最近,DRAM 都完全在没有 EUV 的情况下制造,例如 Micron 直到 2025 年才采用它,因此这是一种成本最优选择而非严格要求;避开 EUV 只是把同样的需求转移到共享的 DUV 产能池上)。鉴于 EUV 设备的复杂性以及广泛的供应链依赖,它极难在短时间内扩产,因此我们预计它将成为最重要、最有信息量的瓶颈。由于其时间上的无弹性(面对价格信号时快速扩产有多难),EUV 设备保有量也相对容易预测。

年份EUV 设备保有量(年初)EUV 新增/年设备通过次数/年AI 逻辑晶圆/年AI HBM 晶圆/年AI EUV 通过次数/年AI 占设备保有量份额
2024220+ 4487M0.2M1.1M7M7%
2025264+ 48104M0.4M2.5M15M15%
2026312+ 65124M0.7M4.6M34M27%
2027377+ 80150M1.0M8.0M68M45%
2028457+ 100183M1.6M13M118M65%
2029(无 Plan A)557+ 125223M2.1M17M172M77%

EUV 设备保有量随时间的演变及 AI 的使用份额。设备保有量在 2024 年从 220 台在运工具起步(我们估计 ASML 在 2021 年末约有 127 台在用 EUV 工具,随后根据 ASML 年报在 2022/23 年分别出货 54/42 台;带来源的完整累积过程见下方详情框)并随其加速的出货量增长。EUV 新增列为 ASML 当年的出货量(ASML 对 2026 年给出“60+”的指引,对 2027 年给出约 80 台)。设备通过次数/年为当年平均设备保有量 × 每台约 36 万次通过。AI 的用量为其逻辑晶圆(× 每片逻辑晶圆约 12-24 个 EUV 层,从 N4→N2)与其 HBM-DRAM 晶圆(× 每片 HBM 晶圆约 4-7 个 EUV 层,计入堆叠与封装良率)之和。AI 的份额从约 15%(2025)攀升至约 77%(2029,无 Plan A)。

AI 对设备保有量的占用同时来自逻辑与内存,因此我们把两者以单一单位相加:一次 EUV 通过 = 对一片晶圆的一次 EUV 曝光(无论印制什么,一台工具每年成像约 36 万次)。以下是 2025 年的累积过程。

1. 设备保有量 → 通过次数。每台扫描机在实践中实际只能达到约 40-50 wph 当量,而铭牌为约每小时 160 片晶圆:真实图案所需的曝光时间比规格假设更长(更高剂量,受光源功率限制),工具的正常运行时间只有约 75-82%,并且在曝光场之间步进也会损失时间(掩模版开销)。把这些扣除后,得到每台工具每年约 360,000 次有效通过(天真的 160 wph × 8,760 小时 ≈ 110-140 万次高出 3-4 倍)。两个反向推算是一致的:某位分析人士(有效 <50 wph)以及 SemiAnalysis(约每月 1,500 片晶圆 × 约 20 次曝光)。从 2024 年初约 220 台在运工具起步(ASML 在 2021 年末约有 127 台在用 EUV,随后在 2022-23 年分别出货约 54 台和约 42 台;仅 TSMC 就运行着约 56% 的产能),设备保有量在 2025 年完成约 1 亿次通过/年,随着 ASML 的 EUV 出货量加速(2025 年约 48 台,到 2029 年趋向约 120 台/年),到 2029 年增长至约 2.2 亿次。

2. AI 的逻辑用量。AI 加速器在 2025 年占用约 40 万片先进制程晶圆,大约是 TSMC 约 300 万片 ≤5nm 晶圆的约 12%(Epoch 的直接估计;Blackwell 采用 N4,Nvidia 现在才开始爬坡进入 N3)。按 N4 约 14 个 EUV 层计算,这约为 500 万次通过。(一颗约 800mm² 的裸片在约 70% 良率下每片晶圆产出约 42 颗良品裸片,据 Cerebras;按如今约每片晶圆 28-36 H100e → 随着 FP4 + N4→N3→N2 缩小 + Rubin 的高单芯片 H100e 复合作用,到 2029 年约 120,纯逻辑上限约为 2 亿 → 12 亿 H100e/年。这一缩小在 EUV 方面并非免费:模型对每片逻辑晶圆计入不断增长的通过次数,从 2024 年约 12 上升到 2029 年约 24,因为更多层移到了 EUV 上。)

3. AI 的内存用量(更大的那一半)。基本上所有 HBM 都用于 AI,而 HBM 每 GB 使用大量晶圆。据报道,2025 年 HBM 的 TSV/后段产能约为每月 40 万片晶圆(SK Hynix 约 17 万 + Samsung 约 16.5 万 + Micron 约 6 万,TrendForce),但那是产能上限,而非实际投产量。扣除良率后,AI 的实际用量约为每年 250 万片 HBM 核心晶圆:一片 24Gb 裸片的 DRAM 晶圆毛容量约 1,400 GB,在约 57% 的核心+堆叠(KGSD/TSV)良率和约 88% 的 CoWoS 组装良率之后,每片投产晶圆只出货约 700 GB 净容量,而 2025 年的设备保有量需要约 18 亿 GB 的 HBM(自下而上:约 1,170 万台加速器 × 约 150 GB,与约 350 亿美元 / 约 20 亿 GB 的行业总量交叉核对)。领先的 HBM 节点使用真正的 EUV(SK Hynix 1b 约 4 层,1c 约 6 层),因此按约 4 层计算约为 1,000 万次通过,大约是 AI EUV 用量的三分之二。(按每 GB 计,HBM 消耗的晶圆约为 DDR5 的 3 倍。)

4. AI 的设备份额。逻辑(约 500 万)+ HBM(约 1,000 万)= 约 1,500 万次通过 / 约 1.04 亿设备总通过 ≈ 2025 年 15%。不断上升的 HBM 产量与 EUV 层数,加上 AI 向 EUV 密集的 N3/N2 逻辑迁移,使其到 2028 年达到约 64%、到 2029 年达到约 77%,AI 在 2029-30 年前后逼近对 EUV 设备保有量的饱和占用。这一用量反馈回成本附加费(更多 EUV 使用意味着更高的附加费和每美元更少的 H100e),因此它是自洽求解的,也正是它削减了后期的建设量(2028 年新增约 155M,相比天真的约 190M)。

5. 为什么用通过次数而非晶圆数。AI 的晶圆是一种混合体:一片 HBM 晶圆只需约 4 次 EUV 通过,而一片先进制程逻辑晶圆需要约 14-22 次,因此按晶圆计数会把对设备保有量的截然不同的占用当作相等来对待。由于 AI 的晶圆结构偏重 HBM,按晶圆计数会高估其早期份额(那会把 2025 年推高到远超过按通过次数得出的约 15%)。这两种度量到 2029 年趋于一致,原因很简单:到那时 AI 已是逻辑晶圆池和 HBM 晶圆池两者的多数使用者,因此结构差异不再重要,无论哪种计数方式都落在约 80% 左右。

AI 对 EUV 设备保有量的份额从 2024 年约 7% 增长到 2028 年约 64%(并在 2029 年达到约 77%,接近饱和)。我们预计这将转化为更高的价格,因为它需要在对设备保有量的其他用途(例如手机、PC 等)竞标中胜出。为对此建模,我们采用一条手工选定的、取决于设备使用率的成本附加费曲线(高度不确定的特设选择)。

我们对 AI 所占用的全球 EUV 时间(通过次数)百分比的预测,同时包括逻辑与内存晶圆(并计入良率)。它从 2024 年约 7% 走向 2028 年约 65%(2029 年约 77%),因此 AI 在 2029-30 年前后撞上 EUV 之墙。成本附加费(曲线选项卡)附加费 = A·u^K(默认 A = 100%,K = 2.5)与这条推导出的路径挂钩,并反馈回算力预测(用量更多 → 附加费更高 → H100e 更少),求解到一个不动点,使其到 2028 年攀升到约 33% 并抑制后期建设量。K 与 A 滑块用于调节它对使用者“咬”得有多狠,供人试玩。这些参数是手工选定的,并且极其不确定。

把这一附加费应用到天真的性价比趋势上,得到一条更新后的算力成本效率趋势,其在 2025-2028 年平均约为每年 1.25 倍(并在 2028 年随着附加费发挥作用放缓到仅约每年 1.1 倍),而非历史上约每年 1.4 倍。

每 H100e 的成本可分解为 每片晶圆的美元数 ÷ 每片晶圆的 H100e 数。

成本数字是一个恒等式,$/H100e =(每片晶圆的全部成本 $)/(每片晶圆的 H100e 数),我们对其中三个量中的两个有不错的估计,因此我们把每 10 亿美元的晶圆数(每片晶圆全部成本 $ 的倒数)作为残差反推出来,然后检查它所隐含的晶圆成本是否合理。

$/H100e(已知)。2024/25 年为观测值(年度资本支出 / 新增 H100e:约 5.1 万美元、约 3.3 万美元)。对于 2026-28 年,我们取约每年 1.4 倍的性价比趋势并用 EUV 附加费对其加以惩罚,得到约 2.3 万 / 约 1.8 万 / 约 1.6 万美元。

每片晶圆的 H100e 数(已知,约 28 → 约 98)。一颗约 800mm² 的掩模版尺寸上限裸片在每片 300mm 晶圆上产出约 64-72 颗毛裸片,在约 70% 良率下约 42 颗良品;扣除下游损耗(封装良率)后,2024 年每片晶圆剩下约 28 颗可售 H100e。它以约每年 1.4 倍的速度攀升到 2028 年约 98(2029 年约 120),来源于 FP4/精度(无需 EUV)、N4→N3→N2 缩小(以额外 EUV 层为代价)以及 Rubin 的高单芯片 H100e,所有这些都相当合理地建立在裸片尺寸、节点与精度估计之上。(2025 年核对:约 1,360 万 H100e / 约 38 万片 AI 先进制程晶圆 ≈ 约每片晶圆 36 H100e。)

每 10 亿美元的晶圆数(残差)。把这两者相乘,反推出隐含的每片晶圆全部成本 $:约 143 万美元(2024)→ 约 118 万美元(2025)→ 约 120 万美元 → 约 136 万美元 → 约 156 万美元(2028),即每 10 亿美元的晶圆数约 700 → 约 845 → 约 640。2025 年的下探直接来自观测数据:2024 年处于早期且供给受限,而 2025 年迎来 Blackwell 放量,因此每片先进制程晶圆的全部成本下降。从 2026 年起隐含的 $/晶圆上升,这正是我们所预期的:TSMC 平均售价每年 +5-10%(N2 约 3 万美元,比 N3 高 +10-20%)、CoWoS 每年 +15-20%、数据中心 $/MW 上升,再加上 EUV 附加费。这一水平也与一个自下而上的单片晶圆累积过程相核对:代工约 2.5 万-3 万美元,为该晶圆约 28 颗裸片配套的 HBM 约 5 万-7 万美元,CoWoS 约 1 万-1.5 万美元,再加上约 4-5 倍的芯片设计商加价,得到每片晶圆约 40 万-50 万美元的加速器价值(大致每台加速器 1.5 万美元);每片晶圆剩下的约 70 万-110 万美元(每台加速器约 2.5 万-4 万美元)是非芯片建设:数据中心、电力、土地、网络。因此这一残差看起来是合理的:晶圆成本在 2025 年之后是一股温和的逆风,而 $/H100e 从约 5.1 万美元到约 1.6 万美元的整个下降都来自算力密度的改进。

把这一成本效率基线(含稀缺性附加费)乘以资本支出总额,得到年度新增 H100e(2028 年约 155M),以及到 2028 年末约 280M 的已安装存量。我们还针对芯片存活率极其轻微地向下调整。中国本土制造的算力(§1.3)不占用这条 EUV 供应链,因此我们单独预测它并把它加到这一总量上,使全球 AI 存量达到约 287M。

即便是对 AI 设备保有量而言,有效 H100e 与原始 H100e 也会逐渐分离。内存墙把有效性拖到 1 以下(受 FP4 提振的 TPP 的增长快过 HBM 带宽与容量),而不断扩大的相干 NVLink 域(HGX-8 → NVL72 → NVL144 → NVL576)又把它推回上去。两者大致相互抵消:2024 年有一个温和的溢价(约 1.16,此时设备保有量内存充裕),随着内存墙和更大规模的训练运行开始变得更重要,到 2029 年它消退到约 1。这与 §1.2.3 采用同一个有用性模型(完整推导见附录);驱动它的、按部署加权的设备保有量输入(以 H100e 计的纵向扩展域 = 相干芯片 × 每芯片 H100e)为:

AI 设备保有量(按部署加权)202420262028
每 H100e 的 HBM 带宽(GB/s)4,0803,3303,610
每 H100e 的 HBM 容量(GB)1109185
纵向扩展域(H100e)184436929
每芯片 H100e1.152.585.34
有效 H100e 对原始之比1.161.061.04

1.2 全部算力

§1.1 预测了 AI 相关算力。现在我们扩展到全球全部算力。我们把全部算力拆分为六个设备类别:

类别示例AI 相关
AI数据中心 AI 加速器(H100、B200、MI300)是
非 AI 服务器数据中心 CPU 与非 AI 加速器否
PC笔记本与台式机否
手机智能手机否
游戏游戏 GPU否
其他微控制器、汽车、边缘否

我们的方法通过考察两个量来运作。设备侧是我们通过对出货单位数量与每台设备平均搭载的算力计数所得到的算力。光刻侧是全世界能够制造的算力,通过对晶圆厂能生产的晶圆数量与每片晶圆转化成的算力计数得到。

设备侧 → \to → H100e = 单位数 × \times × 每单位 H100e

光刻侧 → \to → H100e = 晶圆数 × \times × 每片晶圆 H100e

每片晶圆的算力是我们最不确定的量,因此我们尝试从历史中把它钉定(在历史中我们能对所有其他数值得到不错的估计)。

1.2.1 校准(2015 至 2024)

在 2015 至 2024 年期间,我们考察设备需求(出货单位数与每单位算力)和光刻供给(出货晶圆数),并据此反推出一个每片晶圆算力的估计,然后可以用它基于晶圆分配与晶圆供给预测按类别预测未来算力(这比设备需求预测更容易做,因为供给侧可以用相对可预测的光刻上限来预测)。

设备侧

出货量(百万台/年)20152018202020222024
手机1K1K1K1K1K
PC276259304292263
游戏4450403836
AI0.10.30.62.07.5
非 AI 服务器8.011131413
其他12K20K24K28K30K
每单位 TPP20152018202020222024
手机0.55.02560100
PC8.0203862100
游戏152505501K2K
AI3501K2K5K10K
非 AI 服务器3075150320500
其他0.10.30.50.70.9

TPP =(某精度下的峰值密集 TOPS)×(该精度的位长),在各精度上取最大:美国 BIS 出口管制指标(ECCN 3A090)。锚定量级的参照:V100 ≈ 2,000,A100 = 4,992,H100 ≈ 15,800,RTX 4090 = 5,285(刚超过 4,800 的管制线),B200 ≈ 36,000。所有数字均为按销量加权的平均值,因为旗舰产品只占单位数中极小的份额。来源:Federal Register 88 FR 73458、CSET 释义、Princeton ISCA 2025。

光刻侧

晶圆(百万/年)20152018202020222024
手机1.81.91.91.92.1
PC0.70.70.90.90.9
游戏0.20.30.20.30.3
AI0.00.00.00.00.3
非 AI 服务器0.10.20.30.30.3
其他5.59.7121517
设备需求(合计)8.313151820

按类别的光刻利用率如下所示。我们把每个类别都当作一个封装,包含其逻辑及相关内存(HBM、DRAM、NAND)。

每年占用的 EUV 曝光通过次数(份额所掩盖的绝对视角)。量产 EUV 约始于 2019 年;早期几乎全是手机/PC,AI 在约 2022 年之前不可见。

每片晶圆的算力就是(每片晶圆良品裸片数)×(每裸片 TPP)/ 15,800,两者都基于设备规格估计,与晶圆厂运行得有多满无关:

因此 AI 的大而高 TPP 的裸片使其每片晶圆密度最高,而大宗“其他”(微小、TPP 接近零的裸片)密度最低,这正是把每个类别的算力除以其晶圆数所得到的结果:

隐含 H100e / 晶圆20152018202020222024
手机0.030.231.12.43.8
PC0.200.460.831.31.9
游戏0.192.85.69.212.3
AI1.45.07.214.216.8
非 AI 服务器0.110.250.460.901.3
其他0.010.040.060.090.10

作为进一步核对,这些速率所隐含的晶圆需求,相对于我们估计的光刻池(广义全球逻辑晶圆产量,2024 年约 3,000 万片晶圆,这一规模与 SEMI 的 300mm 产能一致),在整个十年间为该池的约 62% 至约 69%:一个合理、稳定、从未超出该池的份额。该池的水平本身就是校准到落在这一区间的,因此这说明裸片尺寸、算力与产能估计是相互一致的,而非独立验证其中任何一个。

由此得到的每年按类别新增的 H100e 如下所示,同时给出原始与有效 H100e:

按类别每年新增的原始 H100e。

1.2.2 预测(2025 至 2028)

我们从 §1.1 取来 AI 的算力预测,并把剩余的光刻产能配给其他算力类别。AI 首先占用其光刻用量,然后每个非 AI 类别保持其冻结在 2024 年的份额,分享剩下的晶圆。这给出如下推算:

流量(H100e/年)2025202620272028
手机12.0M(33%)16.6M(25%)21.5M(18%)31.0M(14%)
PC2.8M(7.7%)4.1M(6.2%)5.5M(4.5%)8.8M(4.0%)
游戏5.2M(14%)7.2M(11%)9.4M(7.8%)14.2M(6.5%)
AI14.2M(39%)35.7M(54%)80.6M(67%)159.7M(73%)
非 AI 服务器558K(1.5%)725K(1.1%)901K(0.7%)1.2M(0.5%)
其他2.0M(5.4%)2.3M(3.4%)2.6M(2.2%)3.2M(1.5%)
合计36.7M66.6M120.5M218.1M

AI 来自 §1.1;非 AI 获得剩余的逻辑晶圆 × 上升的每片晶圆 TPP。计入逻辑 + HBM,AI 到 2028 年达到 EUV 设备产能的约 15% → 65%(此时设备整体利用率约为 100%),但仅为全部逻辑晶圆的约 40%。

晶圆/年2025202620272028
AI 逻辑晶圆378K664K1.0M1.6M
+ AI HBM 晶圆(先进 DRAM)2.5M4.6M8.0M12.8M
= AI 尖端晶圆(逻辑 + HBM)2.9M5.2M9.1M14.4M
占 EUV 设备产能百分比(逻辑 + HBM)15%27%45%65%
占广义光刻池百分比(全部节点)9.3%16%27%40%
可分配逻辑池(× 利用率)20.9M22.0M23.2M24.4M
留给非 AI 的剩余20.6M21.4M22.1M22.8M

来源:AI 预测与每加速器物料清单

本节其余部分是该表背后的供给侧论证,即每个类别使用了光刻上限的多大份额。

每年占用的 EUV 曝光通过次数。AI 的用量爆发式增长,到 2028 年把设备保有量推向饱和。

用于逻辑 vs 内存的 EUV 与 DUV 通过次数份额

在我们的天真模型中,EUV 利用率到 2028 年达到约 100%,而 2024 年仅为 52%,因为我们预计它到那时会成为约束性瓶颈。该数字已单独计入正常运行时间与实现吞吐量,两者均保持在 2024 年的比例。我们并不预期利用率会真正达到 100%,但我们对这一近似感到满意:到 2028 年正常运行时间与实现吞吐量(占峰值理论吞吐量的份额)应会略有改善,大致抵消这一缺口。

EUV 通过次数池(百万/年)20242028
需求通过次数45.3M182.5M
通过产能87.1M182.5M
EUV 利用率52%100%
浸没式(DUV)利用率20%25%

利用率 = 需求通过次数 ÷ 通过产能。EUV 与浸没式都以有效(经正常运行时间与吞吐量调整)基准计,因此两个利用率可直接比较。

节点EUV/晶圆193i/晶圆晶圆 2024晶圆 2028
逻辑层级
LEADING12→22302.0M3.2M
DUVADV2332.0M5.2M
MATUREn/a616.4M16.0M
内存层级
DRAMadv4124.2M20.7M
DRAMmatn/a85.8M7.6M
NANDn/a440.2M45.0M

三个层级(LEADING = ≤N3/N5/N2,EUV;DUVADV = N7/N16;MATURE = 28nm/传统)。领先层每片晶圆的 EUV 通过次数随结构从 N5→N3→N2 迁移而从 12 攀升到 22。红色 = 占用 EUV。此表格是一个利用率诊断;它不进入算力或存量计算。

节点结构(2024 年按类别的晶圆面积份额)

类别LEADINGDUVADVMATURE
手机53%27%20%
PC42%40%18%
游戏55%45%n/a
AI95%5.0%n/a
非 AI 服务器50%42%8.0%
其他n/a5.0%95%

AI 几乎全是先进制程;手机/PC/游戏横跨领先到成熟;“其他”(MCU)几乎全是成熟。广义逻辑池(2024 年 2,950 万片晶圆)供给非 AI 分配。

内存晶圆 = 设备数 × 每设备 GB ÷ 每片晶圆 GB。HBM 每可用 GB 需要约 3 倍的晶圆面积(8 至 12 层堆叠、TSV、一颗基底逻辑裸片),且几乎全部流向 AI,因此一台 AI 加速器的内存在晶圆上的占用超过其逻辑。

每设备(2024 → 2028)HBMDRAMNAND
手机n/a8 → 13 GB200 → 333 GB
PCn/a16 → 27 GB700 → 1033 GB
游戏n/a14 → 21 GBn/a
AI130 → 400 GB300 → 767 GB2000 → 4667 GB
非 AI 服务器n/a512 → 683 GB26000 → 36667 GB
其他n/a0.05 → 0.05 GB2 → 3 GB

1.2.3 结果

把扣除退役后的产量累加起来,得到按类别的已安装存量。将原始 H100e 重新缩放为有效 H100e(原始 × U U U,即附录中推导的、经资源调整的 AI 工作负载有用性模型)。

有效 H100e 用一个有用性系数 U 对每个类别的原始算力重新缩放,U 在附录中推导。

有用性 U2024202620282029
手机0.210.110.070.05
PC0.350.080.040.03
游戏0.040.050.060.04
AI1.161.061.041.02
非 AI 服务器1.381.401.411.40
其他0.530.430.340.30

驱动 U 的每芯片资源输入,按类别(2024)。只有 AI 加速器把真正的算力与 HBM 级带宽及一个大型 NVLink 相干域配对;其他每个类别实际上都是单芯片(纵向扩展域 = 1)。非 AI 服务器内存充裕但算力偏弱;消费级芯片带宽不足且不组集群;“其他”(MCU / 边缘)在每个维度上都很微小。

每芯片(2024)H100e/芯片内存带宽(TB/s)内存(GB)纵向扩展域
手机4.0e-30.03271
PC6.6e-30.085121
游戏0.0970.41111
AI1.154.7126160 芯片
非 AI 服务器0.0300.705121
其他5.7e-50.0060.11

在整个预测期内,H100e/芯片大约每 1.5 年翻一番,而每 H100e 的内存带宽与容量下降(内存墙),AI 的 NVLink 域扩大(NVL72 → NVL576);§1.1 的资源强度框完整追踪了 AI 设备保有量的轨迹。

原始 U,在非 AI ≤ 1 的封顶之前

类别(原始 U)2024202620282029
手机0.210.110.070.05
PC0.350.080.040.03
游戏0.040.050.060.04
AI1.161.061.041.02
非 AI 服务器1.381.401.411.40
其他0.530.430.340.30

服务器与“其他”(MCU/边缘)评分 > 1,是因为对于算力极小的芯片而言,每个每-FLOP 比值看起来都很充裕,因此网络惩罚几乎消失,它便浮向算力上限。对于非 AI 服务器这是合理的(确实是内存充裕的机器),且它们在原始 H100e 中占比很小(约 1-2%),因此我们保留其原始 U。对于 MCU/边缘“其他”这是一种假象,因此我们将其钳制到 ≤1;请注意“其他”在原始份额中占比较大(约 8-23%),因此即便钳制到 1,也很可能高估了它的 AI 有用性。

每年 1 月 1 日按部署象限的已安装 H100e;可切换存量↔流量、原始↔有效、水平值↔份额。

集群 vs 单机设备划分。我们还把算力分为集群与单机设备。非 AI 服务器被视为非 AI 相关的集群;手机、PC、游戏 GPU 与嵌入式芯片为非 AI 单机设备;而 AI 相关算力几乎全部在数据中心中运行的加速器里(AI 相关集群),但有一小部分不断上升的 AI 相关单机设备芯片,今天可以忽略不计,随着数据中心级 GPU 达到桌面外形(例如 NVIDIA 的 DGX Station)而在后期增长。

有效 H100e 存量(1 月 1 日)20202024202620282029
AI 相关 · 集群(AI 数据中心)101K(4.1%)3.6M(26%)23.7M(67%)140.8M(90%)295.2M(94%)
AI 相关 · 单机设备(专用消费级)000218K(0.1%)938K(0.3%)
非 AI · 集群(非 AI 服务器)294K(12%)1.4M(10%)2.6M(7.5%)4.7M(3.0%)6.1M(1.9%)
非 AI · 单机设备(消费级)2.1M(84%)8.7M(63%)9.1M(26%)11.5M(7.3%)12.6M(4.0%)

这些是独立的 AI 工作站:一块强力 GPU(≥1 TB/s 带宽,≥32 GB,≥4,000 TPP)搭配一块 100 Gb/s NIC,跨过全部四条 AI 相关下限。它们从基于 RTX PRO 6000 级 GPU 的工作站一直到 NVIDIA 的 DGX Station(一颗 GB300,约 2.5 H100e)。像 DGX Spark(约 0.5 H100e)这样更便宜的迷你机型达不到带宽下限,而普通游戏 PC 缺少 100 Gb/s NIC。每台约 1 万至约 10 万美元,销量适中。我们估计每年销售的单位数和每单位 H100e,然后累加。

出货年份出货单位数H100e / 单位新增 H100e已安装(1 月 1 日)
202615 K2.538K0
202760 K3180K38K
2028180 K4720K218K
2029450 K52.3M938K

已安装(1 月 1 日)一列是每年年初的累计存量——正是上表中的专用消费级一行(到 2029.0 约 938K H100e,约占 AI 设备保有量的 0.3%,约 255K 单位)。该类别是新的,因此单位数字是粗略估计。

1.3 区域所有权

本节按区域预测全球算力所有权,针对 §1.1 的 AI 相关算力。我们把所有权三分:美国、中国和世界其余地区。我们认为最有信息量的做法是聚焦于一个单独的中国算力预测,因为中国被出口管制切断在主要全球供应链之外,使其成为最难用粗略的支出百分比估计来钉定的区域。

因此接下来是一个独立的中国算力预测,按流入中国的不同算力来源分解。随后我们对全球总量的美国与世界其余地区划分做一个粗略估计。中国的本土制造被视为独立于 §1.1 的全球算力总量预测,因为它并非来自同一条(基于 EUV 的)供应链,所以 §1.1 的总量会把它加回去。

1.3.1 中国算力预测

我们把中国的 AI 算力分为四个来源:三个来自全球供应链(已计入 §1.1 的全球总量):合法进口(符合出口管制的芯片:如历史上的 H20,以及当前许可政策下的 H200)、走私芯片以及漏洞(在封装前走私进来的芯片裸片,或中国企业在海外拥有或租赁的离岸数据中心)。第四个是本土制造的芯片(SMIC 7nm 逻辑 / CXMT HBM / Ascend)。中国算力在 2026-2029 年间增长约 9 倍,但其全球份额仍向约 9% 回落,因为全球建设量增长得更快。

渠道20242025依据
本土0.25M0.6MAscend 基于 SMIC ≤7nm + Cambricon,动用一次性的外国 HBM 库存(约 1,300 万堆栈,大部分为 Samsung 约 1,140 万 ≈ 160 万块 910C)以及约 290 万裸片的 TSMC “裸片银行”(SemiAnalysis);每块 910C 约 0.8 原始 H100e
合法0.2M0.15M2024 年约 100 万块被限速的 H20(每块约 0.2 H100e);2025 年净得仅约 0.15M:4 月禁令前的第一季度出货、7 月起的部分重新许可,以及北京不鼓励采购
漏洞0.25M0.45M中国企业在海外拥有或租赁的离岸数据中心;此处 2024+2025 累计总量(到 2025 年末约 0.7M)刚好高于 ≥ 约 670K 的已确认租赁下限(ByteDance 约 520K)
走私0.16M0.48M灰色市场被禁部件,锚定于 Epoch

三个全球渠道按 §1.1 全球产量的份额推算:

全球渠道规则(占 §1.1 全球份额)202620272028
走私约 3.5% → 随执法加强至 2%1.26M2.12M2.99M
漏洞约 2%(约 1.5% 已确认租赁下限 + 其他来源)0.7M1.6M3.15M
合法约 1%0.35M0.8M1.6M

合法渠道有理由跑到比这约 1% 规则高出 2-3 倍:当前许可政策已经涵盖高于它的量,尽管北京方面的进口限制又把实际出货压了回去。

本土受 HBM 制约;参见近期 SemiAnalysis 的 CXMT 文章:

本土累积202620272028
CXMT HBM 产能(kwspm 投产)3055100
8 层堆叠良率(趋于成熟)25%31%37%
每片晶圆良品 8 层堆叠数(约 88 毛 × 良率)222733
→ 良品 910C 当量/年(kwspm × 12k × 堆叠数 / 8)1.0M2.2M4.9M
每块 910C 当量原始 H100e(逻辑 + HBM3E 增益)0.800.820.85
→ 基于 CXMT 内存的原始 H100e0.8M1.8M4.2M
提升:走私 HBM + 其他企业+30%+25%+20%
= 本土1.1M2.3M5.0M

这是乐观的:我们照单全收 CXMT 的 HBM 爬坡(SemiAnalysis 的 CXMT 文章预测其到 2028 年达到全球 HBM 晶圆供给的约 12%),尽管该爬坡是后置的(2026 一列有理由接近于零),并且要与利润更高的大宗 DRAM 争夺同一座晶圆厂。

DUV 产能充足。Ascend 逻辑与 CXMT 内存都印制在中国的 ArF 浸没式(DUV)设备保有量上;这些 AI 芯片推算只用到其中一小部分:

DUV 浸没式设备保有量20262028依据
设备保有量(工具数)约 290约 400约 200 基数 + 2024 年购入约 90 台 ArFi(大部分为 NXT:1980Fi 级,275-330 wph;占 ASML 129 台的 70%,50-70 亿美元);此后进口因荷兰管制放缓(AEI)
实现产能(通过次数/年)约 520M约 720M设备保有量 × 每台每年约 180 万次实现通过(生产中约每天 5-6 千片晶圆,相比约 240 万铭牌;参见 §1.1 的约 36 万 EUV)
Ascend 逻辑约 5M(约 1%)约 17M(约 2%)约 8 → 28 kwspm SMIC ≤7nm 投产 × 每片晶圆约 40-60 次通过(SAQP 四重曝光)
CXMT HBM约 4M(约 1%)约 12M(约 2%)约 30 → 100 kwspm CXMT HBM 投产 × 每片晶圆约 10 次通过

AI 用量在 2026 年约为设备产能的 2%,到 2028 年约 4%;约束性瓶颈是 HBM。这也是为什么我们不预期中国会简单地用 AI 芯片灌满其 DUV 设备保有量:没有匹配 HBM 的更多 Ascend 逻辑并不能增加可用的 AI 算力,SMIC 的 ≤7nm 投产受多重曝光良率与成本封顶而非扫描机可用性所限,而设备保有量的大部分在有利可图地服务于成熟节点经济(汽车、工业、家电),中国也在试图主导这一领域。

四个渠道合计(百万原始 H100e):

H100e(除注明外为每年)20242025202620272028
本土0.25M0.6M1.1M2.3M5.0M
合法西方0.2M0.15M0.35M0.8M1.6M
漏洞(离岸数据中心 / 租赁)0.25M0.45M0.7M1.6M3.15M
走私0.16M0.48M1.26M2.12M2.99M
每年新增合计0.9M1.7M3.4M6.8M12.7M
→ 中国存量(年末)1.3M2.9M6.3M13.2M25.9M
→ 中国占全球百分比14.7%13.1%11.1%9.7%9.0%

1.3.2 结果

把全球总量(§1.1)、中国预测(§1.3.1)以及对余量的 85/15 美国/世界其余地区划分结合起来,得到按区域的所有权:美国自始至终占绝大多数,中国约 15% → 约 9%。

1.4 数据中心规模

在本节中,我们预测 §1.1 的 AI 算力将如何分布于各数据中心规模,从吉瓦级训练园区一直到小型区域站点的长尾。方法相对天真(且不确定)。我们取 AI 算力总预测(来自 §1.1),把它铺开到数据中心总数上,用三个集中度锚点拟合一条数据中心规模曲线,然后把结果分摊到美国、中国和世界其余地区的所有权上(来自 §1.3)。

设置。我们取 AI 算力总量 C(§1.1)和数据中心数量 N(2025 年约 1,000 个站点,以默认每年 30% 增长,到 2029 年达到约 2,850 个站点)。然后我们基于一个规模分布来分配各数据中心的规模。

锚点。我们用三个集中度锚点钉定规模分布的形状,即最大的 1、10、100 个集群所持有的全部算力份额 S 1、S 10、S 100 S_1, S_{10}, S_{100} S 1 ​、S 10 ​、S 100 ​,我们预测它们大致为 4%、20% 和 70%(手工设定,在 Epoch 的数据中心数据集基础上上调),并随时间保持不变:

拟合。随后我们把对数规模建模为对数排名的三次多项式,含四个系数 a、b、c、d a, b, c, d a、b、c、d:

这四个系数由四个方程精确钉定,即三个锚点加上总量(对数排名的三次多项式有四个自由度,与四个约束相匹配,因此曲线被完全钉定,不留下任何自由参数):

第一个是立即得到的,因为 log ⁡ 1 = 0 \log 1 = 0 log 1 = 0 给出 a = log ⁡ c 1 = log ⁡ ( S 1 C ) a = \log c_1 = \log(S_1 C) a = log c 1 ​ = log ( S 1 ​ C );其余三个通过数值求解。这仅由 N、C 和三个锚点就还原出每个数据中心规模 c i c_i c i ​。

区域。为把曲线分摊到美国、中国和世界其余地区,我们预测每个区域对总算力的所有权份额 S r S_r S r ​(给它一个目标 T r = S r C T_r = S_r C T r ​ = S r ​ C),并按该份额的比例把每个数据中心分配给一个区域。一个可选的偏斜 θ r \theta_r θ r ​ 可以把某个区域向更小或更大的站点倾斜(以匹配已知其最大集群有所不同的区域,例如中国),同时保持其总量固定,但它默认关闭(θ C H = θ R o W = 0 \theta_{CH} = \theta_{RoW} = 0 θ C H ​ = θ R o W ​ = 0),因此每个区域只是全球曲线中同形状的一片。

默认参数。

参数默认所控制的内容
N 0 N_0 N 0 ​(2025 年站点数)1,0002025 年数据中心数量
增长 g g g30% / 年数据中心数量增长(→ 到 2029 年约 2,850 个站点)
S 1 S_1 S 1 ​4%单个最大集群的算力份额
S 10 S_{10} S 10 ​20%最大 10 个的算力份额
S 100 S_{100} S 100 ​70%最大 100 个的算力份额
偏斜 θ C H , θ R o W \theta_{CH}, \theta_{RoW} θ C H ​ , θ R o W ​0(关闭)可选的区域规模倾斜;0 = 按比例

这些集中度份额是手工挑选且不确定的,在 Epoch 观测到的当前数据集基础上上调,前提假设是它没有完整覆盖前沿集群(截至 2025 年末,其追踪到的最大站点覆盖全球 AI 算力的约 15%)。

第 2 部分. 交易后算力(2029 年之后)

在本节中,我们预测 Plan A 实施之后会发生什么,以及没有 Plan A 的默认 1 年反事实情景。

2.1 无交易反事实情景

为多预测一年默认(无交易)路径,我们把 §1.1 的方法(以及关于中国本土新增的 §1.3)延伸到 2029 年末的已安装存量。在 Plan A 下,我们预计交易实施期间暂时的研发暂停与总体不确定性会使资本支出暂时降低。我们通过让建设量中由债务融资的那一部分在 Plan A 下崩塌至零来近似这一点,而现金资本支出保持在趋势上。随着仅推理验证的快速实施以及推理算力分配的增加,我们预计 AI 收入预测将与默认反事实情景持平。

总体而言,我们认为交易的良好实施能让各公司相信研发将获准恢复,并且鉴于已实现的能力水平以及研发恢复后(届时将以放缓但仍然很快的速度)持续的改进,我们预计 AI 投资在经济上仍将极具吸引力。我们预计这一点即便在透明度提高的情况下也会成立,因为在没有算法护城河的情况下,经济价值将归于算力的所有者(他们因此仍能率先训练出最好的模型并向最广泛的用户群提供服务)。

2.2 交易后的 AI 相关算力

随着深入 Plan A,我们对算力增长的不确定性增加,尤其是随着 AI 和机器人变得有能力自动化硬件研发与生产,并大幅增加此前受人力约束的劳动力。鉴于这种不确定性,我们认为使用一个相对简单的模型(Jones 与 Wright 定律的学习)是合理的,它以 §1.1 的算力路径为起点并运行到 2040 年。鉴于我们在不受约束地把 AI 和机器人部署于硬件研发与生产时默认预期的硬件爆炸,以及这将带来不稳定(除其他因素外,会增加对交易违约的容易程度和交易内的验证负担),Plan A 采用了一个总量管制与交易机制,把硬件爆炸放缓到可控(但仍大幅增加)的硬件水平。

为什么我们预期硬件会快速增长。我们可以想到两股独立的力量在压低每单位算力的成本:

我们把每单位算力的成本($ / H100e)视为两个因子的乘积——(每生产单位的算力)与(每美元的生产单位数),其中历史上这个“单位”一直是“晶圆”,但可能随未来范式而改变。每个因子在 2025 年归一化为 1,此后下降。我们取 §1.1 的终点作为起点,把这两个模型向前运行到 2040 年。

每单位 AI 算力的成本是一个 2025 年锚点乘以两个都从 1 起步并随时间下降的指数——制造指数 W ( t ) W(t) W ( t ) 和设计指数 D ( t ) D(t) D ( t ):

Wright 定律(制造)。成本随累计产量下降,即经典学习曲线:

因此累计产量每翻一番将制造成本削减 1 − 2 − b 1 - 2^{-b} 1 − 2 − b。我们采用 b = 0.25 b = 0.25 b = 0.25,约每翻一番 16%,与长期半导体学习率相似(接近太阳能的 Swanson 定律)。

Jones 设计研发。年度设计成本下降随更多劳动力从事研发而扩展,并有收益递减:

其中 L c o g L_{\rm cog} L cog ​ 是人类与 AI 认知劳动力的合力(它随部署的算力扩展),取自我们经济模型中的“有效劳动力”量,该量把 AI / 机器人劳动力数量与其能力(能自动化的任务百分比)结合起来。r b a s e r_{\rm base} r base ​ 是基础速度,λ \lambda λ 是“互相踩脚”调整(Bloom et al. 2020):一支 100 倍的研究力量买到的进展远少于 100 倍。

参数AI 芯片
Wright 学习率 b b b0.25(约每翻一番 16%)
Jones 基础速率 r b a s e r_{\rm base} r base ​25% / 年
Jones 互相踩脚 λ \lambda λ0.05
2025 年制造成本$5,000 / H100e
累计产量,202520M H100e

基础速度(每年 25%)跟踪约每年 1.35 倍的算力效率趋势,而 λ = 0.05 \lambda = 0.05 λ = 0.05 使“互相踩脚”保持强劲:一支 100 倍的 AI 研究力量只买到约 1.3 倍的设计进展速率,因此即便膨胀的 AI 劳动力也只能温和地加速芯片设计。上面的锚点是制造一颗芯片的成本(边际生产成本,2025 年约 5,000 美元),这正是成本数字所跟踪的;加价再加上数据中心与电力使全部成本达到约 3.3 万美元,这是所投入美元数字所计的。两者都沿同一条 W × D W \times D W × D 曲线下降。下面我们在有和没有 Plan A 两个约束(算力上限与研发管控)的情况下运行这一循环。

在 Plan A 中,硬件爆炸有两个节流阀。没有它们,进展就会多到危及交易的稳定性(违约容易程度与验证负担)。存在一个反馈循环:更多算力导致更多硬件研发与生产,进而导致更多算力和更便宜的硬件。Plan A 有两个作用于该循环不同部分的约束:为产量水平设上限(2032 年起的总量管制与交易政策)以及限制研发部署(以避免尽管有数量上限、算力仍变得过于易于且廉价地制造)。

所有三种情景都遵循 Plan A 的算力路径,直到上限开始发挥约束(约 2034 年),随后在两个杠杆上出现分歧:

情景算力上限硬件研发发生什么
Plan A开启,到 2040 年约 1T受控本文档其余部分所用的有界路径
无上限,硬件研发受控关闭受控数量爆炸至上限的数千倍
无上限 + 硬件研发不受约束关闭不受约束数量与成本都失控,冲出图表

有效劳动力在每种情景中都是同一序列(经济模型的 A_eff,即能力 × 数量,按该情景的算力缩放);研发管控作用于其中有多少变为设计进展,而非作用于劳动力总量:

硬件研发有效 AI 劳动力,2040(HE = 人类当量)设计成本下降
受控(Plan A)约 400B HE约每年 10%,保持在 2010 年后每晶体管成本的速度
受控(无上限)约 2x10^15 HE约每年 10%,尽管劳动力大得多仍被保持
不受约束(两者)约 2x10^21 HE每年 25%,扩展到每年 60% 的上限

不受约束的速率恰好是经济模型的 Jones 公式(每年 25% × (A_eff 增长)^0.05,λ = 0.05 \lambda = 0.05 λ = 0.05);受控上限是叠加其上的 Plan A 研发管控政策,基础经济模型并不施加它。

有效劳动力中有多大份额从事研发?有效劳动力中一个固定、恒定的份额;只有其增长重要,因此份额相互抵消,我们不承诺一个具体的百分比。该有效劳动力是经济模型的有效 AI 劳动力(A_eff,能力 × 数量),按每种情景相对于 Plan A 的算力缩放,因此研发进展同时对能力上升与数量上升作出响应。机器人被保持在其固定的 Plan A 总量管制与交易路径上,且在这些情景之间不变。

Plan A 中默认可能的算力产量建模相对天真,而由于其他约束(验证与交易稳定性),总量管制与交易轨迹被设定得相当低。在本框中,我们通过展示它在供给侧意味着什么,来论证总量管制与交易轨迹是可能的。特别是我们考察它相对于历史增长所需的光刻。

方法。我们取 Plan A 的年度产量(每年新增 H100e,到 2040 年上升到大约每年 5,700 亿 H100e),把它换算为硅晶圆(假设这仍是主导范式),把晶圆换算为所需的光刻曝光通过次数,然后除以一台光刻机的吞吐量(每台机器每年实现的通过次数),得到所需的机器年数。

默认光刻设备保有量。我们锚定在 2029 年(每 H100e 约 0.7 次 EUV 通过,来自 §1.1),并与处在其历史路径上的光刻设备保有量对比(2029 年约 620 台在运机器,约每年增长 20%;ASML 如今约每年出货 125 台)。我们还让机器吞吐量约每年上升 10%,与每小时晶圆数的历史攀升相匹配(2019 至 2024 年约从 125 到 220)。

默认算力密度。随时间推移,H100e/晶圆一直在约每年 35% 增长;我们考察它相对于默认趋势所意味的光刻建设的三种不同可能性。

每晶圆算力增长0%/年(冻结在 2029 技术)35%/年(技术趋势延续)50%/年(更快的技术趋势)
到 2040 年所需光刻机数约 1,100,000约 14,000约 4,400
相对设备保有量历史趋势(到 2040 年约 4,300)约 255 倍约 3 倍约 1 倍
隐含年产量相对今天(约 125/年)约 4,400 倍约 29 倍约 6 倍

我们预期在 Plan A 中发生的会类似于中间一列的情形。

我们也可以用美元来表达 Plan A 的建设量,作为对其所意味投资的核对。每年隐含的投资是当年新增算力乘以每 H100e 的全部成本,后者是上面模型的生产成本乘以一个加价,该加价涵盖一美元 AI 资本支出所购买的其他一切(芯片制造商利润、数据中心、电力、网络)。我们校准该加价,使 2025 至 2028 年精确重现第 1 部分的资本支出预测(2028 年约 2.4 万亿美元)以及 2029 年的 §2.1 交易年:这给出大约 7 倍到 8 倍。我们的最佳猜测是该加价随后到 2040 年下降到约 1.2 倍,因为机器人建造的晶圆厂和数据中心应会以接近生产成本的价格出售硬件,且每 H100e 中电力和数据中心所占的份额随下面的效率提升而缩小。

我们对不设上限的路径非常不确定,但我们认为不受约束的默认路径很可能比我们设上限的路径高出若干数量级。一旦 AI 和机器人有能力从事硬件研发与芯片生产这类工作,可用于此的有效劳动力就会极大扩张。我们认为叠加的 Jones 与 Wright 定律学习曲线动态,是对这可能呈现何种面貌的一个合理的天真近似。

历史上,芯片设计改进与功耗效率改进紧密相连,因此我们把算力的功耗效率建模在与上述成本模型相同的 Jones 设计趋势上,使用相同的参数(每年 25% 基础速率,互相踩脚 λ = 0.05 \lambda = 0.05 λ = 0.05),处在 Plan A 受约束的研发速度下,得到如下轨迹(值得注意的是它并未突破 Epoch 估计的 CMOS 晶体管理论极限)。

每 H100e 的设施总功耗(按 Epoch 的口径:芯片 TDP 加上服务器其他组件再加上集群级开销如冷却,即在电网处的完整功耗),设备保有量存量平均,来自经济模型的 Plan A 能源轨迹(与成本模型相同的受约束 Jones 设计趋势)。到 2040 年它达到 2025 年芯片的约 37 倍,仍比 Epoch 估计的 CMOS 实际极限(约为当前 H100e 的 200 倍)高出数倍。

2.3 公司集中度

在本节中,我们展示对算力如何随时间在各公司间分布的推算。我们追踪 AI 公司终端用户(实际使用算力的公司),而非所有者(他们可能自用或把算力出租给他人)。早期大部分算力以集中方式由超大规模企业拥有(Google 拥有约 25% 的算力),但 AI 公司终端用户的集中度较低,2026 年最大的用户使用约 10% 的全球算力(GDM 和 OpenAI 相近)。

AI 公司所使用的份额随时间不断增长,我们把这一趋势向前推算至 Plan A 实施。2030 年之后,Plan A 的透明度机制降低了进入壁垒:对 AI 的投资增长并更均匀地扩散,算力分布于更多公司。到 2040 年,最大的公司只持有约 5% 的全球算力,且约有 20 家前沿公司(定义为处于最大者 4 倍以内的任何公司)。

该方法相对天真,我们为分布的形状设定一条全球范围的秩-规模定律,手工设定以匹配预测,然后把公司分配到所有权区域以匹配 §1.3 的划分。在全球 N N N 个终端用户的整体中,排名第 i i i 的公司的份额为

经归一化使各份额之和为一(Φ − 1 \Phi^{-1} Φ − 1 是排名 i i i 的标准正态分位数)。它有两个形状参数:σ \sigma σ 设定整体离散度(集中度,它驱动前三名),τ \tau τ 是一个按 1 / rank 1/\text{rank} 1/ rank 衰减的头部倾斜,相对于其后两名移动单一领跑者,对尾部影响较小。

我们每年直接选择全球前 1 名和前 3 名终端用户份额,并求解 ( σ , τ ) (\sigma, \tau) ( σ , τ ) 使分布同时重现两者。领跑者在早期是少数(前沿 AI 公司尚未使用大部分 AI 算力),在进入 2029 年交易时升至约全球算力的五分之一、前三名合计近一半,随后随着 Plan A 分散算力而两者都下降(到 2035 年前 1 名约 10%、2040 年约 5%;前 3 名约 25% 再到 13%)。对这一预测更好的论证目前属于未来工作。我们本想创建一个 AI 算力的“AI 市场势力”/“支付意愿”模型,把它作为算法知识产权(交易后变为均匀分布)、非算法知识产权/资本(数据集、用户、品牌忠诚、人才忠诚等),以及最终更广义的资本三者的组合,并构建一个随时间追踪该量的算力分配模型。不过这很复杂,我们时间不够了。

然后通过一个硬性封顶的贪心填充把每家公司分配到一个所有权区域(美国、中国、世界其余地区),使区域总量在直到 2029 年的每年精确匹配 §1.3 的所有权划分,此后匹配趋向总量管制与交易协议分配的 Plan A 所有权划分。一个每区域的规模偏置只改变一个区域持有哪些公司,从不改变其总量:美国是中性的,持有最大的开发者;中国在直到 2030 年前保持平坦分散,随后一个国家支持的核心在 2031 年整合(其头部开发者跃升至中国算力的约一半并占据一个前沿开发者席位),之后到 2040 年再逐渐趋平;世界其余地区更平坦并在末期进一步趋平,因此即便世界其余地区的所有权份额超过美国,全球单一最大开发者仍留在美国。

直到 2030 年(交易时期),前沿集合是全球最大的三个终端用户(领先的美国开发者被点名,按手工设定的逐年顺序)。从 2031 年起我们不再点名,若一个终端用户处于全球最大终端用户 4 倍以内,就称其为前沿。

参数取值作用
全球终端用户整体(N N N)200秩-规模定律的公司数量
前 1 名终端用户份额(2026 / 2029 / 2035 / 2040)8% / 20% / 10% / 5%手工设定;求解 ( σ , τ ) (\sigma,\tau) ( σ , τ ) 以匹配
前 3 名终端用户份额(2026 / 2029 / 2035 / 2040)23% / 45% / 25% / 13%独立于前 1 名手工设定
§1.3 在 2040 年的所有权划分(美国 / 中国 / 世界其余地区)35% / 20% / 45%每年精确匹配区域总量
中国规模偏置平坦,然后 2031 年 +5,到 2039 年缓和至 +2早期分散;2031 年整合;到 2040 年趋平
世界其余地区规模偏置−0.6,到 2039 年至 −2.5末期趋平,使美国保持最大开发者
前沿规则前 3 名(≤2030)/ 4 倍以内(≥2031)交易时期点名前三;此后为最大者的 4 倍以内

2.4 算力分配

在本节中,我们预测 Plan A 中前沿 AI 算力的分配。2025 年 OpenAI 把约一半的算力用于推理,2024 年用于推理的更接近三分之一,其余用于训练和实验(其中仅约 10% 用于最终的前沿训练运行)。我们把当前这一划分天真地向前推算至 2029 年交易,然后以 Plan A 为条件预测每个份额。

2.5 AI 副本与速度

在本节中,我们预测前沿模型能同时运行多少个副本以及以什么样的 token/秒速度运行。这两者都是不完善的指标,因为在未来不同的脚手架/架构下可能难以知道如何计算一个“副本”,但我们假设每个被提供服务的模型权重并行实例,因此副本数 = 复制体 × 批次。速度也不完善,因为我们可能更关心任务完成的速度,但我们只关注解码 token 每秒,尽管以 token 计的速度比较在未来范式变化(例如用 neuralese 代替思维链)时可能失效。

开门见山:这些预测是具体的最佳猜测,我们认为诚实的不确定性达到多个数量级。AI 范式(架构、稀疏性、智能体脚手架,乃至“副本”是否是正确的框架)和硬件范式(芯片的内存与带宽权衡、多少硅被专用于推理)在 2040 年之前都可能变化数次。方法本身很简单,我们更愿意直白陈述:我们猜测前沿模型的规模,我们猜测全球算力中有多大份额运行推理,然后把推理设备保有量的总内存除以每个副本占用的字节数得到副本数,并由内存带宽读取每个 token 所需字节的速度得到速度。本节其余部分解释我们如何做出这些猜测中的每一个。

模型规模。我们把前几节的全球算力增长与领跑公司的集中度(§2.3)和训练分配(§2.4)结合起来,得到随时间的前沿训练算力(到 2029 年大约为今天的 32 倍,到 2040 年为 160,000 倍)。然后我们用一个简单模型把这些算力数字以及一个稀疏性预测映射到模型规模(总参数量):

其中 P P P 是总参数量(P 2026 ≈ 10 P_{2026} \approx 10 P 2026 ​ ≈ 10 T,今天的水平),C C C 是前沿训练算力,σ \sigma σ 是稀疏性。算力指数 α \alpha α 是模型规模扩大相对于算力扩大的敏感度。简单的 Chinchilla 最优性意味着约 0.5,但我们有很宽的不确定性;有理由使它增大,例如受数据可得性影响(把我们的公式拟合到 Nesov 自己的算力与稀疏性数字得到 α ≈ 0.8 \alpha \approx 0.8 α ≈ 0.8),或例如为使窃取权重更难而有意训练不足。也有理由使它减小,例如为提供服务而进行更多过度训练(Sardana and Frankle)、强化学习,以及关于范式变化的其他未知之未知。我们只是假设 α = 0.5 \alpha = 0.5 α = 0.5,并在图上画出 α ∈ [ 0.2 , 0.8 ] \alpha \in [0.2, 0.8] α ∈ [ 0.2 , 0.8 ] 作为一个区间,以展示我们认为合理的范围。稀疏性指数 β = 0.74 \beta = 0.74 β = 0.74 暂定被钉得更好(尽管稀疏 MoE 范式可能改变)。

我们认为纳入稀疏性假设是有价值的,因为它可能显著影响速度和副本数。

总参数 = 10T ×(算力增长)α ×(稀疏性增长)β,其中 α = 0.5,β = 0.74。

年份10T × 算力 α× 稀疏性 β= 我们的(总)α ∈ [ 0.2 , 0.8 ]Nesov
202610Tx1.0(8x)10T10T 到 10T10T
202720Tx1.7(16x)33T22T 到 49T30T
202835Tx2.8(32x)97T46T 到 205T240T
202957Tx2.8(32x)158T56T 到 449T650T
203083Tx3.1(37x)255T72T 到 904T—
2032229Tx3.8(48x)862T132T 到 5,638T—
20351,411Tx4.7(64x)6,576T337T 到 128,155T—
20403,992Tx7.8(128x)31,063T854T 到 1,129,715T—

Nesov 如何得到 650T:Nesov 的预测和我们的预测都从训练算力出发;差异主要在于 Nesov 的 2029 年前沿运行在假设 30 倍稀疏性下大 2 倍,为 8e28 FLOP。在 30 倍稀疏性下,算力最优比率是每个活跃参数 240 个 token(来自一篇稀疏 MoE 缩放论文),因此 8e28 FLOP 会需要在约 1,800T token 上有 7.4T 活跃参数。但他假设仅存在约 200T token 的唯一数据,即 8.5 倍的短缺,他用这一数据受限缩放结果来分摊,得到大约 8.5 0.5 ≈ 8.5^{0.5} \approx 8. 5 0.5 ≈ 2.9 倍更多的活跃参数(7.4T → 22T)以及 2.9 个重复训练轮次。我们不做与 Nesov 相同的低数据机制调整,因为我们认为更多强化学习、训练范式的变化、合成数据生成等多种因素可能朝相反方向拉动。鉴于这些可能双向拉动的因素上的不确定性,我们更愿意使用一个天真、更简单的基线。

出自《Model size scaling in 2023–2031》。

年份预训练算力(FLOP)稀疏性活跃参数总参数数据短缺轮次
20261.3e278x1.3T10T—1
20276e278x2.9T30T1.75x1.3
20282e2830x7.9T240T4.5x2.1
20298e2830x22T650T8.5x2.9
20301e2930x26T790T10x3.1
20312.2e2930x48T1,400T15x3.9

推理算力设备保有量。我们取 §2.4 的世界算力推理份额(公开 + 内部),并在 2029 年之后保持其每 H100e 的内存与带宽比率(§1.1)平坦。我们把这部分算力拆分为普通通用芯片和推理专用芯片,这是我们在下面描述的一个手工设定情景。

按芯片类型的服务内存(艾字节,对数)。专用内存由需求(复制体权重 + 每副本 KV)推导得出:到 2040 年约 2.3 ZB,相比通用的约 10 ZB。

同时提供服务的前沿副本数(复制体乘以批次),2026 至 2040(对数)。

副本数。我们把推理设备保有量的总内存除以每个副本占用的字节数得到副本数。每个副本需要它那一份模型权重(今天在 4 位精度下一整套权重约 5 TB,按我们的中位模型规模到 2040 年约 15 PB,在同一批次中被提供服务的各副本间共享)外加它自己的上下文。我们没有在正文中对批次大小和 KV 缓存建模,而是直接陈述其综合效果:我们假设上下文今天约占通用推理内存的一半,到 2040 年降到约 5%,因为权重的增长远快于每个副本上下文的增长(细节在方法框中,批次假设只是与上下文长度假设相权衡,且是任意的)。这给出今天约 3,000 万个副本。该计数起初略有下探,因为稀疏性的跃升使模型增长快过推理设备保有量,最终到 2040 年非常粗略地约 2 亿个,其中大部分副本在通用硬件上,其余是下面描述的推理专用芯片上快得多的副本。

YearAvg contextKV / copyContext / replicaWeights / replicaContext share
2026200k20 GB5.1 TB5.0 TB51%
2029341k68 GB17.4 TB79.2 TB18%
2032580k220 GB56.3 TB430.9 TB12%
2035988k896 GB229.3 TB3.3 PB7%
20402.4M3.3 TB856.1 TB15.5 PB5%

各里程碑年份的模型规模、副本数与速度(方案A)。

YearModel (total/active)Copies (gen/inf)All copiesSpeed (gen/inf)Avg speedTotal tok/s (gen/inf)
202610T / 1.3T30.3M / 8k30.3M~57 / ~1.0k~571.7B / 7.9M
202897T / 3.0T23.4M / 60k23.5M~65 / ~1.3k~681.5B / 78.6M
2029158T / 4.9T28.9M / 123k29.0M~67 / ~1.5k~731.9B / 185M
2032862T / 18T63.1M / 1.6M64.6M~89 / ~3.0k~1615.6B / 4.7B
20356,576T / 103T154M / 21.7M176M~119 / ~6.0k~84418B / 130B
204031,063T / 243T150M / 36.2M186M~192 / ~25.0k~5.0k29B / 904B

按芯片类型划分的单副本解码速度(tokens/秒,对数刻度)。

速度。对于速度,我们着眼于内存带宽。在通用硬件上,每个解码步骤都必须读取权重以及批次中每个副本的上下文,因此每个副本每秒获得的token数就等于硬件每秒能通读自身内存的次数。推理集群的内存带宽约为其内存容量的31倍,即每秒约31次完整通读,在约2倍的推测解码增益和约90%利用率后,相当于每副本约57 tok/s。方便的是,这一估计不依赖于批次、上下文、模型规模或稀疏度,因为更大的内存占用会带来成比例更多的内存带宽。此后速度增长的快慢仅取决于每块H100e的带宽相对每块H100e内存容量的领先程度,我们假设2029年后该指标以约10%/年增长,到2040年达到约190 tok/s。

推理专用芯片。最大的不确定因素是为服务特定模型而专门设计的芯片,它们将权重保存在片上SRAM中(如Cerebras、Groq),将transformer架构本身烧录进硅片(如Etched),或将权重直接固化进裸片(如Taalas)。这里我们在每一步都在猜测:我们手动设定这些芯片在新增算力产量中所占的份额(2026年0.2%、达成协议时1%、到2040年14%,届时累计约占推理集群一半算力),并手动设定它们服务每个副本的速度(如今约1,000 tok/s,锚定于Cerebras在Llama-405B上实测的969 tok/s,到2040年升至约25,000 tok/s,届时2035年的暂停冻结了前沿模型,使得工程化设计接近延迟下限的芯片变得值得)。让每个副本跑得更快会直接消耗副本数(副本数=总token吞吐量/每副本速度),因此这些芯片增加的副本相对较少,但在这些假设下,它们到2040年最终产出几乎所有token,并将平均速度从如今的约100 tok/s拉升至约5,000 tok/s,这也是上图中大部分速度增长的来源。如果这些芯片没有起飞,平均速度则维持在通用硬件约190 tok/s的路径附近。下表显示了推理集群各部分实际使用了多少算力和带宽。

各芯片类型中解码所使用的带宽和算力份额;受限(上限较低)的资源决定吞吐量。

YearGen: bandwidthGen: computeInf-spec: bandwidthInf-spec: compute
202690% (binds)9.4%90% (binds)18%
202990% (binds)3.3%90% (binds)21%
203290% (binds)3.2%90% (binds)40%
203590% (binds)3.3%73%90% (binds)
204090% (binds)2.7%23%90% (binds)

前沿模型拥有 P P P 个总参数,在稀疏度 σ \sigma σ 下有 P a = P / σ P_a = P/\sigma P a ​ = P / σ 个激活参数,以4-bit( b = 0.5 b = 0.5 b = 0.5 字节/参数)服务,因此单个副本持有 W = b P W = bP W = b P 字节的权重,每个token耗费 2 P a 2P_a 2 P a ​ FLOPs(读取 b P a bP_a b P a ​ 字节)。

模型规模。 P = P 2026 ( C / C 2026 ) α ( σ / σ 2026 ) β P = P_{2026}\,(C/C_{2026})^{\alpha}\,(\sigma/\sigma_{2026})^{\beta} P = P 2026 ​ ( C / C 2026 ​ ) α ( σ / σ 2026 ​ ) β ,其中 P 2026 = 10 P_{2026} = 10 P 2026 ​ = 10 T, α = 0.5 [ 0.2 , 0.8 ] \alpha = 0.5\;[0.2, 0.8] α = 0.5 [ 0.2 , 0.8 ] , β = 0.74 \beta = 0.74 β = 0.74 , C = s 1 M world τ C = s_1\,M_\text{world}\,\tau C = s 1 ​ M world ​ τ 是领先者的训练算力(top-1份额§2.3 × 世界存量 × 训练分配§2.4)。中心值:2029年约158T,2040年约31,000T。

副本数。推理集群是世界存量中§2.4推理份额 δ \delta δ 的部分(每块H100e的内存和带宽见§1.1,2029年后持平),其中推理专用比例 f f f 由手动设定的新增算力流构建而成(专用芯片只做服务,因此其全部存量都用于服务)。通用部分从其内存中服务副本:一个副本占用权重 W W W 加上其 B B B 个并发副本各自的KV缓存 c c c 。专用芯片则以其选定的速度 v spec v_\text{spec} v spec ​ 服务尽可能多的、其token吞吐量所能支持的副本,其中吞吐量为利用率 u u u 乘以其算力上限( F spec F_\text{spec} F spec ​ )和权重读取带宽上限( Λ spec \Lambda_\text{spec} Λ spec ​ )中的较小者;其内存按匹配需求配置,从不构成瓶颈。因此,

速度。设 ρ ( t ) \rho(t) ρ ( t ) 为推理集群的带宽:容量比(其内存每秒可被完整读取的次数),

在通用硬件上,批处理解码步骤读取相同的占用( W + B c W + Bc W + B c ),其带宽由副本拥有( ρ ( W + B c ) \rho(W + Bc) ρ ( W + B c ) ),因此批次与上下文相互抵消,只剩解码增益 κ \kappa κ 乘以利用率 u u u ;这假设服务始终处于大批次、吞吐量最优的运行点。稀疏度不会改变实际速度(它减少的是每个token的字节数和FLOPs,而非层数);它通过模型规模和专用芯片每token的算力进入模型。头条平均速度按副本加权。

每一项输入,按其所属的猜测排序(先模型规模,再推理集群,然后副本数,最后速度):

parametervaluenote
2026 anchor10T total params, 8x sparsetoday's frontier
compute exponent ( α \alpha α )0.5, band [0.2, 0.8]data walls push up (Nesov's numbers fit α ≈ 0.8 \alpha \approx 0.8 α ≈ 0.8 ); overtraining, RL, distillation push down
sparsity exponent ( β \beta β )0.74optimal tokens per active param rise ~ σ 0.53 \sigma^{0.53} σ 0.53
sparsity ( σ \sigma σ )8x → 32x@2028 → 128x@2040hand-set
inference share ( δ \delta δ )~50% pre-deal, 77%@2030, 25%@2040from §2.4 (public + internal)
specialized share of new compute ( f f f )0.2% (2026) → 1% (2029) → 14% (2040)hand-set; ~half the inference fleet's compute by 2040
bandwidth per H100e+10%/yr after 2029, capacity flatgives the read rate ρ \rho ρ : ~31/s (2026) → ~107/s (2040)
spec bandwidth ( Λ spec \Lambda_\text{spec} Λ spec ​ )60x HBM (2026) → ~500x (2040)measured Groq/Cerebras ~60-80x; bandwidth binds until ~2034, then compute
serving precision and FLOP/s4-bit (0.5 B/param), 4e15 FLOP/s per H100eweights are ~5 TB per replica in 2026
batch ( B B B )256 concurrent copies per replicaheld flat; trades off with context assumptions
KV per copy ( c c c )~20 GB (2026) → ~3.3 TB (2040)~200k → ~2.4M tokens of context; leaves context ~5% of memory by 2040
decode gain ( κ \kappa κ )~2speculative / multi-token decoding
utilization ( u u u )0.9of each chip category's binding limit
spec speed ( v spec v_\text{spec} v spec ​ )1,000 / 1,500 / 3,000 / 6,000 / 15,000 / 25,000 tok/s at 2026/29/32/35/38/40hand-set, toward the on-chip wire-latency floor

附录:有效H100e模型

A.1 目标

我们想要一种方法,来估算某个给定集群相对于典型H100 GPU集群在AI工作负载上的有用程度。

比较原始H100当量是一个糟糕的代理指标,因为它们只衡量峰值算力,而对于真实的AI工作负载,一个集群的有用程度可能因其他硬件因素而大幅提升或降低,尤其是内存带宽、内存容量、纵向扩展(scale-up)网络、横向扩展(scale-out)网络,以及一个典型工作负载必须跨越多少块物理芯片。输出为

其中,如果集群相对于我们所考虑的H100集群锚点每块原始H100e更有用,则有用性调整值大于1;如果更差,则小于1。有用性调整的关键设计目标是:

A.2 输入

输入是芯片和集群的属性,我们标记为:

我们的模型是依赖于工作负载的,也就是说它会考虑工作负载规模(以算力占用计)。我们不考虑单一的平均工作负载,而是使用一系列作业规模,每个作业占前沿规模 F F F 的一部分 L j L_j L j ​ ,前沿规模代表一家前沿公司的总算力,作业数量权重为 ω j \omega_j ω j ​ ( ∑ j ω j = 1 \sum_j \omega_j = 1 ∑ j ​ ω j ​ = 1 ),如下所示,以前沿规模的分数 L j L_j L j ​ 表示:

jobfraction L j L_j L j ​ of F F Fweight ω j \omega_j ω j ​
small (inference, experiments)1 / 10,000 1/10{,}000 1/10 , 0000.50
medium (large experiments, test runs)1 / 100 1/100 1/1000.30
large (near-frontier training)1 / 5 1/5 1/50.20

重要的是, L j L_j L j ​ 是原始H100e算力的分数,而非物理芯片数量的分数。

A.3 锚点场景

我们使用2024风格的H100-SXM集群作为原始=有效的锚点:

anchor (where raw=effective)value
raw H100e per chip C 0 C_0 C 0 ​1
memory bandwidth B 0 B_0 B 0 ​3.35 TB/s
memory capacity M 0 M_0 M 0 ​80 GB
scale-up bandwidth S U 0 SU_0 S U 0 ​0.9 TB/s
scale-out bandwidth S O 0 SO_0 S O 0 ​0.05 TB/s
scale-up world W 0 W_0 W 0 ​8 chips (HGX-8)
cluster size N 0 N_0 N 0 ​100K chips

另外,我们所考虑的前沿规模 F F F 是随时间变化的。我们将其建模为世界总算力中不断增长的份额(反映前沿AI公司在全球算力中占比上升),从约6%(2025.0)升至9 / 13 / 16 / 18%(2026.0-2029.0),因此绝对工作负载规模逐年攀升,横向扩展压力也随世界规模路线图一同上升。根据构造,锚点必须输出有效H100e = C c l u s t e r = C_{\rm cluster} = C cluster ​ ,即有用性调整 = 1 = 1 = 1 (在§A.9中验证)。

A.4 工作负载占用

对每个桶 j j j ,原始工作负载规模(以所需算力计)为

该工作负载所需的物理芯片数量假设我们将其尽可能稀疏地分散,直到硬件允许的极限。用作业的算力除以单芯片算力 C C C ,得到假如内存无限时所需的芯片数,然后我们再乘以 ( M 0 / M ) δ (M_0/M)^{\delta} ( M 0 ​ / M ) δ 加以放大,以反映内存较少的芯片持有作业权重和激活的更小切片。不过我们并不把内存当作硬墙:指数 δ < 1 \delta < 1 δ < 1 反映你可以部分地换回容量(重算激活、卸载、更细粒度分片),因此将芯片内存减半会将工作负载分散到略多一些的芯片上,而不一定是两倍多。

其中 δ ∈ [ 0 , 1 ] \delta \in [0,1] δ ∈ [ 0 , 1 ] 是上文解释的内存占用弹性( δ = 0 \delta = 0 δ = 0 :容量不改变芯片数量; δ = 1 \delta = 1 δ = 1 :占用与容量成反比;我们默认假设 δ = 0.5 \delta = 0.5 δ = 0.5 )。

我们把它称为通信占用 n j = n r e q , j n_j = n_{{\rm req},j} n j ​ = n req , j ​ ,因为它驱动了下文各惩罚项中的跨芯片流量:一个作业被摊得越薄、跨越的芯片越多,芯片之间就越需要通信(§A.5)。在工作负载能装进单块芯片的边界情形下,我们将其下限设为1。两方面的弱点都会叠加成更大的占用:算力较少的芯片需要更多份自身来运行作业,内存较少的芯片需要更多份来保存其状态,因此在任一维度上较弱的芯片都会把相同的工作负载分散到更多芯片上,付出更多通信成本。

我们将所有这一切与运行同一作业的锚点集群进行对比:参考占用为 n 0 , j = C j o b , j / C 0 n_{0,j} = C_{{\rm job},j}/C_0 n 0 , j ​ = C job , j ​ / C 0 ​ ,其中没有内存项,因为锚点是 M = M 0 M = M_0 M = M 0 ​ 。

A.5 纵向扩展流量与横向扩展流量

现在我们估算一个工作负载的通信有多大比例( p S U p_{\rm SU} p SU ​ )能够留在快速的纵向扩展世界内部。将工作负载的芯片占用 n j n_j n j ​ (来自§A.4)与世界规模 W W W 进行比较,设

如果占用能装进纵向扩展世界( n j ≤ W n_j \le W n j ​ ≤ W ),则 p S U = 1 p_{\rm SU} = 1 p SU ​ = 1 ;如果更大,则只有一部分全对全式通信在世界内部。对于没有纵向扩展世界的芯片( W = 1 W=1 W = 1 ),任何大于一块芯片的工作负载都是纯横向扩展。这是对AI工作负载流量的粗略近似。

A.6 资源惩罚

模型计算资源惩罚,每一项都经过归一化,使锚点等于1。

6.1 内存带宽惩罚。

如果每芯片算力超过每芯片内存带宽(两者都相对于锚点),该芯片就更受带宽瓶颈约束( τ B > 1 \tau_B > 1 τ B ​ > 1 )。如果带宽增长快于算力,则约束较小( τ B < 1 \tau_B < 1 τ B ​ < 1 )。

6.2 网络惩罚。这衡量集群相对于锚点在同一作业上有多受通信约束。当一块芯片拥有更多算力时(每秒完成的工作越多,需要交换的数据就越多以保持供给),以及当其作业跨越更多芯片时,通信瓶颈会更高;我们将这些与网络速度加以权衡。

我们从每个集群的有效带宽倒数 R R R 入手(每移动单位数据的通信时间,因此越高越差)。根据§A.5, p S U p_{\rm SU} p SU ​ 是纵向扩展世界内部流量的比例, 1 − p S U 1 - p_{\rm SU} 1 − p SU ​ 在横向扩展上,因此 R R R 按流量的去向将两种网络结构混合起来。对于锚点:

候选集群同理,采用其自身的占用、世界规模和带宽:

我们将通信惩罚建模为三者的乘积,每一项都相对于锚点衡量:作业必须跨越多少芯片( n j n_j n j ​ )、每块芯片完成其工作的速度( C C C ),以及集群上通信的代价( R j R_j R j ​ )。它们相乘是因为通信时间等于移动的数据量乘以移动它的代价,因此同时在多个维度上更差会产生叠加效应。跨度上的弹性 γ = 0.15 \gamma = 0.15 γ = 0.15 :

算力速度( C / C 0 C/C_0 C / C 0 ​ )和通信代价( R j / R 0 , j R_j/R_{0,j} R j ​ / R 0 , j ​ )线性进入:一块芯片完成工作快2倍,产生需交换数据也快2倍;一条链路每字节代价贵2倍就需长2倍时间,因此我们将两者都建模为对通信时间施加线性压力。跨度以次线性方式进入( γ < 1 \gamma < 1 γ < 1 ),因为芯片多2倍时,任何单块芯片并不会多移动2倍数据:例如在环形all-reduce中,无论作业跑在100块还是100,000块芯片上,每块芯片移动的数据都是恒定的(约为模型规模的两倍),因为每芯片的数据块缩小的速度与步数增长的速度一样快。然而,协调步骤的数量(例如同步轮次、树跳数)确实会随芯片数量增长,但只是微弱地增长。因此总体上我们选择用 0.15 0.15 0.15 的指数来建模。

A.7 综合各瓶颈

我们将上述两项惩罚与算力瓶颈结合起来,按重要性份额 α C + α B + α N = 1 \alpha_C + \alpha_B + \alpha_N = 1 α C ​ + α B ​ + α N ​ = 1 加权。算力不带惩罚(根据定义为1,因为惩罚是算力对资源的比值,而对算力本身来说该比值就是 C / C = 1 C/C = 1 C / C = 1 ),因此 α C \alpha_C α C ​ 只是我们建模为受算力约束的工作份额,而 α B \alpha_B α B ​ 和 α N \alpha_N α N ​ 是由内存带宽惩罚和网络惩罚设定的份额。我们使用幂平均而非硬性瓶颈,使资源能够部分相互权衡,默认 q = 1.5 q = 1.5 q = 1.5 :

其中 D j D_j D j ​ 是相对于H100锚点的减速倍数。( q = 1 q = 1 q = 1 是简单的Amdahl式加权平均; q = 1.5 q = 1.5 q = 1.5 是默认值,会使大瓶颈更严重。用CES术语, 1.5 1.5 1.5 对应资源之间的替代弹性 σ = 1 / ( 1 + q ) = 0.4 \sigma = 1/(1+q) = 0.4 σ = 1/ ( 1 + q ) = 0.4 )。有用性调整是该惩罚在各工作负载上的加权平均:

A.8 完整方程

其中有用性调整 U U U 为

A.9 为何这满足所期望的属性

属性1:锚点原始等于有效。在锚点中 C = C 0 , B = B 0 , M = M 0 , S U = S U 0 , S O = S O 0 , W = W 0 C = C_0,\ B = B_0,\ M = M_0,\ SU = SU_0,\ SO = SO_0,\ W = W_0 C = C 0 ​ , B = B 0 ​ , M = M 0 ​ , S U = S U 0 ​ , SO = S O 0 ​ , W = W 0 ​ 且 n j = n 0 , j n_j = n_{0,j} n j ​ = n 0 , j ​ ,因此 τ B = 1 \tau_B = 1 τ B ​ = 1 且 τ N , j = 1 \tau_{N,j} = 1 τ N , j ​ = 1 。因此 D j = ( α C + α B + α N ) 1 / q = 1 D_j = (\alpha_C + \alpha_B + \alpha_N)^{1/q} = 1 D j ​ = ( α C ​ + α B ​ + α N ​ ) 1/ q = 1 ,有效H100e = C c l u s t e r = C_{\rm cluster} = C cluster ​ 恰好成立。

属性2:更多资源有帮助。增大 B B B 会降低 τ B \tau_B τ B ​ 。增大 M M M 会降低占用 n j n_j n j ​ ,从而降低 τ N , j \tau_{N,j} τ N , j ​ 。增大 S U SU S U 或 S O SO SO 会降低 R j R_j R j ​ 。增大 W W W 会提高 p S U p_{\rm SU} p SU ​ ,将流量从慢速横向扩展转移到快速纵向扩展(在 S U > S O SU > SO S U > SO 时有帮助);一旦 W ≥ C j o b W \ge C_{\rm job} W ≥ C job ​ ,即工作负载已经能装进纵向扩展世界,效果就会饱和。每一项都会提高有效H100e。

属性3:相同总算力,更小的芯片。用在每项单芯片指标上弱 k × k\times k × 但数量多 k × k\times k × 的芯片重建锚点集群,使集群总量不变: C ′ = C 0 / k , B ′ = B 0 / k , M ′ = M 0 / k , S U ′ = S U 0 / k , S O ′ = S O 0 / k C' = C_0/k,\ B' = B_0/k,\ M' = M_0/k,\ SU' = SU_0/k,\ SO' = SO_0/k C ′ = C 0 ​ / k , B ′ = B 0 ​ / k , M ′ = M 0 ​ / k , S U ′ = S U 0 ​ / k , S O ′ = S O 0 ​ / k ,芯片数量为 k × k\times k × ,工作负载相同 C j o b , j C_{{\rm job},j} C job , j ​ 。

总原始H100e相同,但有用性降到1以下,因为现在每个作业必须跨越更多芯片。占用超线性增长,因为两项单芯片削减相互叠加:较弱的算力意味着每块芯片只持有作业的 1 / k 1/k 1/ k ,需要多 k × k\times k × 的芯片;较小的内存又将其放大 k δ k^{\delta} k δ (按内存弹性 δ \delta δ ),因此芯片数量增长 k 1 + δ k^{1+\delta} k 1 + δ ,由于 δ > 0 \delta > 0 δ > 0 而大于 k k k :

带宽平衡不变,而在 τ N , j \tau_{N,j} τ N , j ​ 中,每芯片算力与网络倒数相互抵消(较小的每芯片算力被相应较慢的网络所抵消),只剩下占用项:

因此

在默认参数下,有用性调整为:

对于以下这些 k k k 值,给出如下数值:

k k kusefulness adjustment U U UD ( k ) = 1 / U D(k) = 1/U D ( k ) = 1/ U
0.11.10x0.91x
0.51.04x0.96x
20.96x1.04x
100.84x1.19x
1000.64x1.55x
10000.45x2.23x

对于较弱的芯片( k > 1 k > 1 k > 1 ),惩罚是真实存在的但适度;它会随更大的 γ \gamma γ 、 α N \alpha_N α N ​ 、 q q q 或 δ \delta δ 而加剧,或当较大的作业从纵向扩展溢出到横向扩展时加剧。对于 k < 1 k < 1 k < 1 (数量更少但更强的芯片,例如 k = 0.1 k = 0.1 k = 0.1 一行),情况相反, U > 1 U > 1 U > 1 。

A.10 默认参数与结果

默认参数(不确定,手动挑选):

parametervaluerole
α C \alpha_C α C ​0.55irreducible compute-bound share
α B \alpha_B α B ​0.20memory-bandwidth-sensitive share
α N \alpha_N α N ​0.25networking-sensitive share
q q q1.5bottleneck sharpness (1 = Amdahl, →∞ = max)
δ \delta δ0.5how much low capacity inflates the footprint
γ \gamma γ0.15how much footprint size raises comms pressure

基于我们对前沿工作负载规模的预测,以及§1.2中不同算力类别的平均资源属性,我们得到对原始算力的如下有用性调整:

effective per raw ( U U U )2024202620282029
AI1.161.061.041.02
non-AI servers1.381.401.411.40
PCs0.350.080.040.03
phones0.210.110.070.05
gaming GPUs0.040.050.060.04
other0.530.430.340.30

注意 U U U 是按每单位原始算力衡量的,这就是为什么非AI服务器得分最高:一台CPU服务器每块芯片承载的算力很少,但为其配备了充裕的内存、带宽和数据中心网络,因此它(为数不多)的每块H100e都得到异常充足的供给。AI集群起始略高于1(内存充裕的H100相对于锚点),随着内存墙的作用而向1漂移,而单一设备远低于1,因为它们输在网络上,而非算力上。

你也可以自己运行该模型:在下方输入任意芯片/集群规格(或从预设开始),读取其有用性调整和有效H100e。

运行的是完全的附录模型(A.8),采用已公布的参数,针对所选年份的前沿规模。头条U是作业组合加权平均值;条形图单独显示每种作业规模,因此你可以看出某规格在何处付出惩罚:阴影线墨迹在 U = 1 U=1 的锚点线之上,红色在其之下。算力以H100e计(= TPP / 15,800);没有真正纵向扩展结构的芯片为 W = 1。数据中心预设遵循增补材料的定义表;消费级设备和Rubin Ultra是粗略的公开规格估算,其网络设为部署现实的持续链路(共享WiFi、家用以太网)而非端口峰值,这正是把消费级U拉低到附录表约0.05-0.2区间的原因。它还产生了该模型标志性的反转:一部廉价手机在每单位算力上的得分超过一块旗舰GPU,因为同样细的链路后面算力越多,越容易被搁置浪费。

我们的AI相关定义是一个基于多项硬件性能指标的阈值,设定在略低于A100的水平,详见《算力定义》。

按拥有该算力的公司所属国家划分为美国、中国或世界其他地区。

峰值密集(无稀疏)每秒万亿次运算 × \times × 运行最快精度下的位宽(例如FP16=16、FP8=8、FP4=4)。一块H100约有15,800 TPP(1,979 FP8 TFLOP/s × \times × 8位);而Blackwell B200约为其2.3倍(9,000密集FP4 TFLOP/s × 4位 = 36,000 TPP)。仅这一点作为指标就已存在缺陷,因为较低位精度按其宽度成比例地被折算:即位精度小2倍就是TPP低2倍,但尚不清楚位宽低2倍是否真的意味着有用程度低2倍。它是一个合理的近似,因为理论上精度低2倍就是纯信息少2倍。

H100和A100越过了每一道门槛;相比之下,RTX 4090游戏GPU尽管原始FLOP/s很高,却在内存容量和网络上失败。网络门槛是横向扩展(NIC)带宽;一块芯片的NVLink级纵向扩展带宽为有用性模型供给,但其本身不作为AI相关性的截断标准。

比数据中心横向扩展速度低约100倍(大致相当于USB4/Thunderbolt的速度)。这是一个宽泛的定义,但实践中它基本上只涵盖数据中心中使用的芯片。

这些定义想要捕捉的是芯片的实际用途:如果有人以足够的有线速度将多台笔记本电脑连接起来,那它就会变成一个AI相关的集群(而同样这些笔记本在连接之前是AI无关的单一设备)。

各超大规模厂商(Microsoft、Google、Amazon、Meta)合计资本支出,加上新型云厂商(neoclouds)和主权基金,在2023-2025年间以约1.7倍/年增长。随着绝对基数增大,我们将该速率减速至约1.5倍/年,到2028年平均约1.6倍/年。

每美元H100e因制程缩小(N5→N3→N2)、更大的HBM堆栈和芯粒(chiplet)封装而改善,历史上约1.4倍/年。我们保持该速率到2028年不变,而非假设加速。

为避免重复计算,我们将前沿AI收入从超大规模厂商现金流一项中剔除(AI公司的现金支出体现在超大规模厂商的现金流内部),因此我们从近年现金流中将其减去,再作为独立来源加回。迄今为止,前沿AI收入在超大规模厂商现金流中所占份额微不足道,因此这是一项小幅调整。

此次建设越来越多地由债务和股权融资。Alphabet于2026年2月发行了约200亿美元债券(作为约315亿美元全球募资的一部分,其中包括罕见的100年期债券),为其约1,850亿美元的2026年资本支出提供资金,此前在2025年11月还发行了约250亿美元债券(其长期债务在2025年翻两番至约465亿美元)(CNBC)。Meta发行了300亿美元债券,外加为其Hyperion园区设立的约270亿美元私募信贷SPV,Oracle发行了约180亿美元(如今是最大的投资级非金融债务发行方);总体而言,五大超大规模厂商在2025年发行了约1,210亿美元债券,而常态约为280亿美元/年(Fortune)。在股权方面,SpaceX创纪录的约750亿美元IPO(2026年6月)部分专门用于AI算力,并由与Google和Anthropic的大额算力供应协议支撑(CNBC、TechCrunch)。

这些倍数是一种简化:债务最终是从利润率而非收入中偿付的,且大型发行方历来会维护投资级(A或以上)信用评级,这限制了它们愿意接受的杠杆水平。按字面理解,我们的路径所隐含的杠杆只有在贷方持续认可预测的收入增长时才能保持投资级(2025-28年累计债务约1.6万亿美元,对应2029年初约1万亿美元的前沿公司ARR)。理想情况下我们会在明确的信用评级约束下,根据预测现金流来确定债务规模;目前我们暂用简单的收入倍数。

该换算是运行速率的时间平均值,对于从A_start到A_end的指数增长而言,即对数平均值,大约为年末ARR的0.4倍。因此2026年一条$30B → $180B的ARR路径在2026年确认约840亿美元收入。

先进逻辑芯片和HBM都依赖EUV光刻,而EUV是整条链中最难在短期内扩产的环节:ASML是唯一供应商,每台扫描机造价超过2亿美元且交付周期长达数年,已装机数量仅以约10-15%/年增长,远慢于AI算力需求。在各种可能的瓶颈中(晶圆厂空间、先进封装、电力、EUV),我们将EUV工具时间视为受限的(也是最可预测的)那个。

已装机算力并非纯粹的累计产量:我们扣除了缓慢的芯片存活衰减(AI加速器约15年半衰期,计入再利用和二级市场),这将2029年存量削减约3%。§1.2中对所有算力都应用了相同的分类退役率。

这将利用率(由于各种良率和正常运行时间因素,理论晶圆产能中实际能转化为最终算力的比例)折算进了每晶圆最终H100e的数字中,而非将其单独分离出来、考虑每“良品晶圆”H100e乘以某个利用率。

在本节中,我们忽略其他DUV光刻(KrF、ArF-干式、i-line),将其视为从不构成约束的成熟层级;这里的“DUV”指ArF浸没式(193i)。

具体而言,我们将每台工具每年建模为约360,000次有效曝光通过:相对于约160 wph的铭牌规格约50片晶圆/小时,反映约75%至82%的正常运行时间,外加曝光剂量、光源功率和掩模版开销损失。因此这里的“100%利用率”意味着机队按现实的持续吞吐量(如TSMC已在其工具上运行的水平)被完全排满,而非字面意义上100%正常运行时间的上限。

每个类别的年末已装机存量等于存活下来的先前存量加上当年产量,存活按各类别半衰期建模为几何衰减:手机约12年,PC和游戏约16年,非AI服务器约14年,AI加速器约15年,“其他”层级(MCU之类)约30年,即每年约有2%至6%的机队退役。

在固定算力下,每激活参数的最优token数大约随稀疏度的平方根上升(稀疏MoE比率,从约40密集到30倍下的约240),因此总量按 σ 0.74 \sigma^{0.74} σ 0.74 增长,而非 σ \sigma σ 本身,与如今最稀疏的前沿模型较小的激活数相吻合。稀疏度是一个手动设定的时间表,从如今的8倍到协议时的32倍再到2040年的128倍,主要是一个非常不确定的朴素趋势外推。

形式上 n j = max ⁡ ( 1 , n r e q , j ) n_j = \max(1,\, n_{{\rm req},j}) n j ​ = max ( 1 , n req , j ​ ) ,即一个小到能装进单块芯片的作业仍会占据整块芯片。此下限仅在该边界情形下起作用;对于任何大到足以跨越多块芯片的工作负载,它都不起作用, n j = n r e q , j n_j = n_{{\rm req},j} n j ​ = n req , j ​ 。

我们对这个指数确实不确定。有些集合通信扩展得很好:一个实现良好的树形all-reduce在参与者数量 N N N 上的延迟为 ∼ 2 log ⁡ 2 N \sim 2\log_2 N ∼ 2 lo g 2 ​ N (NCCL的双二叉树在多达数万块GPU时延迟大致保持平稳,在Summit上24,576块GPU时改善多达180倍)(NVIDIA,《Massively Scale Your Deep Learning Training with NCCL 2.4》),在 10 2 10^2 1 0 2 到 10 5 10^5 1 0 5 块芯片范围内接近 n 0.15 n^{0.15} n 0.15 。其他的则更差:环形算法具有线性延迟,而掉队者、竞争以及不完善的算力/通信重叠会将开销推得更高。因此 0.15 0.15 0.15 是对弱次线性增长的粗略猜测。

占用为 n j = max ⁡ ! ( 1 , L j S C ( M 0 M ) δ ) n_j = \max!\left(1,\, \frac{L_j S}{C}\left(\frac{M_0}{M}\right)^{\delta}\right) n j ​ = max ! ( 1 , C L j ​ S ​ ( M M 0 ​ ​ ) δ ) , p S U p_{\rm SU} p SU ​ 如§A.5所述。

每个副本的KV缓存是约20万token的实时上下文,在注意力压缩后每token约100 KB。我们让它随模型宽度(约active^0.5)乘以约12倍的净上下文长度增长(智能体上下文超越进一步KV压缩的进展,每副本约20万到240万token)而增长,这使得2040年上下文占通用内存的约5%。

稀疏度不改变这一点:在大批次下,每一步都会命中每个专家,因此无论如何整个模型都会被读取。批次为1的服务可以只读取激活字节并快若干倍,但其每token成本在大规模下无人负担;在本预测中,这类需求转而由推理专用芯片来服务(批次为1的上限 ρ σ \rho\sigma ρ σ 作为诊断保留在真值表中)。将这种抵消一路延续到2040年也预设了服务始终维持在如今大批次、吞吐量最优的运行点,运行在带宽-容量比遵循§2.2路径的芯片上;如果延迟压力反而重塑了通用服务(更小批次、延迟调优的部件),这些速度会向上漂移而副本数向下。

关于解读的两点注意事项:推理模型每完成一项任务会花费许多token,因此每秒的有用工作量落后于原始token数;而这些仅是前沿模型的副本,其中该情景的工作者数量(到2036年达一千亿个人类速度当量)也包括更小的蒸馏模型,此处前沿模型副本按token计约提供该总量的20%。