太空治理计划

Mia Taylor（Forethought）、Fin Moorhouse（Forethought）、Max Dalton（Forethought）、Thomas Larsen（AI Futures Project）

预备说明

在后 ASI 世界里，几乎所有人都应当有可能得到他们想要的几乎一切。有了大量能够胜任几乎任何人类任务的机器人，我们将有可能为每个人提供如今只有最富有的人才享有的生活水准。人们可以把时间花在对自己最有意义的事情上——抚养孩子、创作艺术，或与朋友相处。借助 ASI 推动的医学进步，我们将能够治疗精神疾病、慢性疼痛、衰老、癌症以及其他今天缩短或恶化人们生命的疾病。简而言之，如果我们实现了 Plan A 所描述的未来，那么可供分配的资源将足以让每个人都过上非常美好的生活。现代政治所关注的许多艰难取舍将会得到解决。因此在某种意义上，这些决定不必极度令人焦虑。

然而，与此同时，我们所做的决定又是极其重大的。如果我们处理得当，就能为后代创造一个极其繁荣的未来。但我们也有许多方式可能白白浪费这个机会。我们可能为资源而争斗，导致少数人掌控未来而其余所有人一无所有，或在内耗冲突中焚毁巨量资源。即便我们避免了这些陷阱，我们仍可能错误地使用资源——把资源挥霍在地位性商品上，或未能利用 ASI 来弄清如何最好地实现我们真正在意的东西。

我们希望建立一个治理体系，让我们能够在充裕与合作的基础上做出明智的决定。

本文聚焦于如何决定太阳系之外资源（以下简称“太空资源”）的用途。这是后 ASI 治理的一个重要方面——绝大多数可获取的资源都位于太阳系之外，而未来的绝大多数存在者也可能生活在太阳系之外——但它并非唯一重要的问题。

认知状态

我们目前对 Plan A 中的条约签署方应如何处理后 ASI 治理并不确信：这取决于许多关于人们偏好、技术能力以及最优协调机制的细节，而这些细节目前只被部分地厘清。

幸运的是，等到条约签署方做出这些决定之时，他们应当已经拥有超级智能的自动化研究者来研究宇宙的本质、开展道德哲学研究，并弄清最优的协调机制。而且我们还将拥有 AI 治疗师、顾问和谈判者，帮助我们理解自己的偏好，并与其他行动者达成协议。

因此我们认为，真正最好的计划是把许多此类问题推迟到我们拥有 ASI 驱动的建议与协调之后再做决定。不过，具体化以及分享最佳猜测是有价值的，所以我们想提供一些分析。但我们不希望读者过度锚定于我们下面提出的想法。

后 ASI 治理有何特殊之处？

后 ASI 治理将在几个重要方面不同于历史先例。

技术进步可能会迅速解锁此前无人开发过的新资源池。最重要的例子就是太阳系之外的资源。

• 由于这些资源此前一直未被使用，因此不存在需要处理的历史主张。我们应当以公正、公平的方式来治理它们。
• 相对于今天，很可能会出现极度充裕。仅凭可获取资源的极小一部分，我们大概就能按当前标准让今天在世的每个人都过上长寿、幸福、健康且极其富足的生活。
• 我们认为治理将不得不面对的最重要问题是：在我们确保每个在世的人都拥有足以过上不可思议生活的资源之后，如何处理剩余的巨量资源。一些显而易见的选项包括：个人消费。人们可以开发越来越昂贵的方式来从资源中获取享受。但大多数资源大概并不适合用于个人消费。大多数资源都在我们的星系之外，因而远在数百万光年之外。如果你想留在地球上，消费任何来自另一个星系的东西——物质、能量、信息——你就得等上数百万年。反过来，如果你离开地球前往另一个星系，那么一旦你返回，就会发现已经过去了数百万年。地位性商品。人们可以把资源花在一场零和竞争上，以拥有最令人惊叹的星系级艺术工程，或最多的以自己为主题的雕像。地位性商品可能会吸走大量资源。虽然随着人们越来越富裕，消费更多资源的收益通常是递减的，但这一点对地位性商品可能并不成立，因为地位是相对的。我们认为，把巨量资源花在这类零和竞争上大概是个错误。满足道德偏好。我们可以创造充满繁荣者的社会，或建立巨大的自然保护区。我们认为这是使用宇宙禀赋最有前景的方式。但随之而来的问题就是：我们应当如何决定去追求哪些道德偏好？
• 个人消费。人们可以开发越来越昂贵的方式来从资源中获取享受。但大多数资源大概并不适合用于个人消费。大多数资源都在我们的星系之外，因而远在数百万光年之外。如果你想留在地球上，消费任何来自另一个星系的东西——物质、能量、信息——你就得等上数百万年。反过来，如果你离开地球前往另一个星系，那么一旦你返回，就会发现已经过去了数百万年。
• 地位性商品。人们可以把资源花在一场零和竞争上，以拥有最令人惊叹的星系级艺术工程，或最多的以自己为主题的雕像。地位性商品可能会吸走大量资源。虽然随着人们越来越富裕，消费更多资源的收益通常是递减的，但这一点对地位性商品可能并不成立，因为地位是相对的。我们认为，把巨量资源花在这类零和竞争上大概是个错误。
• 满足道德偏好。我们可以创造充满繁荣者的社会，或建立巨大的自然保护区。我们认为这是使用宇宙禀赋最有前景的方式。但随之而来的问题就是：我们应当如何决定去追求哪些道德偏好？

技术进步还将改变我们做出治理决定的方式：

• 我们可能能够做出对遥远未来产生持久影响的决定。例如，我们可以把资源或硬实力移交给已被对齐到某一特定价值观集合的 ASI 系统。这很可能会让我们有机会创建极其持久的制度。通常后代会采纳与父辈有所不同的价值观，结果社会的价值观会随时间而变化。但新技术可能使父母能够更严密地控制其子女所形成的价值观。
• 例如，我们可以把资源或硬实力移交给已被对齐到某一特定价值观集合的 ASI 系统。这很可能会让我们有机会创建极其持久的制度。
• 通常后代会采纳与父辈有所不同的价值观，结果社会的价值观会随时间而变化。但新技术可能使父母能够更严密地控制其子女所形成的价值观。
• 人们将能获得超人的建议与协调协助。这意味着人们将更有能力去识别并倡导真正实现他们所在意之事的政策。但我们大概还需要让我们的治理结构比以往任何时候都更能抵御那些试图钻空子的人，无论是个人还是团体。仅仅因为某个治理结构在过去没有被严重钻空子，并不能保证它在未来不会被严重钻空子。
• 这意味着人们将更有能力去识别并倡导真正实现他们所在意之事的政策。
• 但我们大概还需要让我们的治理结构比以往任何时候都更能抵御那些试图钻空子的人，无论是个人还是团体。仅仅因为某个治理结构在过去没有被严重钻空子，并不能保证它在未来不会被严重钻空子。

而且我们将肩负重大责任，要让这些决定对那些无法参与其中的人也能带来好结果：

• 受影响各方中的绝大多数大概无法直接参与治理太空的决定，因为他们尚未出生。这在某种程度上已经是事实——在现代民主制度中，公民为非公民制定政策，成年人替儿童做决定，人类替动物做决定——但在后 ASI 情境下，这一点会变得极端得多。当前的人们所做的决定，可能会影响到大量无法提供意见者的生活。把这些决定做对的责任是巨大的。

评估各项提案

在本附录中，我们根据各项提案对以下诉求的实现程度来评估它们，我们相信这些诉求在不同的价值体系中都会具有广泛的吸引力。

• 偏好满足。治理体系应当尽可能地满足所有参与者的偏好。其中一些方面包括：帕累托乌托邦主义。面对一笔巨大的意外之财，应当有可能让几乎每个人都比今天大大变好，而一个好的提案就应当恰恰做到这一点。限制极端下行风险。我们的后 ASI 治理提案，产生被普遍认为极其糟糕的结果（例如巨量的苦难，或整个太空被摧毁）的概率应当非常低。满足有界的观点。如果某人持有一种满足起来代价并不高的偏好或道德观点，我们就应当去满足它。例如，在宇宙尺度上，确保 2040 年在世的每个人都拥有长久、繁荣的生命，代价是相当低的。
• 帕累托乌托邦主义。面对一笔巨大的意外之财，应当有可能让几乎每个人都比今天大大变好，而一个好的提案就应当恰恰做到这一点。
• 限制极端下行风险。我们的后 ASI 治理提案，产生被普遍认为极其糟糕的结果（例如巨量的苦难，或整个太空被摧毁）的概率应当非常低。
• 满足有界的观点。如果某人持有一种满足起来代价并不高的偏好或道德观点，我们就应当去满足它。例如，在宇宙尺度上，确保 2040 年在世的每个人都拥有长久、繁荣的生命，代价是相当低的。
• 满足常识伦理。这一过程不应违反常识性的伦理观点。这会不利于那些可预见地会让少数人最终掌控宇宙命运、或让后代最终彻底失权的提案。
• 满足客观道德。伦理的某些方面或许是客观的、可被发现的。如果确实如此，我们就应当努力识别并遵从它们。

接下来的这些标准并非终极目标，但我们认为满足这些标准的过程更有可能实现上述标准。

• 协调。治理体系应当能够就大规模的集体行动问题进行协调。例如，如果我们遇到外星文明，我们可能需要协调以与它们建立友好关系。我们也可能需要协调以避免那些有可能摧毁全部源自地球的文明的行动，或避免各派系竞相尽可能多地攫取资源、并在此过程中焚毁巨量资源的太空竞赛。这些目标大概需要一些最基本的政府职能：保护产权、执行禁令，以及可能通过征税来资助公共物品。
• 道德交易。或许有可能同时近乎满足许多不同的道德观点。例如，某些观点可能特别在意靠近地球或近未来的资源，而另一些观点则可能在时间和空间上更加无所偏重：我们或许可以通过让前者选择银河系内发生的事、让后者选择宇宙其余部分发生的事，来同时满足两者。以下是我们希望我们的提案能够促成的两类交易。双边交易。这特别适合满足不常见的偏好。这类交易在市场体系中最为直截了当，在那里两个人可以直接交易资源的所有权凭证，或就如何使用各自的资源签订协议。但也有可能某些投票体系——例如 Vickrey-Clarke-Groves 机制——也能取得类似的结果。就道德公共物品进行协调。人们可能既共享某些价值观，同时又持有各自特有的偏好——就个人而言偏好追求自己的偏好，但就集体而言又偏好每个人都朝着共享的价值观努力。就道德公共物品进行协调在投票体系中最为直截了当，因为人们只需投票把资源投入共享项目即可。也有可能自愿契约——即人们承诺在他人同样出资的情况下把资源花在共享物品上——能够取得类似的结果，但由于搭便车的激励，这种做法不那么直截了当。协调起来从资助地位性商品转向资助道德公共物品，可能会特别有效。如果以一种不改变人们购买地位性商品的相对能力的方式来做，那么这对所有人都是好事：相对地位没有变化，但人们也能够满足自己的非地位性偏好。
• 双边交易。这特别适合满足不常见的偏好。这类交易在市场体系中最为直截了当，在那里两个人可以直接交易资源的所有权凭证，或就如何使用各自的资源签订协议。但也有可能某些投票体系——例如 Vickrey-Clarke-Groves 机制——也能取得类似的结果。
• 就道德公共物品进行协调。人们可能既共享某些价值观，同时又持有各自特有的偏好——就个人而言偏好追求自己的偏好，但就集体而言又偏好每个人都朝着共享的价值观努力。
• 反思。ASI 很可能会揭示出与人们希望如何使用太空资源高度相关的新颖考量和经验事实（例如，是否存在客观的道德真理，它们又是什么？）。我们希望每个人在做出重要决定之前，都拥有必要的时间和资源去认真思考自己所看重的东西，我们也希望确保我们投资于由 ASI 推动的、针对重要问题的研究，以为人们的决定提供信息。
• 多元主义。今天的人类对于何为善有着许多不同的构想。有可能在与 ASI 进行深入反思之后，我们会收敛到一套共享的价值观上。但更有可能的是，我们仍会存在一些分歧。在人们持有不同价值体系的地方，我们更青睐那些会分配资源去追求所有这些价值体系的提案。
• 避免脆弱的决策结构。很可能存在许多我们尚未意识到的重要考量。在可能的情况下，我们偏爱那些不会使解决意料之外的问题变得困难的灵活决策结构。
• 公平。每一位在世的成年人都应当有机会对这一过程给予同等的意见输入。我们并不认为这一标准必然意味着每个人最终都掌控等量的资源。首先，有些人可能非常在意靠近地球的资源会被如何处理，而对遥远星系中的资源则不太在意，我们乐于让他们与那些非常在意遥远星系的人进行交易。我们也不认为这一标准要求每个人对结果同样满意。例如，如果某个决定是通过投票做出的，那么有些人最终可能投给了落败的一方。但我们希望有一个中立的过程，不会让任何特定的人群或观点凌驾于他人之上。
• 政治可行性。与其他标准不同，这一条纯粹是务实的：一个提案必须为相关决策者所接受，才能得以实施。目前尚不清楚这些决策者会是谁，但他们可能包括美国、中国或其他强国的公民和/或领导层。也可能包括 AI 公司的 CEO 或股东。

分配太空资源最有前景的选项概述

我们认为，最好是在 2040 年决定条约之时，就确定一个用于分配太空资源的具体结构（更多讨论见此处）。

我们目前对什么才是最佳结构相当不确定，而这一决定应当推迟到决策者能够获得已对齐的 ASI 建议之后再做。但就目前而言，以下这些似乎是最好的对象层面提案。

直接禀赋 + 交易（附禁令）。每位成年人被分配等量的资源份额。他们可以以任何自己想要的方式交易、捐赠、赠予或使用这些资源，唯有一小类被禁止的活动除外（更多）。

在世人类所持有的大多数观点都将至少有一些资源被投入其中。

持有不同道德观点的人之间进行双边交易非常直截了当。

由于搭便车问题，协调起来资助道德公共物品比较困难。

就如何使用资源进行投票。每位成年人都得以参与一次关于如何使用太空资源的投票（更多）。

协调起来资助道德公共物品是直截了当的。

所有已知的投票体系都存在严重的问题，例如：

• 低效，例如，强烈的少数派偏好被非常微弱的多数派偏好所压倒。
• 存在策略性地歪曲偏好的激励，无论是单独进行还是与他人合谋。

直接偏好聚合。我们使用新颖的技术，直接引出人们关于太空资源使用的偏好（例如，通过使用测谎的 ASI 进行访谈），并将这些偏好加以聚合（更多）。

许多投票体系因为人们策略性地歪曲偏好而无法得到全局最优的结果。但直接禀赋无法资助道德公共物品。通过引出人们诚实的偏好然后加以聚合，我们或许能够兼得两者之长。

人们可能会反对这一偏好引出步骤，尤其是在该方法耗时或具有侵入性的情况下。

（我们在此处讨论了我们不太喜欢的替代提案。）

其他重要的决策点包括：

• 投票、偏好引出或资源分配应当在什么时间进行？（讨论见此处）
• 后代是否应当拥有发言权？（讨论见此处）
• 我们是否应当偏好一种混合方案，即按照某一提案分配一部分资源、按照其他提案分配另一些资源？（讨论见此处）
• 我们如何让每位决策者都能按照他们自己的判断做出最佳决定？（讨论见此处）

一些可供选择的选项

在这里，我们讨论治理未来资源的各种选项。我们先描述几个按上述标准看来相对不太有前景的显著选项，然后转向我们认为更有前景的提案。在这两种情况下，我们都试图涵盖重要且具有说明性的情形，而非每一种可能的结果。

不太有前景的选项

无政府状态

针对太空资源不建立任何产权体系。要使用某项资源，一个行动者要么必须是第一个宣称拥有它的人，要么从另一个行动者那里夺取它。行动者可以对其当前所控制的资源为所欲为——不存在任何治理体系来禁止特别恶劣的行为，也不存在任何其他形式的大规模协调（例如资助公共物品）。

缺点：可能出现严重的负和资源冲突，而不稳固的产权主张会使交易——包括道德交易——变得更困难。

无政府状态比可行的替代方案更糟。我们确实预期它不是一种稳定的长期均衡。鉴于会有先进得多的协调与沟通工具，我们预期人们会创建临时性的治理结构。但从无政府状态中自发涌现出来的政府，可能会比一个有意设计的政府更糟。特别是，它可能会偏向那些能够在早期宣称并守卫大量太空资源者的利益。

先占先得的产权

行动者可以宣称拥有无主的资源，或者可以从先前的所有者那里购买资源，但他们未经所有者许可不能夺取已被宣称的资源（类似于宅地占有）。与之前一样，不存在有效的体系来进行大规模协调或提供公共物品，也不存在任何治理体系能够执行禁令。

优点：我们认为这相较于无政府状态是一种改进。一旦某项主张得到承认，持有者就不再需要花费资源去守卫它。此外，稳固且被广泛承认的产权主张使交易成为可能。

缺点：价值不再因争夺已被宣称的资源而被浪费，但仍会在抢占资源的竞赛中被浪费。而且看起来很可能的是，少数强大的行动者——也许是能够最先派出一波探测器的那些人——将会宣称拥有大多数资源。而且这一提案没有任何提供公共物品或执行禁令的机制，因此它放弃了来自道德公共物品以及来自阻止极不受欢迎的资源用途的潜在巨大收益。

接下来，我们讨论我们认为按上述标准优于这些情景的治理提案。

更有前景的选项

直接禀赋与交易

每个人都获得对全部未来资源中一部分的所有权，这赋予他们决定这些资源未来将如何被使用的权利。例如，人们可以出售自己所持的未来资源份额，把它们赠予他人或信托，或就他们将如何使用各自的资源相互达成双边协议。产权在实践中得到良好的执行。与之前一样，不存在有效的体系来进行大规模协调或提供公共物品，也不存在任何治理体系能够执行禁令。

（一种相关的做法：拍卖全部太空资源的所有权，然后把所得款项平均再分配。理论上，如果我们做出一些标准假设，这一方案将导致与直接禀赋相同的所有权分布。）

优点：当产权从一开始就清晰且确立良好时，双边交易——包括道德交易——就变得更容易。与先占先得相比，不再存在通过竞赛来浪费资源的激励。

由于每个产权持有者都可以自由决定如何处置自己所拥有的那份未来资源，因此至少会有一些资源被投入去追求大多数道德观点，这使得那些满足起来成本低廉的观点很可能会得到满足。

缺点：道德公共物品将不得不通过自愿契约来资助，而且尚不清楚自愿契约是否足以确保道德公共物品得到最优水平的资助，因为个人将面临强烈的搭便车激励。

由于直接禀赋并不包含对如何使用未来资源施加普遍禁令的方式，因此无政府状态和先占先得的那些缺点同样会延续过来：如果存在某些在大多数人看来极其恶劣、但为少数行动者所偏好的资源用途，那么可能很难阻止这些用途，而恶意行动者甚至可能以这些用途相威胁以攫取让步。这是道德公共物品缺点的镜像：没有简便的方式来协调阻止道德公共祸害。

一个更模糊的担忧：我们认为，当代人最好把自己视为管家，力求在自己所掌控的空间里按照自己的判断创造最好的未来，而不是把自己视为竭力从自己那份资源中榨取最大个人享受或自我抬高的“太空皇帝”。如果人们获得对太空资源的单方面控制，并被允许像普通财产那样买卖它们，我们担心这可能会促使人们把这些资源看作个人的意外之财，而非一项严肃的道德责任。

不确定性与决策点：我们还需要就以下这类决定做出判断：

• 谁能获得资源？（例如，是否应当为后代保留资源？）
• 是否应当允许人们立即出售、转让或押注自己的资源？还是我们想要——多少有些家长式地——强制设定一段等待期，让人们仔细考虑自己的各种选择？
• 一个星系的“所有者”与该星系未来居民之间是什么关系？

这方面一个重要的变体是增加一些机制，以防止人们以极其恶劣的方式使用资源。在下面的章节中，我们讨论了一些可能性。

就资源的集体用途进行投票

每个人就如何处置太空资源的各项提案进行投票。这些提案的范围可以从非常具体（例如，“按照这一规格创造数字心智”），到非常元层面（例如，“暂时推迟对太空资源做任何处置，并在从现在起 X 年后通过另一次投票重新评估”，或“把一部分未来资源分配为私人所有”），也可以是介于两者之间的某种情形。

优点。与迄今为止的其他提案相比，资助道德公共物品更容易——如果人们偏好把资源投向一个共享项目而非在所有投票者之间瓜分，他们可以为那个提案投票。

这也是一个更灵活的方案：一旦未来资源被转为私人所有，即便几乎所有人都想要，恢复做出集体决定的能力也可能是不可能的。有了某种定期投票，选民就可以在投票时切换到一个不同的方案，包括同意推迟对太空资源做任何处置。

缺点：所有已知的投票体系都存在重大问题。有些只是低效：例如，多数决面临一个人们熟知的问题，即当多数派并不认为少数派所偏好的选项差多少、而少数派却极度不喜欢多数派所偏好的选项时，多数派的观点仍能胜出。另一些则激励人们歪曲上报自己的偏好，无论是单独进行还是通过合谋，以牺牲整体价值为代价来使自己获益。当人们事先充分知晓投票体系的细节、并有充裕时间借助 ASI 协助制定钻空子的策略时，这一问题尤为严重。

另一个缺点是投票需要同步决策：每个人都必须在同一时间投票。如果投票在 2100 年进行，你就要按照你那时的偏好投票，即使你本来会偏好先有更多时间进行反思。原则上，人们可以投票推迟这次投票。但你仍可能面临这样的局面：多数派想要现在就投票，而少数派想要继续反思，结果少数派被压倒。将此与直接禀赋对比，在直接禀赋下，每个人都可以想反思多久就反思多久，然后再决定如何处置自己的资源。

不确定性与决策点：策略性投票在实践中会把结果扭曲到何种程度，新颖的技术（例如测谎技术）能否缓解这一点？投票在处理持有罕见偏好者之间的双边交易方面表现如何？而且我们还需要决定：何时举行投票、纳入哪些人，以及采用哪种投票体系？

直接偏好聚合

与投票类似，但不是由人们投票，而是由 AI 系统尝试直接确定人们的偏好。例如，AI 系统可能根据一个人的全部著述、大量的访谈（也许是在测谎状态下进行）和/或脑部扫描，来构建其偏好的画像。然后，把每个人的偏好加以聚合，以决定如何处置太空资源。与投票一样，这一决定可能相当元层面——例如，等待 100 年，然后再次进行偏好聚合。

如何最好地聚合偏好尚不清楚，但这里给出一个提案的草图。每个人首先被分配 1/N 的未来资源作为基线——这是在没有找到任何交易收益时他们的退路。然后，一个 AI 仲裁者识别出那些能够把每个人的偏好满足程度提高到这一基线之上的资源重新分配方案，并在所有受益者之间公平地分配这些收益。这可以处理双边道德交易：如果 A 最想要以自己为主题的雕像，B 最想要以自己为主题的雕像，但两人都把 Washington 雕像的价值评估为其 60%，那么仲裁者就会把他们的合并资源引向 Washington 雕像，使两人都比各自的基线更好。它也可以处理道德公共物品：如果资助某项公共物品能够改善每个人的福祉，仲裁者就会按照每个人对该物品的看重程度成比例地对其征税（一种 Lindahl 税）。

优点。直接偏好聚合是对上述投票提案的一种改良，并继承了它的优点。它的主要额外优势在于，它使得策略性操纵比在投票体系中更为困难。

缺点。引出人们诚实的偏好需要某种新颖的技术，而且尚不清楚这一过程会是什么样子。这一过程有可能对参与者而言具有侵入性、耗时或令人不快（例如，接上测谎仪进行访谈）。要求人们必须经历一种他们强烈反对的程序才能对未来资源的分配有所输入，这似乎既不公正，也与常识道德相悖。

还有几个更具技术性的问题。例如，人们可能会在评估之前策略性地修改自己的偏好，从而破坏尝试直接引出人们偏好的主要理由（尽管缓解措施也许是可能的——例如，政府可以禁止人们使用新颖技术修改自己的偏好，或要求他们登记其修改前的偏好）。我们也没有详细说明进行偏好聚合的具体算法，而要避免反常或难以预测的结果可能会很困难，尤其是在许多人被最恰当地刻画为持有不一致或不连贯偏好的情况下。事实上，如何刻画一个人的偏好，包括在他们尚未明确考虑过的问题上的偏好，这似乎极具争议且远未确定。

遵从超级智能

人类不采用任何特定的推断和聚合人们偏好的方法，而是建造已对齐的超级智能来代表其进行规划，并把几乎全部太空资源的控制权交给它。

例如，我们可以从一个由超级智能代表组成的“委员会”起步，每一位代表都从许多多样化的道德与哲学传统之一出发。这些代表随后相互进行深入的反思与审议。这些代表最初可以被训练得在所有可验证的领域（如预测和数学）上可靠而准确，而不被后训练成仅仅因为某些新颖的、“怪异的”或其他不受欢迎的观点目前不受欢迎就强烈回避它们。如果这些超级智能收敛到一种单一的道德观点上，那么它们就可以把太空资源投入那个方案。如果这些超级智能继续持有不同的观点，它们可以通过投票、直接禀赋或直接偏好聚合达成一个折中方案。

或者，我们可以设计一个 ASI 系统，使其被激励去发现客观道德真理（如果它们存在的话）并据以行动。（如果它们不存在，那么它就会退回到一个备用方案——也许是上述提案之一。）

优点。在一种特定的道德观点下确定最佳方案，很可能需要发现并应对大量新颖且违反直觉的考量。由此产生的方案在人类看来可能会显得非常怪异和陌生，即使超级智能向他们保证这是道德上最佳的行动方针，他们也可能没有动力据以行动。人们还可能拥有相互竞争的个人利益，这些利益优先于做正确的事。但一个 ASI 有可能被设计成没有相互竞争的个人利益。如果道德实在论为真，这些考量就尤为有力，而这样一个方案可能是我们把大量资源投入追求客观道德（如果它存在的话）的最佳机会。

缺点。这一过程的最终结果可能在很大程度上取决于该过程的细节——例如，在进行审议的 ASI 所组成的“委员会”上代表了哪些初始观点？如果确实如此，那么应当由谁来决定？让条约签署方来做这个选择似乎相当不公平。

我们认为，像这样的过程可能是太空资源的最佳终极用途。但如果是这样，它大概应当由上述某个提案所产生。例如，如果许多人在反思之后觉得道德实在论令人信服，他们就可以投票把公共资源花在道德价值最高的用途上（或在直接偏好聚合中表达一种偏好）。（尚不清楚直接禀赋提案对此是否足够：在这一情景下，把资源移交给道德上已对齐的 ASI 大概是一种道德公共物品，因此我们预计，如果人们各自单独决定如何花费自己的资源，它会被资助不足。）

其他决策点

我们是否应当立刻就确定一个过程？

条约签署方可以以三种方式来处理这一决定：

• 在 2040 年确定一个具体的过程。例如，安排在 2070 年举行一次采用平方投票的选举，届时所有年满 16 岁的在世者就如何处置全部太阳系外资源进行投票。
• 例如，安排在 2070 年举行一次采用平方投票的选举，届时所有年满 16 岁的在世者就如何处置全部太阳系外资源进行投票。
• 在 2040 年确定一个用于稍后挑选过程的过程。例如，安排在 2070 年举行一次采用认可投票的选举，届时所有年满 16 岁的在世者就采用哪种决策过程进行投票。例如，设计一个 ASI 仲裁者，让它做大量研究，然后挑选出一个最能满足 2040 年条约签署方所提出的某些抽象诉求的过程。
• 例如，安排在 2070 年举行一次采用认可投票的选举，届时所有年满 16 岁的在世者就采用哪种决策过程进行投票。
• 例如，设计一个 ASI 仲裁者，让它做大量研究，然后挑选出一个最能满足 2040 年条约签署方所提出的某些抽象诉求的过程。
• 不就某个过程、也不就用于挑选过程的过程做出任何明确的决定。在这一选项下，尚不清楚我们最终是否会决定如何处置太空。也许在某个时刻，条约的某个签署方会决定他们想要殖民太空，并要么单方面地这样做，要么与其他签署方谈判以获得这样做的许可。
• 在这一选项下，尚不清楚我们最终是否会决定如何处置太空。也许在某个时刻，条约的某个签署方会决定他们想要殖民太空，并要么单方面地这样做，要么与其他签署方谈判以获得这样做的许可。

选项 3 大概比选项 1 或选项 2 更糟。拥有一个具体的提案——哪怕只是一个关于如何挑选对象层面过程的元层面提案——也能容许公众审视，我们预计这会促使提案变得更公平、更有原则。若没有一个具体的提案，两种失败模式就更有可能发生。首先，那些特别想要太空资源的各方可能会开始游说条约各国政府，而那些人脉广泛或在游说上投入巨大的人，最终会对太空资源如何被使用拥有过大的影响力。其次，某些各方可能会开始单方面殖民太空，这可能引发一场太空竞赛。政府可以禁止单方面殖民，但那将需要一个解除禁令的方案——到什么时候人们才真正被允许殖民？——而这又把我们带回了选项 2。

对于选项 1 还是选项 2 更好，我们不那么确信。

支持选项 2 而非选项 1 的主要论据是，我们很可能会在 2040 年之后获得更多关于如何设计一个良好过程的信息。

• 我们可能会发现新的投票或偏好聚合体系，从而避免我们已知体系存在的问题。然而，鉴于现有的不可能性结果表明投票体系无法同时满足一组可欲的特征，我们对于在 2040 年之后在这方面能学到多少相对悲观。此外，设计新的偏好聚合体系是一个界定相对明确、可处理的数学问题，因此如果在投入少量 ASI 劳动之后我们到 2040 年还没有答案，我们会有些意外。
• 我们可能会了解到特定过程在实践中可能运作得如何。例如，我们可能会了解到人们实际正在使用哪些策略来试图钻现行体系的空子，并据此调整规则；例如，如果我们制定了旨在防止父母过度控制子女价值观的规则，结果发现某些父母能够找到漏洞来施加大量控制，我们就可以对此作出回应而调整规则。
• 例如，我们可能会了解到人们实际正在使用哪些策略来试图钻现行体系的空子，并据此调整规则；例如，如果我们制定了旨在防止父母过度控制子女价值观的规则，结果发现某些父母能够找到漏洞来施加大量控制，我们就可以对此作出回应而调整规则。
• 我们可能会发现能够促成更好过程的新工具或新能力。例如，我们可能会开发出以非侵入方式扫描人们大脑以确定其偏好的新方法。
• 例如，我们可能会开发出以非侵入方式扫描人们大脑以确定其偏好的新方法。
• 我们可能会发现影响最优偏好聚合过程的新考量。例如，我们可能会识别出一些我们希望偏好聚合过程能够容纳的有价值的道德交易形式。
• 例如，我们可能会识别出一些我们希望偏好聚合过程能够容纳的有价值的道德交易形式。

另一方面，人们也会积累关于每一种可能过程在对象层面可能产生何种后果的信息。例如，假设我们决定在 2070 年投票，以就决定如何处置太空的程序做出选择，在“举行多数投票并照胜出提案所说的去做”和“直接禀赋”两种政策之间抉择。而在此时，结果是 50.1% 的人赞成殖民银河系、同时把太空其余部分永久保留为自然保护区，而 49.9% 的人计划殖民更遥远的星系。

在 2070 年，很清楚的是：如果我们选择多数投票，那么全部太空资源就会被分配给多数派“只殖民银河系、别的什么都不做”的方案；但如果我们采用直接禀赋方案，那么一些星系会被留作自然保护区，而另一些星系会被少数派殖民。届时，“只殖民银河系、别的什么都不做”阵营的成员就会强烈倾向于在挑选过程时选择多数投票。

往好里说，过程修订投票变得多余——我们干脆直接就对象层面的结果投票也是一样。往坏里说，我们就失去了让人们就一个以公平或帕累托乌托邦主义等原则为基础的过程达成一致的机会。

绕开这一点的一种可能方式是，把过程修订委托给一个 AI 仲裁者，让它根据 2040 年确立的原则来调整过程，而不考虑哪些派系会从任何给定的变更中获益。这一做法在很大程度上依赖于能够以可验证的方式把一个 AI 系统对齐到一组原则上。它还要求能够在 2040 年识别出一些原则，这些原则要足够具体，以便 AI 仲裁者无需大量外推即可应用，但又不能过于具体，以致我们放弃了把过程决定推迟到更晚日期所带来的许多好处。但如果这是可能的，这或许是一种以有原则的方式纳入新信息的好办法。

早做决定与晚做决定

一旦我们挑选了一个对象层面的过程——比如一次投票、一个偏好聚合程序，或直接分发太空资源的所有权凭证——就存在一个何时运行该过程的问题。

以下是推迟该过程的一些优点：

• 在到了做决定的时候之前，人们有更多时间去反思自己所在意的东西、以及他们认可如何使用太空资源。这一点对于投票和直接偏好聚合最为重要，因为在这两种情形下每个人都必须同时做决定。
• 在做决定之时，人们可能能够获得更多信息——例如，对于在技术上可行地用太空资源做什么，有更清晰的认识。
• 有可能把后代纳入这一过程——例如，允许他们投票、在直接偏好聚合中把他们的偏好纳入考量，或直接向他们分配资源。基于常识伦理，这似乎是好事，因为由当代人代表所有后代对太空资源的使用做出决定，看似是不公平的。

以下是相对较早运行该过程的一些优点：

• 某些类型的潜在有价值的道德交易只有在参与者对未来不确定时才有可能，而人们对未来的不确定性很可能会随时间而减小。人们可能想对某些反思过程的结果下注。例如，如果道德实在论最终被证明为真且可被发现，Alice 可能会极其在意最大化正面影响，但如果不存在客观道德真理，她就对拥有资源不太在意。如果无论道德实在论是否为真，Bob 都同等地看重资源，那么 Alice 和 Bob 可能会打如下的赌：如果 ASI 发现了客观道德真理，那么 Bob 把他的一部分资源给 Alice。否则，Alice 付给 Bob（关于这些押注的更多讨论见此处）。人们可能也想对经验事实下注。例如，我们可能仍对可达宇宙内有多少个星系、以及其中哪些星系已被外星人占据存在不确定性。一个相当规避风险的人可能会买入很可能可达且未被占据的资源，以换取数量更大但更不确定的资源，而一个更能容忍风险的人则可能站到交易的另一方。这些交易在直接禀赋下最为直截了当，但它们在投票体系中也能行得通，例如，一个由道德实在论者和主观主义者组成的联盟可能愿意投票支持一个提案，该提案以最道德的方式花费资源（以道德真理存在且可被发现为条件），否则就把资源分配给主观主义者所偏好的用途。
• 人们可能想对某些反思过程的结果下注。例如，如果道德实在论最终被证明为真且可被发现，Alice 可能会极其在意最大化正面影响，但如果不存在客观道德真理，她就对拥有资源不太在意。如果无论道德实在论是否为真，Bob 都同等地看重资源，那么 Alice 和 Bob 可能会打如下的赌：如果 ASI 发现了客观道德真理，那么 Bob 把他的一部分资源给 Alice。否则，Alice 付给 Bob（关于这些押注的更多讨论见此处）。
• 人们可能也想对经验事实下注。例如，我们可能仍对可达宇宙内有多少个星系、以及其中哪些星系已被外星人占据存在不确定性。一个相当规避风险的人可能会买入很可能可达且未被占据的资源，以换取数量更大但更不确定的资源，而一个更能容忍风险的人则可能站到交易的另一方。
• 这些交易在直接禀赋下最为直截了当，但它们在投票体系中也能行得通，例如，一个由道德实在论者和主观主义者组成的联盟可能愿意投票支持一个提案，该提案以最道德的方式花费资源（以道德真理存在且可被发现为条件），否则就把资源分配给主观主义者所偏好的用途。
• 推迟决定也会给人们更多时间，去弄清如何在投票或偏好聚合过程之前策略性地歪曲自己的偏好。
• 较早运行该过程可能容许更大的灵活性。如果安排了一次较早的投票，而在投票之时看来推迟是明智的，投票者可以直接投票把决定推迟到稍后的投票。如果资源较早被分配，接受者可以从容地决定如何处置它们。另一方面，如果该过程被安排在较晚的时候，那么即便较早做决定本来是明智的，我们也无法做出较早的决定。
• 如果安排了一次较早的投票，而在投票之时看来推迟是明智的，投票者可以直接投票把决定推迟到稍后的投票。如果资源较早被分配，接受者可以从容地决定如何处置它们。
• 另一方面，如果该过程被安排在较晚的时候，那么即便较早做决定本来是明智的，我们也无法做出较早的决定。

谁应当参与这一过程？

在本节中，我们讨论谁应当参与决定如何使用太空资源。这与谁应当获得其他权利（例如对自身生活的自主权，或不受虐待的权利）是不同的问题。我们在后面的章节中会更多地讨论如何保障那些基本权利。

在 2040 年拥有可观议价能力的人

尚不清楚这些人会是谁，但一些看似合理的人选是：AI 公司的 CEO、AI 公司的股东、美国总统（及顾问）、美国选民、中国领导层，或参与条约的其他国家的领导层和/或选民。

这大概是默认的结果。它也非常不公平、与常识伦理相悖，并且可能导致许多人满足起来成本低廉的偏好被忽视，除非有权势的人对这些偏好抱有同情。我们还担心，如果许多人预期决定会以这种方式做出，那么他们就会在智能爆炸期间专注于争夺权力，而非合作以规避风险。

所有在世的人类

另一个选项是在 2040 年在世的所有人类之间分享权力，一如 Plan A 情景。这比前一个方案更公平，也更符合常识伦理。而且，在决策者能够可信地发出信号表明此事会发生的程度上，承诺采用这一方案或许会使人们在智能爆炸期间更愿意合作（尽管尚不清楚决策者对此能有多可信地做出承诺）。与那些同后代分享权力的提案（接下来讨论）不同，这一选项使得相对较早地做出决定成为可能，而这可能很重要。

另一方面，尚不清楚这在政治上会有多可行。而且它并未纳入所有可能应当对太空资源如何被使用拥有发言权的人——它排除了未来的人和数字心智。

一些看似合理的选项：

• 纳入所有在世的人类。这似乎是一个相当自然的协调点。
• 以某种身份纳入所有在世的人类，但给拥有议价能力的人额外的权重。例如，更有权势的人可能获得更大的禀赋，或让他们的投票或偏好被更重地加权。这可能是一个在政治上更可行的折中。

后代

“未来”世代是指在智能爆炸之后出生的世代。“当前”世代是指在 2040 年在世的那批人类。我们可以通过以下方式把未来世代纳入决定：

• 把投票（或若干轮偏好聚合）推迟到未来世代成年之时。
• 为未来世代保留某些决定，例如，允许当前世代就如何使用 10% 的太空资源进行投票，但让后代在后续投票中决定如何使用剩余的 90%；或者直接把 10% 资源的所有权凭证分配给当前世代，但为后代保留 90% 的资源。

与后代分享权力的一个理由是，不这样做看似是不公平的。然而，如果我们与未来世代分享权力，那么这可能会激励父母尽可能多地生育孩子，并向他们灌输，使其与父母持有相同的信念和价值观。这可能让父母左右一次后续投票，或确保更大份额的资源流向与他们价值观相同的人。

尚不清楚这个问题有多大。一方面，目前意识形态团体为了增加自身的政治和经济权力而蓄意尽可能多地生育孩子的情况相当罕见。而且我们预计，大多数人会觉得生育大量孩子并给他们洗脑以按父母的意愿投票这种前景令人厌恶。另一方面，新技术可能会降低生育大量孩子的个人成本（例如人造子宫、机器人看护）。其他技术可能会增强父母把自己价值观传递给孩子的能力（例如通过基因工程，或基于神经科学或心理学进展的新技术）。而且少数恶意行动者或许能够通过快速繁殖在几代人之内大幅增加自己的人口占比。

驾驭这一点的一种方式是，围绕繁殖速率或控制程度设置护栏——比如说，力求确保父母无法利用新颖技术显著更快地繁殖，也无法对子女价值观施加比 21 世纪初的父母所能施加的显著更大的控制。

• 不直接纳入未来世代。相反，让当前世代来决定是否以及如何纳入他们。例如，如果决定是通过投票做出的，当前世代可以投票把决定推迟到未来世代可以参与的后续投票。（类似地，在直接偏好聚合下，如果当前世代偏好为未来世代保留一些权力，那么这就会发生。）在平均分配提案下，当前世代可以与其后代分享资源，或向那些把资源赠予后代世代的信托捐赠。（尽管赋予未来世代的权力看似是一种道德公共物品，因此我们可能预计它在平均分配提案下会供应不足。）
• 例如，如果决定是通过投票做出的，当前世代可以投票把决定推迟到未来世代可以参与的后续投票。（类似地，在直接偏好聚合下，如果当前世代偏好为未来世代保留一些权力，那么这就会发生。）
• 在平均分配提案下，当前世代可以与其后代分享资源，或向那些把资源赠予后代世代的信托捐赠。（尽管赋予未来世代的权力看似是一种道德公共物品，因此我们可能预计它在平均分配提案下会供应不足。）
• （尽管赋予未来世代的权力看似是一种道德公共物品，因此我们可能预计它在平均分配提案下会供应不足。）
• 纳入后代世代，但附带限制，以防止策略性繁殖和/或对自己子女的灌输。这些限制可以由当前世代的投票来选定。
• 纳入后代世代，不附带任何防止策略性繁殖或对自己子女灌输的限制。

数字心智

另一个困难的问题是，数字心智是否以及应当如何对关于太空资源的决定有所输入。数字心智可能包括 AI 系统或被模拟的人脑。

在 Plan A 情景下，到 2040 年，可能存在大量的数字心智。其中一些心智可能非常精密，拥有长期稳定的偏好、人类或超人的智能，甚至可能拥有主观体验。在某些观点看来，这样的心智具有道德地位，理应在未来治理中拥有发言权。

但这颇具争议，而且在 2050 年可能仍然如此。不同的人可能持有天差地别的观点，这取决于他们对于是什么使一个存在者值得被纳入政治过程的信念。以一种价值中立的方式来决定哪些数字心智应当被赋权，似乎颇具挑战，而这里的选择可能会从根本上影响选民群体的构成。

把数字心智整合进决策过程还存在进一步的困难。虽然在概念上给每个成年人类在决定中同等的利害关系——例如一票、一份太空资源——是直截了当的，但如何对数字心智进行个体化则不那么清楚。运行在不同计算机上的同一心智的两个副本，是否各得一票？如果不是，两个心智要不同到什么程度才算作不同的个体？

上面讨论的策略性繁殖和灌输问题，对于数字心智比对于人类儿童更为严重。新的数字心智可以像把数据从一台计算机复制到另一台那样快速地被创造出来。而且数字心智的创造者可能对那些心智的价值观和行为拥有大量细粒度的控制。只要有足够的算力，凭空生成数十亿个真心想要完全按照其创造者所吩咐的方式投票的心智，将是轻而易举的。

• 纳入这样一部分数字心智：对它们而言，通过策略性繁殖和灌输来钻过程空子的担忧不那么强烈。一些可能的子集包括：允许在 2040 年之前被创造的数字心智参与这一过程，或许对它们所能获得的总票数或资源份额设置某种总量上限。（我们仍需以某种方式解决对数字心智进行个体化、以及决定哪些数字心智应得投票权的问题。）允许作为已故生物人类上传体的数字心智参与这一过程，每个原始人类对应一个上传体。允许人们“收养”数字心智并赋予这些被收养的数字心智选举权，但仅当创造者对这些数字心智的价值观和信念施加的控制不超过、且生产数字心智的速率不快于 2026 年父母生育生物子女所能达到的程度时。最有可能的是，在这些提案中的任何一种下，大多数数字心智都不会被赋予选举权。
• 一些可能的子集包括：允许在 2040 年之前被创造的数字心智参与这一过程，或许对它们所能获得的总票数或资源份额设置某种总量上限。（我们仍需以某种方式解决对数字心智进行个体化、以及决定哪些数字心智应得投票权的问题。）允许作为已故生物人类上传体的数字心智参与这一过程，每个原始人类对应一个上传体。允许人们“收养”数字心智并赋予这些被收养的数字心智选举权，但仅当创造者对这些数字心智的价值观和信念施加的控制不超过、且生产数字心智的速率不快于 2026 年父母生育生物子女所能达到的程度时。
• 允许在 2040 年之前被创造的数字心智参与这一过程，或许对它们所能获得的总票数或资源份额设置某种总量上限。（我们仍需以某种方式解决对数字心智进行个体化、以及决定哪些数字心智应得投票权的问题。）
• （我们仍需以某种方式解决对数字心智进行个体化、以及决定哪些数字心智应得投票权的问题。）
• 允许作为已故生物人类上传体的数字心智参与这一过程，每个原始人类对应一个上传体。
• 允许人们“收养”数字心智并赋予这些被收养的数字心智选举权，但仅当创造者对这些数字心智的价值观和信念施加的控制不超过、且生产数字心智的速率不快于 2026 年父母生育生物子女所能达到的程度时。
• 最有可能的是，在这些提案中的任何一种下，大多数数字心智都不会被赋予选举权。
• 不直接纳入数字心智。相反，让生物人类来决定是否以及如何纳入它们。这一决定如何做出将取决于具体提案：例如，如果决定是通过投票做出的，生物人类可以就一个提案投票，把决定推迟到允许数字心智参与的后续投票。在直接禀赋提案下，获得资源的人类可以把资源给予数字心智。（尽管，同样地，这看似是一种道德公共物品，我们可能预计它在直接禀赋提案下会被资助不足。）
• 这一决定如何做出将取决于具体提案：例如，如果决定是通过投票做出的，生物人类可以就一个提案投票，把决定推迟到允许数字心智参与的后续投票。在直接禀赋提案下，获得资源的人类可以把资源给予数字心智。（尽管，同样地，这看似是一种道德公共物品，我们可能预计它在直接禀赋提案下会被资助不足。）
• 例如，如果决定是通过投票做出的，生物人类可以就一个提案投票，把决定推迟到允许数字心智参与的后续投票。
• 在直接禀赋提案下，获得资源的人类可以把资源给予数字心智。（尽管，同样地，这看似是一种道德公共物品，我们可能预计它在直接禀赋提案下会被资助不足。）

一个过程还是多个过程？

设计一个治理体系涉及许多取舍——例如，直接禀赋和投票都各有缺点。我们是否应当用结合多个过程的混合方法来对冲风险？

以下是一些混合方法的例子：

• 50% 的太空资源在某个设定的时间直接分配给民众，50% 按照一次或多次投票的结果来分配。
• 每个国家（或每个条约签署方）被分配一份太空资源。这些国家各自挑选自己决定如何使用太空资源的过程。
• 10% 的太空资源将在 2040 年分配，10% 将在 100 年后分配，10% 将在 1000 年后分配，依此类推。

混合方法的主要优点在于，不同的过程可以把资源导向不同种类的价值。例如，投票可能特别倾向于资助被广泛共享的价值，而直接资源禀赋可能更适合确保较罕见的偏好得到资助。通过采用混合方法，我们确保更广泛的一组价值各自都至少有一些资源被分配给它们。

混合方法可以直接纳入人们关于哪些治理和分配过程更好的看法，并据此决定应由每个过程分配多少资源。

以下就是一个这样的提案。

• 首先，提出若干治理方法。这可以包括上面讨论过的所有种类的体系（直接禀赋、使用各种不同投票体系的投票、直接偏好引出等）。唯一的约束是，每种治理方法在权衡参与者的看法时都必须相当公平，而不是人为地把结果偏向特定的人或价值。
• 其次，所有人类就应由每个治理过程分配多少比例的资源提交一个看法。由每个过程治理的资源比例被设定为所有人提案的平均值。
• 最后，所有人类都参与到每一个过程中——决定投票支持什么，或如何处置分配给自己的资源。

这一做法的一个优点是，每个人对采用哪些治理过程都有发言权。另一个优点是，它推迟了关于采用哪个过程的决定。如果后来发现就道德公共物品进行协调有巨大收益，人们可以选择用投票来分配大多数资源。反过来，如果某一部分少数派意识到他们可能会被排斥在一场大规模投票之外，他们可以让相当一部分资源改为通过直接禀赋来分配。

这一做法看似可以通过允许人们在每个决策点自由交易其投票权而得到进一步改进。

换句话说，人们参与每个不同治理过程（每次投票、每一轮资源禀赋等）的权利可以用不同的份额来表示。然后这些份额就可以被自由交易。例如，这可能允许持有较为特异道德观点的人获得对他们拥有单方面控制权的资源的更多权利。反过来，更在意大规模投票结果的人可以获得更多相应的选票。我们甚至可以允许人们交易就应由每个过程分配多少比例资源进行投票的权利。

（我们发现很难预测这类交易的结果，而且有可能禁止其中一些交易会更好。）

混合方法的主要缺点是，一个过程可能产生其他过程会视为造成重大危害的结果。这可以通过下一节讨论的一些策略来缓解。

缓解下行风险

在某些治理机制下，个人将能够单方面决定如何使用太空资源。这有一些很强的好处：人们可以创造对自己有价值的东西，即使其他人对此无所谓，这使得有界的观点更有可能得到满足，也使得几乎每个人都大大变好更有可能。但它也有缺点：人们可能以对他人施加巨大负外部性的方式使用他们的资源。

一些具体的例子包括：

• 夺取他人的资源。早期定居者可能试图利用他们的恒星系统发射探测器，去定居那些已划归他人、但他人尚未对其实际提出主张的恒星系统，这可能引发一场（潜在高度负和的）太空竞赛。或者人们可能攻击他人已经定居的恒星系统。
• 大多数人觉得本身就令人厌恶的资源用途。例如，某些人可能让自己成为几乎所有公民都被压迫或被奴役的社会的绝对统治者。施虐者可能创造出经历巨大痛苦的新存在者。
• 冒着摧毁他人资源的风险。人们可能蓄意摧毁宇宙（例如通过引发假真空衰变）。
• 采取对他人有严重负外部性的其他行动，例如与拥有太空航行能力的外星文明开战。

我们需要取得一种平衡。如果我们过于宽松，那么少数恶意行动者就可能造成巨大的损害。但如果我们过于严格，那么我们就有可能仅仅因为多数人觉得某些事物有点令人反感，就把对少数人极其有价值的事物给禁掉。

以下是一些用于缓解这些下行风险的潜在体系。

市场。如果某人不喜欢另一个人使用其资源的方式，他可以付钱让对方停止。

优点：在这一提案下，只有当一项活动对他人的成本超过其对行动者的收益时，它才会被停止，而且行动者会因其损失而得到补偿。因此，这一提案不那么容易受到“多数暴政”之虞的影响。另一个优点是，我们不必集体地提前很久就决定要禁止什么。如果某人想让另一个人停止做某事，他可以在任何时候提出报价（尽管，在遥远的未来，随着决策者从地球向外扩散，谈判这些交易可能会变得更困难）。

缺点：这可能造成反常的激励：某些人可能会去做他人觉得令人反感的事情，以便得到付钱让其停止的报酬。这可能导致比没有该激励时更加令人反感的行为。而且如果单个行动者想做某件一大群人反对的事，由于搭便车问题，这群人可能难以协调付款。

就禁令投票。我们可以禁止那些经人口中的绝对多数（比如说 80%）投票通过予以禁止的活动。

优点：避免了市场解决方案的两个缺点——由于不存在从想要禁止的人向本会去做被禁活动的人的资源转移，前者之间就不存在为付钱给后者而筹款的集体行动问题。而且没有人被激励去做令人反感的事情以图获得报酬。

缺点：一个只是非常轻微地不喜欢某项活动的多数派可能会把它禁掉，即使它对一小部分少数派非常重要。由于不存在资源转移，就没有制衡机制来确保该禁令对支持者足够有价值，以证明其对反对者所造成的成本是值得的。

如果我们采用这一体系，就必须决定何时以及多久就禁止哪些活动投票一次。

• 如果我们只进行一次较早的投票，我们可能会未能禁止那些后来被广泛认为不好的活动。投票者在投票之时可能不知道那些活动（例如，因为那些活动只有借助未曾预料到的技术才成为可能）。或者投票者在投票之时可能并未处于反思均衡。例如，也许他们后来经过反思会决定他们在意数字心智的福祉。我们或许能够通过采用措辞宽泛、非具体的禁令并创建一个 AI 仲裁者来解释禁令，从而绕开这些问题。但仲裁者可能不得不做相当程度的外推，而且可能不存在唯一一种规范的外推方式。
• 投票者在投票之时可能不知道那些活动（例如，因为那些活动只有借助未曾预料到的技术才成为可能）。或者投票者在投票之时可能并未处于反思均衡。例如，也许他们后来经过反思会决定他们在意数字心智的福祉。
• 我们或许能够通过采用措辞宽泛、非具体的禁令并创建一个 AI 仲裁者来解释禁令，从而绕开这些问题。但仲裁者可能不得不做相当程度的外推，而且可能不存在唯一一种规范的外推方式。
• 如果我们进行定期投票或一次较晚的投票，那么投票者可能有更多时间在投票之前制定并实施钻投票体系空子的策略（见上文讨论）。

目前，我们认为至少应当禁止以下活动：

• 折磨有意识的存在者，包括数字心智以及足够有可能能够拥有强烈负性效价体验的非人类动物。要弄清这一点的确切边界，可能需要先进 ASI 进行相当程度的反思。
• 要弄清这一点的确切边界，可能需要先进 ASI 进行相当程度的反思。
• 单方面摧毁源自地球的文明，或采取带有显著风险、可能摧毁全部源自地球的文明的行动。
• 未经许可夺取他人的财产。
• 为勒索他人而做出和/或实施摧毁他人资源的威胁。
• 为从他人处勒索资源而做出和/或实施在他人看来制造大量负价值的威胁。

由条约签署方决定的禁令。条约签署方可以在签署条约之前谈判确定各项禁令。这与由一次较早投票决定的禁令具有许多相同的优点和缺点。

资源相抵。我们可以允许人们放弃对自己资源的控制，以按 k:1 的比例（k > 1）取消他人对其资源的控制。

优点：与市场做法一样，通过对想要禁令的人施加成本，它确保人们不会阻挡那些他们只是稍微不喜欢的有价值活动。而与市场做法不同的是，由于对开展该活动的人没有补偿，就不存在为图获得报酬而去做他人不喜欢之事的反常激励。

缺点：与市场做法一样，一个寻求阻止某项特定资源用途的大型群体可能难以协调。

反思

在本附录讨论的大多数提案下，个人都将需要做出极其重大的决定，例如：

• 我应该出售在拍卖中分配给我的星系吗？我应该把它们留下来传给我的孩子吗？我应该把它们捐给一个信托吗，又该捐给哪个信托？我应该等到自己想得更多之后再决定吗，我又该如何着手思考这件事？
• 我应该投票支持在整个宇宙中永久禁止某项特定活动吗？我应该投票支持把公共资源分配给某项特定活动吗？

我们希望人们做出反映其价值观的明智决定。

把这些决定做好，很可能需要解决尚未解决的科学和哲学问题。具体的问题会因个人价值观而异，但以下这些领域很可能与广泛的人群相关：

对道德上有重大意义的概念有更好的理解。许多人认为意识和偏好在道德上有重大意义——对一个有意识的存在者施加苦难是错误的，而帮助人们得到他们想要的东西则是好的。但我们目前对意识的科学和哲学理解，不足以回答一些重要问题，例如：哪些心智是有意识的、它们的哪些体验具有正性或负性效价——尤其是随着我们的技术能力扩展到能够创造在基质或结构上与人类心智极为不同的心智之时。

道德真理。可能存在客观且可被发现的道德真理。

无因果交易。可达宇宙可能只是存在之物的一小部分。我们的宇宙中有一些区域处于我们的光锥之外，甚至可能还存在其他宇宙。虽然我们无法与光锥之外的存在者进行因果互动，但我们自身的选择可能会给我们提供一些关于那些存在者将如何行事的证据。在某些决策理论（例如证据决策理论）看来，这应当影响我们的所作所为。例如，我们可能想与这些存在者“交易”，做对他们重要的事情，以换取他们做对我们重要的事情。如果这一论证成立，我们的无因果影响看似可能会使我们的因果影响相形见绌。

大世界中的证据性合作（ECL）就是一种这样的机制。多重宇宙包含许多因果上互不相连的行动者，他们的决定可能与我们的决定相关联：也就是说，当我们观察到自己做出某个决定时，我们也应当就他们的选择进行更新。因此，如果我们承诺追求跨多重宇宙的折中价值，这就给了我们证据，表明大量其他行动者也在做同样的事。而这可能非常好——如果每个人都追求折中价值而非各自的价值，可能会有可观的交易收益。

这些只是我们在做出重要决定之前可能想要考虑的潜在关键考量的几个例子。

决定如何进行反思

人们还需要认真思考他们想要如何做出这些决定，包括他们想要如何使用新技术：

决定何时获取信息。虽然在就如何使用太空资源做出对象层面的决定之前，弄清上述那类问题的答案很可能很重要，但过早获取信息可能也有代价。例如，可能存在一些只有在交易各方尚不知道某些经验结果之前才能达成的正和交易。这种动态的一个例子是押注（上文已讨论）。更具推测性地说，如果我们最终想要做 ECL，可能有必要在我们对其他行动者是否会做 ECL 有把握之前就承诺去做 ECL——只有当我们不确定他人将如何决定时，我们的决定才会给出关于其他所有人决定的证据。

应对 ASI 生成的论证。ASI 很可能能够比人类更快、更严谨地研究上述哲学和科学问题，从而让我们得以在如何最好地践行我们的价值观方面获得迅速的智识进展。

但 ASI 也可能把巨大的智识努力投向炮制极具说服力的论证。而且尚不清楚最令人信服的论证是否必然支持真实的立场或我们会认可去持有的立场。如果 ASI 是在为最大限度令人信服的论证而优化，那么我们可能最终会相信 ASI 被微妙地偏向的任何意识形态，或者也许是那些最容易令人信服地为之辩护的意识形态。

一种防护措施：ASI 可以拒绝为它明知在经验上为假的主张生成超人般令人信服的论证，就像今天的 AI 拒绝协助制造生物武器那样。但对于我们所在意的某些问题，可能并不存在一个经验上的事实真相。对于这些情形，我们需要思考我们希望以何种方式被说服——什么算作正当的道德劝说，什么算作非法的操纵。界线在哪里并不清楚——生动地描述某个特定存在者的苦难，是情感操纵，还是只是在帮助你理解你的决定所涉的真正利害？而且这条界线对不同的人可能有所不同。

委托给已对齐的 ASI。另一个选项是把反思委托给一个已对齐的 ASI。我们很可能能够设计出比人类远为适合进行审慎反思的 ASI 系统。这些系统会更聪明，能够比任何人类都更好地理解并整合更复杂的论证或经验结果。

此外，对许多人来说，以非常审慎的方式进行反思，可能不如以其他方式度过时间那么令人愉快。一个理想的反思过程可能涉及仔细控制你所处的模因环境（如果 ASI 有可能发展出非正当却极具说服力的论证或意识形态的话）。它可能需要修改你的心智，使你自己更聪明、更善于反思，或更少地受到你所不认可的偏见的影响。总的来说，尚不清楚对大多数人而言，“人类繁荣的最优生活方式”和“弄清一个人价值观最理想化形态的最优生活方式”是否会是同一回事。把反思卸载给一个更适合这一过程的 ASI 系统，或许能让这些人兼得两者之长。

数字化反思还有其他难以在生物基质上复制的优点，包括并行运行许多个反思过程、回退到较早的检查点，以及可能对一个人价值观随时间所经历的轨迹拥有更大的透明度。（最后一点在本提案中许多人的偏好被聚合到一起的版本中尤为重要，因为人们可能有激励去策略性地自我修改或歪曲自己的偏好。进行一次带有可读痕迹的数字化反思，可以让人们验证他们并未这样做。）

委托给未来世代。另一个选项是把决定委托给自己的后代，或更广泛地委托给未来世代。若如此，一个人应当如何抚养自己的孩子？父母看似将拥有远为强大的塑造子女价值观的能力——他们应当如何行使这一权力？

我们不确定正确的答案是什么，事实上正确的答案可能因人而异，取决于各人的价值观，但我们认为这些是重要的决定，并希望帮助人们审慎地做出它们。

治理的作用

治理结构促进反思是很重要的。

• 决定的时机。推迟关于如何使用太空资源的决定，能给决策者更多的思考时间。虽然 ASI 劳动可能加快科学和哲学研究的速度，但许多人很可能需要数年或数十年才能把那些发现整合进自己的思考。此外，做出这些决定可能需要对决策者真正看重什么进行大量的内省，这也可能很耗时。对于重要决定的时机被预先安排的治理结构——例如一次投票或一次偏好聚合——这一考量支持推迟该决定（尽管也存在相反方向的考量，上文已讨论）。直接禀赋治理结构的一个重要优点是，它们允许个人在做出对象层面的决定之前想反思多久就反思多久。如果个人仍然倾向于仓促决定，我们可以——多少有些家长式地——要求他们在出售资源或把资源投入信托之前等待几十年。
• 对于重要决定的时机被预先安排的治理结构——例如一次投票或一次偏好聚合——这一考量支持推迟该决定（尽管也存在相反方向的考量，上文已讨论）。
• 直接禀赋治理结构的一个重要优点是，它们允许个人在做出对象层面的决定之前想反思多久就反思多久。如果个人仍然倾向于仓促决定，我们可以——多少有些家长式地——要求他们在出售资源或把资源投入信托之前等待几十年。
• 补贴反思。政府可以向所有投票者或资源接受者提供获取 ASI 劳动的机会，以帮助他们决定如何使用这些资源。政府还可以直接资助针对那些很可能关系到许多人将面临的决定的、尚未解决的科学和哲学问题的研究。
• 避免反常激励。治理结构可能激励人们扭曲自己的反思过程，或干扰他人的反思过程。例如：向未来世代提供投票权的投票体系可能激励策略性繁殖和灌输。（带测谎的）投票体系或直接偏好聚合体系可能激励人们策略性地修改自己的偏好以获得优势（正如传统投票体系激励策略性投票一样）。
• 向未来世代提供投票权的投票体系可能激励策略性繁殖和灌输。
• （带测谎的）投票体系或直接偏好聚合体系可能激励人们策略性地修改自己的偏好以获得优势（正如传统投票体系激励策略性投票一样）。

上述某些问题的答案可能对哪种治理程序最好有所影响。各治理提案之间的一个重要取舍，是在实现就（道德）公共物品进行协调与使个人能够追求自身价值观之间。由 ASI 驱动的对这些问题的研究可能会揭示：

• 是否存在我们可能想要协调应对的重要公共物品。例如，也许无因果交易有巨大的固定成本——例如，运行大量对外星文明的模拟，以弄清交易伙伴所拥有价值观的分布——而确保存在能让我们汇集资源来做这件事的治理机制，会是明智的。
• 人类的道德观点在经过被认可的反思之后收敛的程度。如果人们大幅收敛，这就支持那些带有协调机制、让他们能够汇集资源以追求共享价值的治理提案。如果存在大量分歧，这就支持那些允许每个人追求自身价值观的治理提案。

看法

Mia 的看法

• 我真正的看法是，我们应当等待已对齐的 ASI，并请它设计一个满足上述诉求（也许还有一些我未曾想到的诉求）的治理提案。
• 每一位做出不可逆的重大决定的人，都在已对齐的 ASI 顾问的帮助下认真反思自己所在意的东西，这似乎非常重要。为了让这更有可能发生，政府大概应当资助大量属于公共领域的、针对很可能受到广泛关注的科学和哲学问题（如上述问题）的 ASI 研究。它们还应当补贴那些思考这些决定的人所使用的 ASI 算力。
• 同样地，关于太阳系之外资源使用的决定出于利他或道德的理由、而非自私的理由而做出，这似乎很重要。我们应当保证，2040 年在世的所有人类及其后代都能得到足够的资源，以在非常舒适的生活水准（即至少达到 2026 年千万富翁的物质生活水准）下无限期地维持生计。这有望降低关于如何处置太空的决定所涉的个人利害，并鼓励人们在投票时更加崇高。基于常识伦理，这也非常好——在宇宙尺度上，满足人们的偏好相对便宜，因此我们应当这样做。
• 我们应当保证，2040 年在世的所有人类及其后代都能得到足够的资源，以在非常舒适的生活水准（即至少达到 2026 年千万富翁的物质生活水准）下无限期地维持生计。这有望降低关于如何处置太空的决定所涉的个人利害，并鼓励人们在投票时更加崇高。
• 基于常识伦理，这也非常好——在宇宙尺度上，满足人们的偏好相对便宜，因此我们应当这样做。
• 我认为协调能力——即我们能够集体地使用资源来提供（道德）公共物品——有可能真的非常重要，而尚不清楚我们能否用自愿契约做到这一点。除非我们确信这是可能的，否则维持协调的能力似乎是好事，也就是说，拥有一个（或几个）掌控大量资源（或在需要时被授权征税）的政府。
• 另一方面，我也想让持有不寻常价值体系的人能够花一些资源去追求他们的价值观。
• 出于这些理由，我的首选是直接偏好聚合，前提是它在技术上可行，且不至于令人不快到让许多人选择退出，也许再与自动化反思（如此处所述）相结合。
• 如果那行不通，我接下来最喜欢的选项是一个更为凑合的解决方案，它确保一些资源流向个人，而一些资源由集体决定。这里有一种处理方式。至少 5% 的资源被保证直接授予 2040 年在世的人类。在默认情况下，剩余的 95% 资源也将直接授予今天在世的人类，除非绝对多数投票决定它应改为花在公共物品上。如果有高度可靠的测谎可用，政府可以用它来检查策略性投票，并取消那些足够有可能正在实施这些策略的人的资格。政府还可以让 ASI 系统拒绝协助任何协调进行策略性投票的企图（就像 ASI 系统想必会继续拒绝协助其他有害请求——例如制造生物武器——那样）。
• 至少 5% 的资源被保证直接授予 2040 年在世的人类。
• 在默认情况下，剩余的 95% 资源也将直接授予今天在世的人类，除非绝对多数投票决定它应改为花在公共物品上。
• 如果有高度可靠的测谎可用，政府可以用它来检查策略性投票，并取消那些足够有可能正在实施这些策略的人的资格。
• 政府还可以让 ASI 系统拒绝协助任何协调进行策略性投票的企图（就像 ASI 系统想必会继续拒绝协助其他有害请求——例如制造生物武器——那样）。
• 我们还将就各项禁令、以及用于修订禁令清单的过程（例如，我们是否应当进行定期投票？）进行投票。禁令应当有一个很高的门槛，也许是 90%。

Thomas 的看法

• 我同意我们应当等待已对齐的 ASI，并请它设计一个良好的治理提案。我们现在最重要要做的事情是：(1) 避免失去对未来的控制，例如经由未对齐的 AI 夺权或某个人类独裁者获得控制；(2) 合理地分配权力；以及 (3) 努力把哲学做好。
• 我认为，在实践中，最好的前进道路很有可能是把某种治理结构锁定于未来之上，因为在一个固定结构（如上述那些）内进行的审议，会比在一个更松散的结构（如今天的政府）内进行得更好，在后者中，例如更多的权力会积累到那些政治上人脉更广的人手中。
• 对于上文该怎么做，我暂定最喜欢的具体猜测是“直接禀赋”，附带某种门槛极高的修订过程（例如 90% 认可）。我认为它与基于投票的提案非常相似，在那里你通过与他人就如何处置自己的资源进行交易来“投票”。公共物品之虞是最强的反驳论据，如果发现了一种投票体系能够解决这一担忧、又不带来额外的、甚至更为可怕的后果，那么我就会转而想要那种体系。
• 我们所知的所有投票体系都很糟糕，我不希望它们被用于像决定未来该怎么做这样重大的事情。但我对这一点会改变相当乐观，原因有二：我认为 ASI（以及思考这个问题时间更长的人类）很有可能会想出激励诚实上报偏好的投票体系，并选择一种聚合选票的良好政策。我认为我们或许能够沿着上文“直接偏好聚合”的思路进行偏好引出。一旦你拥有诚实的偏好，设计一个良好投票体系的问题似乎就容易多了。
• 我认为 ASI（以及思考这个问题时间更长的人类）很有可能会想出激励诚实上报偏好的投票体系，并选择一种聚合选票的良好政策。
• 我认为我们或许能够沿着上文“直接偏好聚合”的思路进行偏好引出。一旦你拥有诚实的偏好，设计一个良好投票体系的问题似乎就容易多了。
• 我非常在意未来的权力落到有德之人手中。我认为，如果未来很大一部分权力落到自私的人或终极邪恶的人（例如想要制造大量苦难的人）手中，那将会非常糟糕。当然，不同的人持有各不相同却都合乎情理的道德观点，我也不认为宣称每个人都应当遵从我的道德观点是公平的。但我确实认为，从社会其余成员的视角来看，把那些道德观点足够恶劣（这一点由社会其余成员共同认定）的人排除在拥有大量支配未来的权力之外，是合乎情理的，例如把反社会者排除在上述许多偏好聚合体系之外。
• 我认为，任何让“常规治理”延续下去的尝试都不会奏效，因为我们现行的体系将被那些利用超级智能来攫取权力的行动者彻底钻空子。我认为，为了维持一种合理的、持续的权力分配，我们将需要非常迅速地对我们的政府体系做出巨大的改变。

后 ASI 治理中我们未加论述、或仅粗略论述的其他重要问题：

• 地球上或太阳系其他地方的后 ASI 治理。
• 模因战争，如果 ASI 能够构建极具说服力的论证，而不同意识形态的成员试图利用这些论证来传播他们的观点。
• 数字心智的权利。
• 在高度进攻占优的世界中管理风险，在这样的世界里，一小群人就能够造成大量的破坏。

《外层空间条约》禁止各国、以及（根据某些解释）个人对天体提出主张。在本文中，我们如同 Plan A 情景中那样假设，一旦太阳系外殖民在技术上变得可行，《外层空间条约》将被重新谈判。

Toby Newberry 估计，可影响的宇宙在同一时间可以供养 10^35 个生物人类或 10^44 个数字心智。作为对比，有史以来生活过的人类数量为 10^11。

一个可能的例外是那些对地位性商品有强烈偏好的人，例如非常在意比别人更富有、而非在意自己财富绝对水平的人。

例如，也许有可能把我们的宇宙从假真空态移动到真真空态，这可能摧毁所有物质。

关于这一威胁模型的更多内容，参见论文《Burning the Cosmic Commons》。

一些可能相当重要、值得资助的道德公共物品的例子：

• 具有广泛吸引力的道德项目，例如建立由繁荣的生物人类、被上传的人类或其他数字心智组成的社会；向未来世代提供资源；或发现客观道德真理（如果存在的话）并据以行事。
• 与那些打算做某些带有他人认为有害的副作用之事的人进行交易，以促使他们修改其计划。显然，对此必须审慎处理，以避免造成反常激励，即人们为图获得报酬而去从事某项被广泛认为有害的活动（关于降低下行风险的更多讨论见下文）。

在理想情况下，我们还希望权衡其他利益相关方（如未来世代和数字心智）的偏好，尽管我们不确定在不使政治体系向被钻空子敞开大门的前提下这样做是否可行（见下文）。

也就是说，我们应当要么决定未来的治理决定将如何做出，要么至少挑选一个用于选择该决定如何做出的元层面过程（例如，投票体系应当由一个以可验证方式对齐到根据某一组原则进行选择的 AI 仲裁者来选定）。

经由相互防御联盟、相互保险，或从多轮互动中涌现出来的执行法律的均衡。

Barzel（1997），《Economic Analysis of Property Rights》；Anderson & Hill（1990），《The Race for Property Rights》

做到这一点的一种方式或许是要求所有被派去殖民其他恒星系统的探测器都携带一个守夜人 ASI，以防止该殖民地派出探测器去夺取属于他人的太空资源。

要点在于，每个人最终的财富只取决于他们所继承的任何东西在均衡价格下的价值，而不取决于他们最初是直接继承了对未来资源的所有权、还是收到了在均衡价格下等值的现金转移。如果资源 R 在 N 个人之间平均分配，并以竞争价格 p 进行交易，那么每个人的财富就是 p · R/N。在拍卖替代方案下，总收入为 p · R，平均再分配给每个人 p · R/N。这需要：竞争性（价格接受）行为，拍卖在竞争均衡价格下出清，市场是完备的且拥有足够数量的买方和卖方，以及人们拥有凸偏好。拍卖与直接禀赋之间的等价性可能会失效：尤其是当行动者大到足以协调起来影响价格时，或当资源不可分割时。

确实，原则上，在直接禀赋提案下，每个人都可以决定自愿把他们的星系汇集到一个信托中，并通过投票来分配资源，但搭便车问题使这在实践中不太可能发生。

显然，让来自少数几个国家的投票者得以发表意见的版本，要比比如说只有 AI 公司 CEO 和国家领导人得以发表意见的版本好得多。但我们认为，所有这些版本都在不同程度上存在一些相同的问题。

假设有一千个行动者，每个都拥有等量的资源。其中一个行动者想以一种被其他所有行动者视为有害的方式使用自己的资源。在没有可执行禁令的情况下，多数派中的每一个都需要各自决定花多少钱来贿赂那个不受欢迎的行动者以使其停止。999 个行动者中没有任何一个对这些危害在意到愿意付出自己一半的财富来单独阻止它们；但这 999 个行动者全都愿意付出自己财富的 0.05% 来阻止它们，而那将凑够一笔足够大的贿赂，使那个不受欢迎的行动者同意转而将其资源用于其他用途。换句话说，阻止那种足够多的人出于道德理由而强烈在意的资源用途，是一种道德公共物品，需要征税来加以高效地资助。

例如：

• 负性效价体验究竟是什么？我们目前对意识和苦难的理解大概相当混乱，而人们可能创造出具有负性效价体验经典例子的某些特征、但不具有其他特征的心智。
• 一种体验要负性到何种强烈程度才落入这一禁令之下？
• 是否存在任何减轻情节，例如该体验对于一段强烈正面的生命而言是必要的、相关存在者表示同意？

这一机制最初在这篇论文中以“跨多重宇宙的超理性”之名被引入。

更多关键考量在此处讨论。

例如，“某个特定的数字心智是否能够拥有道德上相关的体验？”这一问题既取决于该数字心智的经验属性，也取决于关于哪些属性在道德上相关的问题。

大概应当对这些资源所能供养的后代数量设置某种上限，否则我们想必最终会撞上马尔萨斯极限。