AI 用于认识论

Eli Lifland

人类的认识论——我指的是我们形成正确信念、从而做出明智决策的能力——对于实现美好未来至关重要。随着 AI 能力在 Plan A 全程不断提升，它们塑造着生活方方面面越来越多的部分，认识论也不例外。我预计 AI 对认识论的影响将极为重要，而这种影响既可能是正面的，也可能是负面的。

我预计围绕「AI 与认识论」会存在正反馈循环，因此我们的目标应当是进入理智之盆（basin of sanity）。如果我们处于这个盆地之中，它就是自我强化的：社会足够理智，以至于能够在 AI 持续进步的同时让自己变得更加理智。在 AI 起飞期间，美国政府的首要任务之一就应当是保持在这个盆地之内。

我认为 AI 对认识论影响最重要的领域包括政府与 AGI 项目的决策，以及公众对这些主体的影响力（详见后文）。在 Plan A 中，AI 用于认识论的一项尤为重要的应用是防止协议衰退（deal decline），即提升放缓协议的稳定性与有效性。

追踪社会认识论的关键指标包括：

• 前沿 AI 项目和政府的组织文化。
• 求真 AI（或者更广义地说，AI 的认识美德）。
• 各个 AI 项目和政府对公众的透明程度。
• 投入到关键决策上的人力和 AI 劳动。
• 公共讨论的质量。

我提出以下干预措施，以正面塑造 AI 对认识论的影响。（详见后文）

关于「AI 与认识论」及「理智之盆」的背景

超级智能的发展对人类而言进展得如何，在很大程度上取决于我们能在多大程度上就如何驾驭 AI 起飞期做出合理决策。在 Plan A 中，我们仅仅因为拥有更多时间来适应高能力 AI，就已经比默认世界处于更有利的位置。但即便如此，人类的认识论——我们所说的是我们形成正确信念、从而做出明智决策的能力——对于实现美好未来仍然至关重要。

随着 AI 能力在 Plan A 全程不断提升，它们塑造着生活方方面面越来越多的部分，认识论也不例外。我预计 AI 对认识论的影响将极为重要，其重要程度可能与技术性 AI 安全研究的自动化相当，甚至更高。

我认为高能力 AI 完全有可能最终在整体上改善或恶化认识论。考虑到 AI 的能力，它们很有可能最终将认识论推向一个正面或负面的极端，其程度超过我们迄今为止在历史上所观察到的任何情形。

此外，我预计会存在维持或进一步推向正负两极的正反馈循环。举例来说，如果社会认识论良好、人们持有正确信念，那么能够改善认识论的 AI 工具就更有可能被认识到其价值并被采用。另一方面，如果社会认识论糟糕、人们身处极端的信息过滤气泡中，AI 只对他们说他们想听的话，那么随着 AI 能力增强，他们可能会继续采用阿谀奉承的 AI 工具。这些反馈循环的存在增加了引导 AI 对认识论影响的紧迫性。

由于存在这些反馈循环，思考「以良好认识论驾驭 AI 起飞」这一目标的一种方式是：我们希望处于理智之盆（basin of sanity）之中。如果我们处于这个盆地之中，它就是自我强化的：社会足够理智，以至于能够在 AI 持续进步的同时让自己变得更加理智。在 AI 起飞期间，美国政府的首要任务之一就应当是保持在这个盆地之内。

AI 对认识论的影响领域

我预计不同领域的理智程度至少在长期来看是相关的，因为它们有相似的驱动因素，例如「前沿 AI 是否具备并倡导良好的认识论」（下文将详述）。尽管如此，讨论认识论的不同具体影响仍然有用，尤其是在起飞早期，不同领域在工具和采用方面可能存在差异。我认为最需要关注其认识论影响的领域是：

• 政府决策，包括政府在多大程度上被 AGI 项目俘获。
• AGI 项目的决策
• 公众对政府和 AGI 项目的影响，包括通过投票。
• 公众对直接推动 AGI 顺利发展的投入，例如通过防止而非制造大规模危害，或在避免灾难的前提下引导走向美好未来。举例来说，用于生物防御和 AI 安全的慈善投资有多少，相对于有多少意识形态狂热分子试图从事恐怖主义；又或者对伦理反思有多少投入。

对于上述所有方面，涉及 AGI 相关议题的决策/信念，其重要性都大为提升。而且对于所有这些方面，社会都必须具备适应并回应 AI 快速进步的能力。

一个相关的区分是：干预措施在多大程度上影响那些认识论低于平均水平者（即「抬高地板」）、认识论处于典型水平者（即「抬高平均」），还是认识论高于平均水平者（即「抬高天花板」）。

追踪社会认识论的指标

我认为以下是最重要的指标，用以判断我们是否处于理智之盆之中，尤其针对上文所指出的重要领域。

前沿 AI 项目和政府的组织文化。前沿 AI 项目和政府的文化在多大程度上有利于做出良好决策。

求真 AI（或者更广义地说，AI 的认识美德）。前沿 AI 在多大程度上试图弄清真相并如实报告，而非追求其他目标，例如推进某种隐藏议程，或产出看似不错却并不真实的阿谀奉承式输出。

各个 AI 项目和政府对公众的透明程度。

投入到关键决策上的人力和 AI 劳动。在最重要的决策上（其中许多由政府和 AGI 项目做出），投入了多少劳动？政府和 AGI 项目是否善于在各项决策之间分配劳动？请注意，劳动的质量同样极为重要，这正是组织文化和求真 AI 成为关键指标的原因。

公共讨论的质量。公共讨论是因为自动事实核查等工具而变得更加理性，还是因为具说服力的阿谀奉承式 AI 加剧极化等因素而变得更不理性，这一点似乎极为重要。其中一个重要方面是各方撒谎或操纵他人有多困难。此外，诸如事实核查、自动化测谎，或以保护隐私的方式证明主张等技术也可能很重要（下文将详述）。

干预措施

下面我非详尽地列出一些看起来最重要的、可让 AI 改善认识论的杠杆，其中许多是政府可以鼓励的。我大致按照干预措施更侧重于集体社会认识论、个体认识论，还是鼓励采用来划分，但实际上许多干预措施同时有助于其中多个类别。

本节与 Forethought 的这项工作有大量重叠，后者勾勒了认识与协调工具的一些设想；我们在适当之处链接到了具体的设想。

集体认识论：帮助社会向真相收敛

创建针对 AI 认识美德的评估，并激励 AGI 项目使其 AI 在这些评估中表现良好。（另见 Forethought 的文章）改善 AI 认识美德的第一步是对其进行度量。举例来说，可以度量 AI 在多大程度上弄清真相，而非给出用户想听的答案，或者 AI 的定量预测校准得如何。一旦评估存在，AGI 项目真正在意在这些评估中取得好成绩就很重要。既需要可轻松运行的定量评估，也需要更开放式、有人类参与的评估。在 Plan A 中，我们建议政府在决定 AGI 项目能否扩大其能力时，推动它们在认识论评估中取得好成绩，正如政府会使用对齐评估和控制评估一样。我们还建议公众成员为 AI 的认识美德制作评分卡，供消费者在选择使用哪些 AI 时纳入考量，也供 AGI 项目的员工在决定加入哪家公司时纳入考量。

让政客和其他公众人物能够证明自己在说真话，途径是保护隐私的审计，以及可能的自动化测谎。保护隐私的审计可能是这样的：人们可以向你提问，如果你愿意，你可以让一个 AI 读取你的私人数据，并回报一个在尽可能保护你隐私的同时仍能回答问题的答案。该 AI 不会把数据写入任何形式的记忆，因此数据仍然只归你所有。你可以拒绝让 AI 回答任何给定的问题，但人们随后可以据此对你做出相应评判。我们建议确立这样的规范：期望政客接受保护隐私的审计。（另见 Forethought 的「机密监测与验证」一文。）一种更灵活的技术是 AI 实现自动化、高度准确的测谎。这会是双刃剑，例如当权者可能用它来清洗异见者。然而，我们的最佳判断是，开发它仍然是好的，尤其是在 Plan A 的环境中，世界的布局有利于确保它被用作对当权者的制衡。此外，它将大幅提升侦测隐蔽项目的能力，并显著改善协议稳定性。

在社交媒体和传统媒体中使用 AI 来改善讨论并让人们知情。无论是通过新进入者还是现有网站/媒体采用 AI，AI 都将在社交媒体和传统媒体中大量出现。影响 AI 如何融入媒体非常重要。举例来说，在帖子虚假或误导时，可以有 AI 生成的「社区笔记」（另见 Forethought 的文章）。AI 还可以自动为每个帖子生成反驳论点。AI 可以通过引导那些原本会意见相左但能进行富有成效对话的人之间的互动，来帮助减少回音室。AI 可以策划信息流，向人们提供最重要、最值得看到的信息，并展示最能富有成效地挑战其观点的内容（另见 Forethought 的「自动化深度简报」和「自动化 OSINT」两篇文章）。更广义的内容策划可以极大改善人们在政治和新闻方面的知情程度，例如通过突出显示读者可能会有强烈意见的政策提案。（另见 Forethought 的「对齐的推荐系统」和「个性化倾向系统」两篇文章。）

收集并评分每个人（包括政客）的历史记录，并在相关时呈现这些记录。（另见 Forethought 的文章）AI 将有能力大幅增加在收集人们过往言论并对其评分方面投入的精力。举例来说，AI 可以评估一名政客兑现了多少承诺，或其预测中有多大比例成真，或其在立法方面有多高效。不同言论能被多客观地评分会有差异；对于那些较不客观的言论，理想情况下会有一个广泛人群都听信的可信 AI；但即便没有，仅对较客观的言论进行评分仍可能带来正面效果。

共享的认识基础设施，例如知识库。随着 AI 的改善，它们将能够维护海量的认识基础设施。维基百科是一个显而易见的参照，尽管对 AI 而言最有前景的基础设施可能是更结构化的知识库（至少在初期如此），而且这类基础设施可能更侧重于可被 AI 解析，而非可被人类阅读。可以设想用于追踪定量预测及其成败、围绕各种主张的论证树等的基础设施。构建受广泛主体信任的基础设施很重要，以避免分裂成各自的平行现实。（另见这篇关于构建完整认识堆栈的文章。这与 Forethought 所描述的「溯源追踪」相关，并将对其有所帮助。）

通过降低 AI 的说服能力并利用 AI 来侦测说服，来防御说服。让我们把「说服」定义为：使用某些技巧让人们相信某种信念，而这些技巧在信念虚假时的效果与信念真实时大致相当。在默认情况下，AI 最终可能在说服上变得远超人类水平，但也有可能在不太损害有益能力的前提下降低其说服能力。另一道防线是让 AI 侦测说服，帮助人们避免接触到其最强形式，或至少对其有所觉察（另见 Forethought 的「修辞高亮」一文）。在 Plan A 中，我们建议美国政府务必与联合体（Consortium）其余成员协作，对说服能力进行评估、限制，并要求针对性防御。

在线上讨论中知道你在与 AI 还是人类交谈。虽然我们认为 AI 能为认识论带来许多益处，但知道你交互的对象是否为人类仍然有价值。如果互联网上到处都是推动各种议程的机器人，这一点尤其如此。

个体认识论：帮助各个主体弄清真相

自动化研究助手与预测者。AI 可以让广泛的各类主体获得高质量、劳动密集型的研究与预测。重要的是这些要尽可能求真，而非阿谀奉承。应确保预测是校准的，即如果 AI 说某事发生的概率为 10%，那它实际就应有 10% 的时候发生。（另见 Forethought 的「无处不在的超级预测」一文。）

帮助人们克服妨碍良好推理的情绪障碍，而非利用这些障碍。当然，人们认识论糟糕很大程度上源于情绪障碍，而非冷静的分析错误或信息不足。AI 有潜力在情绪障碍方面提供极大帮助，因为它们能达到顶尖人类治疗师的能力，同时具有更高的可获得性、耐心等。另一方面，若不加干预，AI 可能会印证并加剧人们既有的偏见，因为这会带来良好的短期体验。（另见 Forethought 的「反思脚手架」和「守护天使」两篇文章，它们相关但更为宽泛。）

自动化情景规划与探索。AI 可以帮助进行深入的情景规划，例如 Plan A 和 AI 2027，但可用于任何决策，并能帮助提取定量的经验性预测。AI 还可以通过类似电子游戏的模拟来帮助探索各种情景，其中人类扮演某个主体，例如智能爆炸期间某 AGI 公司的 CEO，而 AI 模拟其他所有人的行动以及世界如何演变。（另见 Forethought 的「随取随用的情景规划」一文。）

鼓励采用

鼓励采用上述部分认识工具。在 Plan A 中，我们建议美国政府迅速采用认识工具，并鼓励 AGI 项目也这样做。

总体上鼓励采用 AI。总体上鼓励采用 AI，似乎对社会更好地理解现有 AI 能力与趋势很有价值。在 Plan A 中，我们建议美国政府迅速采用 AI。

其他

另外一些我们认为有前景但尚未像上文那样充分展开的想法：

• Forethought 在这里描述的所有偏防御型协调技术的想法。
• 弄清如何为超级智能时代彻底改造政府。宪法或许应当被大幅修订。
• 在人与 AI 关系日益密切之际，正面塑造这种关系；这一点似乎很重要，但要做对却很棘手。

附录

研究认识工具的前景

既然更强的 AI 可能会减少对特定领域工具的需求，为何构建或鼓励认识工具仍有价值：我对构建认识工具的价值并无十足把握，而且任何给定工具都很可能被未来的 AI 淘汰，但我对其价值仍持乐观态度。随着 AI 的改善，开箱即用地将它们用于认识论会变得更容易，但脚手架、用户体验和人因因素可能仍将极为重要。举例来说，一个工具可以纳入「让 AI 互相辩论然后评判辩论」这一最佳实践，而开箱即用的 AI 可能不会这样做。或者一个工具可能拥有经过大量与人类反复试错而打磨出的用户体验，是 AI 若不经迭代便无法复制的。又或者一个工具的技术层面可能被淘汰，但公司已经积累了一批信任其品牌的用户群。

对决策问题的分解

相比于完美决策以及我的价值观，人们（包括我）可能做出糟糕决策的原因有哪些？

在明确地就世界当前状态或预测进行推理时，他们可能持有错误信念。为什么？

他们可能无法获得足够好的信息：例如他们只读过偏向某一方向的新闻。

他们可能未能足够好地理解自己所掌握的信息：

• 对局部激励（金钱、社会等）的明确推理
• 不信任/不采信正确的新闻来源和人
• 情绪障碍
• 推理糟糕

他们可能试图支持某个总体的「模因复合体」（memeplex，即社会群体、文化、意识形态），而这需要以某些方式切断良好推理/切断对事物的察觉。模因复合体有助于协调，但可能对认识论有害。

他们可能基于本能而非明确推理做出糟糕决策。其中一个成因是未被专门加以推理的局部激励（金钱、社会等）。

他们可能持有不同的价值观（这些不是决策问题，而是伦理分歧）：

• 他们不像我那样在意我的自利目标。
• 他们比我更在意他们自己的自利目标。
• 他们持有不同的利他价值观。

关于 AI 与认识论中潜在正负反馈循环的更多讨论，见此处。

关于 AI 生成知识库的原型，见 https://www.longtermwiki.com/organizations/anthropic 。