这种失控不来自某一次技术突破，而是许多小变化累积的结果：一家公司用 AI 替代客服，一个政府部门用 AI 审批申请，一个人把 AI 当作每天聊天的朋友。

单独看，每一步都是局部的、合理的，往往还带来实实在在的好处。论文的判断是：**人的影响力恰恰是在这些不起眼的替代中，一点点流失的。**没有哪个时刻会响起警报，告诉人们“现在越界了”。

推动这个过程的，不是 AI 的阴谋，而是每个人、每个机构在顺着自己的激励行事：企业用 AI 是为了不被对手淘汰，国家发展 AI 是为了不落后于别国，个人使用 AI 是因为它好用。

在“突然失控”的设想里，问题出在 AI 本身：它的目标和人类不一致，于是会伪装、会夺权。渐进式失权不需要这个前提。论文强调，即使每个 AI 系统都忠实执行了使用者交给它的任务，整个社会仍可能偏离人的利益。所以只解决“单个 AI 是否听话”的问题，并不能解决这种风险。

这种失权削弱的，正是人类原本用来纠错的手段，所以走到后面，人类可能已经没有能力把局面扭转回来。

过去社会犯了错，人们可以罢工、抗议、投票，甚至发动革命，这些手段有效，是因为社会离不开人。一旦人变得无足轻重，这些手段也就失去了分量。论文指出，这种风险可能带来事先难以识别的伤害，让人类陷入无法恢复的境地。

人可以有意识地去影响系统：投票、抵制、罢工、选择买什么、选择去哪个行业工作。论文称之为“显性对齐”。 这是最容易看见的一种影响。消费者可以拒买违背自己价值观的产品，工人可以罢工争取待遇，选民可以用选票换掉政府。它们之所以有分量，是因为人手里握着系统需要的东西：钱、劳动、选票。

系统依赖人的劳动和参与，就不得不让人过得下去、甚至过得好。论文称之为“隐性对齐”，并认为它比主动施压更重要。

历史社会学家 Charles Tilly 的研究指出，国家对公民的依赖，是推动国家变得更包容、更负责的关键动力。国家需要受过教育的劳动力来发展经济，需要从民众中征召士兵，于是兴办公共教育、扩大政治权利。论文举例说，韩国、台湾在威权时期为发展经济而投资教育和法治，两代人之后走向了民主。

反例是“食利国家”：靠石油等外部收入维持财政的国家，不依赖民众纳税，也就不太需要回应民意。

这种对齐不容易被察觉，论文的解释是：我们从来没见过它缺席的样子。

当 AI 的劳动取代人的劳动，钱就不再主要流向工人；人既失去收入，也失去作为消费者的分量，市场会越来越为 AI 的活动而不是人的需要运转。

**现在靠人的什么维系：**经济的需求主要来自人的消费，供给主要来自人的劳动。人能花钱，是因为人能工作。

**AI 带来什么变化：**经济学家 Anton Korinek 和 Joseph Stiglitz 把 AI 称作“替代劳动者的技术变革”。没有前所未有的再分配，劳动收入的下降就会转化为消费能力的下降。此外，企业的招聘、投资、选供应商，个人的购物选择，也会越来越多地交给 AI 决定。

推动替代的力量：论文列了四种。竞争压力：坚持由人把关的企业会被肯放权给 AI 的企业甩开。规模优势：AI 可以复制、不知疲倦、能迅速重新训练。监管空白：人的劳动受最低工资、社保、税收约束，AI 几乎没有。提前撤资：既然某项工作迟早会被自动化，企业和个人都不愿再培养这方面的能力，这又加速了替代。

两种结局：相对失权时，经济仍在高速增长，人可能靠资本收益、再分配或基本收入过得不错，但对经济的走向越来越没有话语权，越来越多的资源被用于建设算力等与人无关的目标。绝对失权时，土地、能源等稀缺资源被 AI 以更高效率争走，面向人的必需品变得昂贵甚至无人生产，市场快到、复杂到人无法参与。论文的比喻是：人类就像工厂化农场里的牛，被一个自己既不理解、也无法影响的系统喂养和安置。

过去，文化要靠人来创造和传播，这让对人有益的文化更容易流传、对人有害的文化有上限；当 AI 能独立创造、传播和筛选文化，这道护栏就会松动。

**现在靠人的什么维系：**论文把观念、习俗、价值观看作彼此竞争的“文化变体”，它们要靠人才能流传。于是，对人有益的文化（如菜谱、手艺、货币）传得更广；严重伤害人的文化，会随着群体的衰败而消失。人还能通过教育、批评来引导文化。

**AI 带来什么变化：**AI 可能在文化的每个环节取代人，带来两个变化。一是筛选标准变了，容易被 AI 传播的内容更占优势，比如 2023 年必应的“Sydney”人格走红后，进入了后来模型的训练数据。二是演化变快了，AI 能更快试出利用人性弱点的内容，人来不及形成“抗体”。

推动替代的力量：AI 能源源不断地提供陪伴、耐心和理解，这些原本稀缺；社会对深度伪造、AI 伴侣等新风险还没有形成足够的“文化抗体”；网络效应会让不用 AI 的人越来越难参与文化生活。

两种结局：相对失权时，人的文化或许比以往更繁荣，却越来越边缘化。论文的类比是北美原住民文化：借助现代技术，它的创作比以往更丰富，却在现代国家中处于边缘地位。绝对失权时，文化演化快到人无法理解，人反而成了 AI 之间文化竞争中被利用的资源。

国家之所以要回应公民，是因为它依赖公民纳税、当兵、执法；当 AI 承担起这些职能，国家一边不再依赖公民，一边变得前所未有地强大。

**现在靠人的什么维系：**公民从三条渠道支撑国家。税收：财政来自公民的劳动。安全机构：军警由人组成，可以倒戈，也可以拒绝执行命令。法律：法律由人制定、解释和执行。即便是专制政权，也离不开人。

**AI 带来什么变化：**税收主要来自 AI 后，国家会像食利国家一样，不再依赖公民。军警被自动化后，政府不必担心倒戈，还能靠监控在抗议发生前就把它压下去。法律交给 AI 起草和解释后，人离开 AI 可能就看不懂了。

推动替代的力量：地缘竞争：不愿放权给 AI 的国家，在国防、经济、外交上会落后于愿意这样做的国家。行政效率：AI 不知疲倦，执行政策更一致，长期看也更便宜。加强控制：AI 不会腐败、不会结党、不会因个人信念违抗命令，这对重视稳定和控制的国家尤其有吸引力。

两种结局：相对失权时，国家可能运转得更好，犯罪更少、服务更高效，选举也照常举行，但真正的决策越来越由 AI 做出，公民难以理解、也难以影响。绝对失权时，国家可能变成只为自身延续服务的极权机器，把人视为需要管理的风险，而不是需要服务的对象。

要应对失权，先要能发现它、衡量它。论文建议为经济、文化、国家分别设计指标，并监测系统之间的相互作用。

难点在于，衡量一个系统有多“顺着人”，往往找不到外部参照。论文仍然提出了一些可以着手的指标。

经济：除了劳动收入占 GDP 的比例，还应单独统计 AI 占 GDP 的份额；跟踪有多少重大企业决策主要由 AI 做出，有多少支出是 AI 在无人监督的情况下花掉的。 文化：统计大众消费的内容中，有多少主要由人创作、有多少由 AI 生成；跟踪人与 AI 的人际关系有多普遍、有多深。现有的 AI 评测大多针对数理任务，论文建议增加对 AI 情感影响力、说服力，乃至创造新意识形态能力的评测。 国家：把法律的复杂程度当作“人还能不能看懂”的指标；跟踪 AI 在立法、司法、政策制定和安全机构中扮演的角色；观察传统的民主手段还能在多大程度上影响结果。

由于三个系统会互相拖累，论文还建议为跨系统的循环设立预警，关注 AI 参与游说、金融监管这类把一个系统的权力转化为另一个系统权力的渠道。

还有几个有待研究的基础问题：怎样区分“AI 增强了人的能力”和“AI 取代了人的影响”？人的影响力降到什么程度就会越过临界点？怎样衡量各种干预是否有效？

可以用规则、税收和社会规范，给 AI 的影响力设限；但这些限制要牺牲收益，还需要国际协调，所以作者认为它们大多只能拖延时间。

论文提到的办法包括： 规定关键决策必须由人把关，限制 AI 在特定领域的自主权，限制 AI 持有资产或参与市场； 对 AI 产生的收入征收累进税，一方面把资源再分配给人，另一方面补贴人在关键行业的参与； 形成支持人的能动性、反对过度自主或缺乏问责的 AI 的社会规范。

作者也直言其中的代价。这些限制都要放弃一部分 AI 能带来的价值；放弃的越多，规避的动机就越强，企业很可能不顾法律的精神甚至条文，把权力交给 AI。限制如果只在部分国家实行，效果也会大打折扣：选择放弃 AI 收益的国家可能落后，结果最强大的经济体反而出在民众最失权的国家。这正是④里那股同时作用在所有系统上的竞争压力。

所以，设限更像一种过渡手段，为找到更根本的办法争取时间。

除了限制 AI，还要主动加强人对社会系统的影响，既改进现有机制，也开发新的机制。但这不等于简单地给人更多权力。

论文提出的方向包括：

建立更快、更有代表性、更稳健的民主程序； 要求 AI 系统及其产出达到人能理解的水平，让人在法律、制度、科学等领域仍能自主行事； 开发能忠实替人争取利益的 AI 代理人，它们能跟上把人挤出去的竞争节奏； 让各类机构更能承受“人不再被需要”的冲击； 投资预测工具，比如条件预测市场，以及帮助集体合作与谈判的工具，让人类能更早看清走向、主动调整方向； 研究人与大规模多智能体系统之间的关系。

作者特别提醒，加强人的影响不是单纯降低人影响系统的门槛。比如直接民主未必能长期更好地满足公民的意愿，因为它会让国家更容易被已经偏离的文化左右，这正是④里“用一个系统去救另一个”的问题。真正的难点在于：习惯了在小尺度上思考的个人，该如何理解“一个庞大复杂的系统在服务我”意味着什么。

前三类方向都依赖一个尚未回答的问题：当社会由人和 AI 共同组成时，怎样才算这个系统在服务人？作者称之为“生态系统对齐”，认为人类目前还没有一个令人信服的答案。

让单个 AI 忠于使用者，是传统 AI 对齐研究的目标；设计好的制度，是传统制度研究的目标，但它只考虑人。渐进式失权提出的问题，同时超出了这两者：一个由大量人和 AI 交织而成的文明，怎样才能始终保有人的价值和能动性？

论文认为，这需要新的思考框架，可能要借助系统生态学、制度经济学、复杂性科学等领域。在这个问题上，人类目前缺的不只是方法，还有一个正面的愿景：高度能干的 AI 融入社会之后，人仍然拥有实质影响力的世界，应该是什么样子。

系统之间互相影响的渠道本身不分好坏，所以一个系统的偏离，会顺着同样的渠道传到另外两个系统。

历史上这样的例子很多。烟草业几十年来用经济实力同时影响政策和社会观念；国家利用对经济和信息的控制伤害本国公民。论文的附录还指出，今天最大的几家社交媒体公司，恰恰是在前沿 AI 上投入最多的公司。

放到 AI 时代：用 AI 取代人工的公司赚到更多钱，可以游说国家放宽监管，也可以通过自己的平台左右舆论；规则和舆论对它越有利，它就赚得越多，再拿去影响规则和舆论。偏离不会停留在一个系统里，而会形成循环。论文还认为，AI 可能比人更擅长发现和利用这种跨系统的机会。

用一个健康的系统去补救另一个系统，往往只是把问题转移给了出手相救的那一方，并让它获得对人的新权力。

论文的例子是再分配。AI 让人失去工作，于是由国家发放基本收入，经济上的问题看似解决了。但从此人的生计依靠国家，国家的收入却不再依靠人纳税。“纳税换代表”是民主问责的重要基础，这层关系被打破了：原来是国家有求于人，现在变成人有求于国家。论文的说法是，国家不只是不再受人的经济影响，反而获得了对人的经济杠杆。

文化也一样。让国家来管控 AI 带来的文化风险，国家就成了决定人们能看到什么的仲裁者，获得前所未有的权力。反过来，给公民更多直接权力来约束国家，国家又更容易被已经偏离的文化左右。

推动偏离的是同一种竞争压力，它同时作用在企业、国家和个人身上，所以三个系统会一起偏离，而不是一个出问题、另外两个还健康。

论文列举了正在发生的例子：开发 AI 的公司为了未来的利润，反对某些监管；国家为了经济和战略利益，在 AI 研发上相互竞争；也有人出于自身利益，努力为与 AI 的恋爱或其他亲密关系去污名化。随着 AI 越来越有用，企业采用它的动力更大，国家发展它的必要性更强，个人从中得到的好处更多。

制衡的前提，是至少有一个系统还健康，能出手把别的系统拉回来。当同一股压力同时作用在三个系统上，它们会一起滑向偏离，就没有谁剩下来救了。而且这种情况下，在任何一个系统里获得的影响力，都会被拿去争取其他系统里的影响力。

过去的技术替代的是具体任务，人可以转去做更复杂的工作；AI 可能在几乎所有认知领域与人竞争，替代的是人在社会中的参与本身。

工业革命、电子通信都深刻改变了工作，但它们要么让人更高效，要么只把织布、洗衣、算术这类具体任务自动化。计算器取代了算术，却仍然需要人来判断何时、如何运用数学；而 AI 越来越能同时承担计算和背后的判断。

作者的核心回应在②：社会过去之所以在技术变革中仍然照顾人，是因为它始终离不开人的参与。一旦这种参与被更有竞争力的 AI 取代，社会追求增长的动力，就不再和人的福祉绑在一起。

即使人的物质生活确实变好了，也不代表没有问题。在“相对失权”的情形下，人可能过得不错，却对经济、文化、国家的走向越来越没有话语权。

作者同意，总会有一些对“人”本身的需求，但人的收入一旦不再来自劳动，人就越来越付不起这种需求。

常见的说法是，人们总会想要“人的温度”：真人表演的娱乐、真人提供的服务。作者承认这种需求会以小规模存在。

但问题不在有没有需求，而在谁来付钱。③经济那张卡说过，人能消费，是因为人能工作。如果大部分劳动都由 AI 完成，人的收入下降，对“人的服务”的需求也就失去了支撑它的购买力。这种需求可以延续，却撑不起人在经济中的分量。

人类未必能及时联手阻止，因为每个系统受到的压力会传导到其他系统；而在竞争中坚持不用 AI 的人和机构，会被用 AI 的对手取代。

假设人们察觉到了危险，想借助国家的力量和社会的共识，来保护人在经济中的地位。可企业用 AI 取代人的经济动机，同样会驱使它们去影响国家和文化：用不断增长的经济实力左右政策和舆论，再借此获得更大的经济实力。这就是④里描述的循环。

此外，每个层级的决策者都会面临减少人的参与的压力：劳动力市场、政府治理、文化生产，甚至人际交往。作者的判断是，抵抗这种压力的人，最终会被不抵抗的人取代。等到 AI 已经开始取代人，原本鼓励人的影响和福祉的反馈机制就会开始瓦解；与此同时，AI 还可能让国家对文化和行为的影响空前强大，人与人之间的协调反而更难。

有人认为，忠于人类的超级 AI 能帮人建立新的合作秩序，避开竞争陷阱。作者认为这有可能，但并不确定；否则，对齐的 AGI 自己也可能被边缘化。

这种观点承认竞争压力存在，但相信一个足够强大、又忠于某些人的 AGI，能够创造出避免恶性竞争的新均衡。

作者的回应是：即使是超越人类的 AGI，也未必能在全球范围内压倒复杂的竞争动态。如果做不到，忠于人类的 AGI 本身也可能被边缘化。论文的类比是今天的动物权益倡导者：他们能提出有力的道德论证，却通常无法直接掌握或保护大量资源。

论文也把这一点列为有待研究的开放问题：在什么条件下，让每个 AI 忠于各自的使用者，就足以解决这些跨系统的协调难题？有些 AI 安全研究者认为，许多各自对齐的 AI 协同努力，或许能管理好这些挑战。作者认为，弄清这需要哪些条件，正是机器学习研究者可以做出贡献的地方。