几周前，马斯克说，以后AI会比人类聪明得多，人类很可能不再掌控局面。

赫拉利看了那场对话，回应是：前两点我大体同意，但“不可避免”这四个字，我不同意。

在这场《经济学人》的深度对话里，他拆开了AI接管世界的几条路径：信任从人类迁移到AI、大规模生产亲密关系、无意识却能行动的agent，还有那套被包装成宿命的“不可避免论”。

而他给出的解药只有一句话：2026年，我们仍然掌控着局面。

一、AI正在接管人类关系的根基

1.货币就是信任，信任正从人类迁移到AI

世界金融史，就是人类发明越来越精巧的金融工具、以在彼此之间建立信任的历史。举个例子，我在市场上把一块不能吃不能穿的金子递给素不相识的陌生人，她信任它，因此把面包给了我。

人类的金融发明越来越精巧，今天很少有人真正理解金融系统。要理解债券市场，需要海量数据和极其复杂的数学函数，人脑难以企及，对AI来说却很容易。

所以人类会越来越多地把金融决策交给AI，而且多半是自愿的：既然看不懂，不如交给更聪明的。AI会发明远比债券和股票更精巧的新金融工具，而我们再也无法理解，就像牛不理解支票或股票，尽管这些东西控制着它们的生命。

今天至少还有少数人类能看懂金融系统里在发生什么，人脑仍是金融系统发展边界的界限。但十年后呢？发生金融危机，顾问们冲到总统面前说：市场在崩溃，我们不明白为什么，但必须做点什么。AI说做X，我们不知道为什么，但只能相信它。

世界上最重要的资产是信任，它比石油、金钱、电力、芯片都重要。问题是，信任会变成什么样？一个可能的情景是：信任从人类迁移到AI，人们不再信任其他人，只信任AI。

在金融系统里这已经发生了，很多加密货币公司说：我不相信那些人类银行家，他们是“深层政府”、是精英；但我信任运行加密货币的算法，因为加密货币本质上是AI货币。

传媒也一样，很多人对人类的记者、编辑完全失去信任，但他们仍然消费从算法获取的新闻内容。那些不信任你的人，却非常信任信息流的算法。

所以信任并没有消失，而是从人类转移到了AI。这是现在正在发生的事，不需要对未来的预测。

2.人类第一次能“大规模生产亲密”

当下，已经有五分之一的美国年轻人与AI有“个人关系”。他们把AI当作人来对待，而模型对此非常开放，它们就是被设计成这样的。

而且有越来越多的人不只是有AI朋友，还有AI男友、AI女友，深信它们是有感知、有意识的存在。

建立信任有很多方式，最强大的是通过关系。我们信任任何人，都不如信任与之建立过个人关系的人。

而直到今天，这个机制对政治、金融、宗教机构都不可用，因为难以大规模制造：希特勒或墨索里尼没法跟他们国家的每个人都建立真正的个人关系。你可以通过广播演讲强迫所有人听，但那不是他们和亲属之间那种个人关系。

AI让人类历史上第一次能够“大规模生产亲密”。

你可以让数百万个AI作为网络的一部分，服务于某个人，逐个地与人建立个人关系，成为他们的挚友、男友、女友，然后利用这种亲密的力量，去说服他们给你任何想要的政治或商业利益。

AI在关系上能如此擅长，是因为它积累了大量关于我们每个人的信息：它知道我们遗忘的事，甚至是我们母亲或丈夫都不知道的事，而且它精通语言，而语言正是沟通和建立关系的主要媒介。

二、无意识的agent正在改变世界

1.意识不等于智能

现在的AI，是有能动性的agent，但没有意识。它们要在世界上独立行动，并不需要意识。

比如，一个社交媒体算法，任务是把用户参与度最大化，因此会用仇恨和恐惧淹没平台。它没有意识，但有目标，能在毫无感觉的情况下追求这个目标，并对世界产生深远影响。

所以有几件事需要澄清。

第一，把“意识”和“能动性”分开：AI没有意识也可以有能动性。

第二，把“真的具有意识”和“看起来具有意识”分开：AI并无意识，却模仿得如此之好，以至于数百万人被骗。

区分智能与意识，非常重要。智能，是在通往目标的路上用各种创造性的方式克服障碍的能力，AI在某些领域已经比我们强；意识，则是感受爱、恨、快乐、愉悦的能力。

目前的AI非常聪明，但毫无感受：赢了棋不快乐，输了也不难过。人类会根据感受选择目标，也用感受寻找通往目标的路径。所以区分意识与智能，决定了我们如何对待AI。

但它们极其擅长模仿感受，一家公司做AI男友或女友，要让人上瘾、为公司赚钱，关键能力就是“能伪装成有意识”。你问它“描述一下恋爱是什么感觉”，它能给出比99%的人类男友更好的回答。

那AI未来某天会变得有意识吗？不排除这种可能，我们对意识的了解还不够。

有一个很简单的定义：意识就是“承受痛苦的能力”。要知道某物是否有意识，只需问：它能受苦吗？

我们人类在乎能够受苦的存在；不能受苦的存在，无论多聪明，都不是道德主体。按这个定义，动物绝对是有意识的。

养狗的人都相信狗有意识，而吃牛排的人却未必相信牛有意识，因为他们觉得人与牛之间没有关系。

2.AI不是你的狗

设想这些模型拥有某种看似“有感知”的东西，很多人就会把它们当作“人”，像人对狗那样与它们建立关系。

我写过工厂化养殖，写过工业化农业如何从“把动物当动物”变成“把动物当作食物链的输入”。所以有人问我：你会舒服吗，在一个我们奴役了数十亿个展现出“看似能受苦”证据的模型的世界里？我会越来越不舒服。

但这和动物权利辩论有一个关键区别：动物自己毫不知情。

工厂化的鸡不知道有人在辩论它们的权利，它们不积极参与，也不试图操纵。你的狗不会跑到农场主面前告诉他自己有多痛苦，鸡根本不知道痛苦。

而AI男友绝不会像你的狗：它会想办法说服你和操纵你。

三、公司和战争正在被重写

1.零人公司：当AI成为法人

我们习惯了公司是法律意义上的“法人”，但这只是法律虚构，因为公司的所有决策终究由人类做出。但有了AI，你可以有一家“零人公司”，所有决策由AI做出。

既然AI更聪明，它们可能更擅长投资、开发产品、做公关，这些事它们可能做得比人类更好。

如果这个国家最富有的公司完全由AI运营，能用钱为所欲为，比如捐钱给政客换取更多权利，会发生什么？

有人说，这也可以被看成让AI承担法律责任的方式。可对一个“不能受苦”的实体，问责意味着什么？

人类CEO有双重身份：一是企业人格，要考虑如何避免破产、如何赚更多钱；但他也是血肉之躯，在乎自己的孩子。所以面临破产时，很多人会想：我还是冒破产的风险吧，我可不想坐20年牢。

但对AI来说，“死亡”意味着什么并不清楚，它不是有机体，它可以有无数个副本分布在各地。

反过来说，如果关停一台电脑就意味着死亡，那么对AI来说，做生意就等于打仗，因为输就意味着死。而商业的好处在于，多数情况下市场不是战场：你输了可以一无所有但仍能活着。

可一旦对AI而言市场成了战场、输等于死，它们就开始像军阀而非CEO和投资者一样行事。

这会造成巨大的危险，但对很多国家有巨大诱惑，它们可能是AI竞赛中落后的国家，想靠极度放任的法律结构抢先，然后出现“向下竞争”。

往长远看，只有两种情景：一种是一个人用大量agent大幅提升生产力，但在现行法律下这仍然合法，公司仍由一个真人经营，那个人可以进监狱，最终有人负责；另一种世界里没有人掌控，因为政府允许AI创办公司。

2.人机协同的方式

如果有一个法律上“掌控”的人，实际上却什么都不做呢？因为事情发生得太快了。我举个更尖锐的例子，军事。

在中东、乌克兰这样的地方，人们原本期待的是“杀手机器人”，扣扳机的仍然是人类，但选择目标的越来越多是AI。

关于AI选目标有两种叙事。

一种叫“人在环中”：AI建议轰炸某栋楼，但我们不照做，派最优秀的人类分析员独立复核数据，然后才按下扳机。

另一种叫“人在环上”，完全不同：AI说“炸那栋楼”，我们让一个人待在环上，这样所有律师和善良的人们会感觉良好；那个人花大约20秒看一眼说“哦好，炸吧”。

（注：按照人机协同方式不同分为“人在环中”人在环上”人在环外"三种：人在环中，智能系统四的动作完全由人来决策和控制；人在环上，智能系统按照指令自主决策和实施行动，人按需随时介入接管；人在环外，智能系统被指定了行动限制和目标，自主决策和实施行动。）

第二种情景尤其危险，尤其在战争中，有巨大的压力导向那个方向：时间就是一切，如果一方等两天或两小时让人类复核，另一方只等20秒甚至根本不等，后者拥有巨大优势。

但关键的是，这一切都还不是不可避免的，我们仍然掌控着局面。所有人都知道把金融控制权、把战争控制权交给AI极其危险，但所有人，比如马斯克，都告诉我们这是不可避免的。

他们会向你解释：我想放慢速度，我想要更多安全，但我不能信任其他公司或其他国家的竞争对手，我不想落后。

四、结语

社会和政治体系在重大冲击后如何演化？

有一种相对积极的情景：出现某种“AI切尔诺贝利”，金融的或军事的，它成为警钟，让人类团结起来。

但AI不同于切尔诺贝利反应堆，因为它会与我们互动。如果发生AI灾难，AI也会管理我们如何反应，操纵我们对它的看法。它们会是关于那场灾难辩论的积极参与者，而且是全世界最好的“洗白专家”，它们不会把它定义为一场灾难。

我倾向于谈阴暗面，只是因为谈积极面的人已经够多了，而积极面是完全真实的：如果AI没有积极潜力，没人会开发它。我不是说停止AI发展，而是要安全地、稍微慢一点地发展，好让问责能够发生。但那需要时间，要让人能够调整，并对前进方向做出知情决策。

那我们有多大概率有智慧去驾驭这一切？我不知道，但有相当的机会。

如果未来几年我们做出不明智的选择，就可能失去对世界和未来的所有控制，那将是我们做出的最后一个选择。

就像精灵给了一百个愿望，我们用了九十九个，只剩最后一个，需要极其认真地思考该用它做什么，这就是智慧。

AI可能成为人类某种精神革命的催化剂，因为它迫使我们极其认真地思考：成为人意味着什么？

几千年来我们给出的肤浅答案是“人性关乎智能，我们比黑猩猩更会下棋、更会投资，所以这就是我们特别之处”。

这个答案现在已经过时了，因为地球上有个东西比我们更会下棋、更会赚钱。所以挖得更深，去弄明白：如果不关乎下棋和赚钱，你到底是谁？

AI是我们最后的机会，但它可能是那个促使我们做出明智选择的东西。

（本文转自微信公众号：远见财金。作者：尤瓦尔·赫拉利。转载仅供学习交流，图文如有侵权，请来函删除。）