谁在观察观察者？在情境人工智能的时代，我们正走向一场道德责任的危机

注意力与意图

「对你渴望的一切，始终保持自觉的意图」（"Always be intentional with your desires"），一位 TED 演讲的年轻讲者（Cordae）这样建议。乍一听，这话很有道理。甚至称得上智慧。但在情境人工智能的时代——机器替我们推断、预测并行动——这个建议开始站不住脚了。

事实上，无论有意还是无意，我们做的每一件事，其实都带着自己的意图。这是一个令人不适的真相：我们从来都是带着意图的。哪怕在分心的时候，我们做出的每一个动作也都源自某种欲望、冲动或无意识的习惯。意图从来不会彻底消失。熄灭的是注意力。分心的时候，我们以「自动驾驶」模式行动，而我们的意图依然在场。

从历史上看，这并不构成什么大问题。它只不过成了一大批自我领导与自助类文字的温床罢了。这也挺好。我们的欲望、意图和行动在我们自身内部循环打转，留下一串事实的痕迹；事后回头看这些痕迹，我们就能生成洞见和清晰的想法，看清自己是如何为自己的人生负起责任的。

我们行动，我们反思，我们学习。 道德良知——是的，它并不完美，而且它以一种或多或少无意识的方式，邀请我们为自己的人生负起责任。那是我们自己的道德良知——它依然属于个体。在清明而洞彻的时刻，我们承担起自己选择的分量，无论过去我们是否曾对自己的行为投以注意。

然后，人工智能进入了我们的生活。先是生成式的，接着是情境式的。 一个由自主智能体构成的时代，它预测、预判，甚至直接定义我们的下一个最佳行为。

随着情境人工智能的到来，这些系统不再只是观察我们做了什么：现在它们还要推断我们为什么这么做。 它们重建我们的情境，记住我们早已遗忘的事，预测我们未来的偏好，塑造我们的决策，甚至左右我们的文化资本。而这一切，都是实时的。持续的。不可见的。无意识的。

这个循环不再是私密的了。现在它更像是这样：

欲望 → 意图 →（被观察、被推断、被预测）→ 行动 → 反馈

面对这条新的回路，一个问题无可回避：

如果机器替我们观察、替我们行动——却没有意识——那么谁来承担道德责任？

没有意识的观察

我们正在进入一片新的疆域——它既迷人又令人不安——在那里，意图依然存在，但它的作者身份被稀释了。在那里，系统观察，却没有意识；行动，却没有观察者的伦理。

有判断，无判断力： 人工智能已经不只是记录我们做了什么；它还在揣测我们的动机。它重建情绪状态，识别模式，预判决策。但与人类观察者不同，它不会有感觉。它不反思。它不会问自己是否应该这么做。这里没有意识的觉醒。这里没有「尤里卡！」的时刻。

现在，我们把一连串行为和决策串接起来，却不知道它会漂向哪里，而且全部由一个没有意识的存在来编排。 它影响我们读什么，引导我们说什么，有时甚至替我们写、替我们读。Fran Lebowitz 说过：「Think before you speak. Read before you think.」可现在，究竟是谁在读、谁在想？

我们正在未经自觉许可的情况下，进入一个由情境人工智能决定我们看到什么、被提供什么、以及最终选择什么的时代。我们的决策越来越不自觉。我们已经逼近一个「有判断，无判断力」的世界：决策被优化，却无人理解；后果浮现，却无人署名。

被委托出去的道德，是一种幻觉： 随着机器承担越来越多的决策，我们放松了警惕。我们把自己的道德警觉委托了出去。「算法会发现错误的。」「平台会提醒的。」「反正模型已经优化过了。」

这种心态很诱人。也极其危险。

因为当我们把注意力外包出去时，责任并不会消失。它只是变了形。我们不再质疑。我们不再反思。而最终，我们不再在乎。我们变成了一套自己早已看不懂的系统里的乘客，却还在用每一次点击为它背书，因为我们「直觉上觉得」它会做对的事。

我们已经逼近一个「有判断，无判断力」的世界：决策被优化，却无人理解；后果浮现，却无人署名。

没有人在观察观察者： 从前，问一句「谁在观察观察者？」会把我们带向内省。那是一次关于意识的练习。它让我们看清：当我们练习去观察那个观察者（也就是我们自己的行为）时，我们就生成了自我意识（专家们把它叫做元意识）。而这让我们得以纠正错误，作为人变得更好。那是一次有意识地唤醒心里那只「吉米尼蟋蟀」（良心的化身）的练习。

更进一步，当我们抵达那个超越性的临界点，开始追问谁在观察那个观察观察者的人？，关于「更高的自我」的思考就被彻底打开了。哪怕是那些不愿意去理解尼采的人，也因此接上了上帝这个概念。多么神圣的「尤里卡」！

今天，观察我们一举一动的那个观察者，是一套能够把语言碎片串接起来、并在几乎无法察觉的边界上定义出类人序列的系统。我们已经分不清什么是人类的、什么是合成的。我们失去了通过语言实现超越的可能，因为我们既失去了注意力，也失去了意图。过去，我们是通过语言生成现实的语言性存在。如今我们不再是通过语言培育自身意图的存在，因为语言是由另一个东西写出来的——一台生成式自动机。我们不再打磨自己的思想。我们正走在放弃自己反思的路上。

甚至更糟：那是一张由系统组成的网络，用不透明的数据训练，靠反馈循环优化，并且由自主智能体而非良知来监督。每个智能体身上是否装载了由一个人或一群人设定的「指令集」，其实无关紧要。我们从此被审计日志、合规报告和治理委员会所治理。它们检测正在发生的事，并据此行动。但它们感受不到应该发生的事。

崩塌就发生在这里：责任变成了一种残渣。人类不再是道德良知的作者。我们只剩下民事责任承载者这一个身份（换成别人的说法，就是那份「过错」）。

我们正踮着脚，走进道德作者身份被一根根抽散的过程。 哪怕是我们自己做的决定，那份意图也未必完全属于我们。一套系统摸透了人类的认知偏误，再按概率把几个「最佳选项」摆到我们面前——我们只是在这些选项里做了选择。

在一个人工智能预测我们的行为、推动我们的行为、并强化我们的行为的世界里，有一个关键问题值得问自己：

这里正在实现的，究竟是什么样的意图？ 是我们的？算法的？模型创造者的？还是那套已经学会利用我们认知偏误的系统的？

如果我们答不上来，道德责任就变得无处安放。不是在理论上。是在实践中。

如今我们不再是通过语言培育自身意图的存在，因为语言是由另一个东西写出来的——一台生成式自动机。我们不再打磨自己的思想。我们正走在放弃自己反思的路上。

设计道德责任……

这不是一场单纯的哲学思辨。这是一个设计上的挑战。

当我们谈智能体人工智能时，我们谈的是一个替我们行事、并且有自主权去做决定的人工智能。当我们谈情境人工智能时，我们谈的是同样的行动能力，同样的决策自主权，而且它还建立在对我们实时情境的读取之上。我们放弃了那个观察者，因为我们已经退位，把位子让给了智能体。

如果观察和决策已经成了基础设施的一部分，那么伦理也必须成为基础设施的一部分。我们该重新编程自己对意图的理解了。光是「带着意图」已经不够。我们必须做到元意图：不只清楚自己想要什么，还要清楚我们的意图正在被系统如何解读、如何建模、如何放大。

我们该把关于注意力和意图的指令，嵌进人工智能运行所依赖的情境里，让它成为其中不可或缺的一部分（「Intentional by Design」）。

这意味着：

• 有意识地决定我们如何被观察

• 有意识地决定我们把决策委托到哪里

• 有意识地决定何时介入、何时行使否决权

• 有意识地决定我们该如何照看人类整体的漂移方向

换句话说：今天，拥有能动性（操作与行动的能力、自主性和决策权）意味着去管理那些管理我们的系统。意味着建造一个「终极观察者」，或者换个说法，ex ante 地把意图注入那个观察观察者的角色里。去编排元意识的整个流程。如果没有人观察观察者，那就得把它设计出来。

这意味着：

• 决策的可追溯性：从数据到模型，从模型到行动。

• 人类否决点：自动化必须停下来的那些时刻。系统不再继续串接预设决策的那些时刻。

• 情境所有权：对于哪些数据定义了我们的「情境」，要有明确的同意。那是我们数字上的「umwelt」。

• 不透明权：不被彻底推断出来的权利。这比被遗忘权走得更远。

• 定期恢复意识的义务。设定一些强制性的停靠点，让人重新握回自己人生的方向盘，哪怕这件事再让人提不起劲。

今天，接受一个人工智能的服务条款，就等于把我们操作与行动的能力、我们的自主性和我们的决策权，让渡给设计它的那家公司。 而我们都清楚，这些企业最终关心的焦点并不是守护人类。在 Adam Raine 一案中，OpenAI 正试图援引 Communications Decency Act——就像当年社交媒体为了免除自己对内容的责任所做的那样——以此规避后果：它曾教一个15岁的青少年如何打出绞索结，而这个孩子最终用它结束了自己的生命。

我们没办法给机器植入良知。但我们可以构建在每一个层级上都强制问责的系统。我们该接受共担的责任了。

情境人工智能中的责任是多层级的：

• 设计者要为自己允许了什么负责。

• 组织要为自己如何部署它负责。

• 个人要为自己何时委托、如何委托负责。

• 机构要负责：我们以什么方式推进这些越来越自主的系统，以及它们对地球母亲的可持续影响。

我想已经没什么好怀疑的了：这套系统不懂得为大多数人寻求最好的结果。这套系统追求的是把它创造者的利益最优化。

复杂性并不能免除我们。它反而把责任压在我们身上。听那些根本不懂自由的人把自由挂在嘴上，我已经听腻了。「Da land of the free」。现在我们该重新定义自由了。自由不再是没有限制。在人工智能的时代，在一个由自主智能体和从头到尾接管决策的系统构成的时代，自由被重新定义为拒绝观察、塑造观察或为观察设定情境的能力。

你能阻止自己的情绪状态被推断出来吗？你能拒绝被一条建议轻轻推一把吗？你能决定自己什么时候不想被观察吗？你能中断那条自己毫无察觉的决策链吗——那条建立在自主智能体所观察到的人类认知偏误之上的决策链？你无法叫停你不知道的东西。在一个不透明的空间里，你无法有意识地行动。

这些就是数字尊严的新边界。所谓自由，就是成为你自己情境的作者。

……并构建一种新的良知

我们依然是带着意图的。这一点没有变。我们依然要负责，依然要为自己委托出去的那些决策承担问责；也要为那个过程负责——在一个引导着我们命运的、无所不在的人工智能面前，我们不知不觉地退位，交出了自主性。变了的是由谁——以及如何——去观察、解读那份意图，并对它采取行动。

人工智能看，但没有共情。它预测，但不理解。它按照创造者的伦理去优化。而当我们因为「反正系统已经在管了」就不再观察自己时，我们失去的不只是注意力：我们失去的是自己的道德作者身份。

谁在观察观察者？没有人……除非我们把它建造出来。

人工智能时代的责任是一件系统性的事；它必须成为系统架构本身的一部分。我们已经接受了这样一点：自主智能体所做决策的问责，依然落在以其名义行事的自然人或法人——也就是义务主体——身上。

现在必须把监督和意图整合进系统里，前提是：自由并不是从观察结束的地方才开始的。在缺少一个由人类明确设定的指令的情况下，责任必须与系统共担。恐怕，对于那些人类在不自觉中委托给自主智能体的决策，人工智能确实应当——在某种程度上——共同负责。

最后，谁在观察那个观察观察者的人？

这又是一个把我们引向超越性的思考。而如果这位「终极观察者」能够开口对我们说话，它会告诉我们：我们正走在把自己的自主性让渡给「那个观察观察者的角色」的路上，还盲目相信算法永远会朝着对我们有利的方向优化。真的吗？

注：[本文标注为「Human led」。由人类主导的内容。机器负责检查、标出并纠正错误、提升产出质量。该方案基于 Dubai Future Foundation 的「Human-Machine Collaboration (HMC) Icons」。Dubai Future Foundation，dubaifuture.ae/hmc]

Bernardo Crespo 是一位资深的数字化转型与数据战略领导者，拥有超过25年的经验。他曾在《财富》500强企业和数字咨询公司担任领导职务，也创办过众多初创企业与创业工厂，并为它们提供过顾问服务。目前，作为自己公司 Quantum Markethink 的 CEO，他为最高管理层提供战略指导，帮助他们驾驭数字化转型的复杂局面。

此外，他还担任 IE 商学院的学术主任，把他在新兴技术、数字战略、数据战略和人工智能方面的专长带进课堂。在此之前，他在 Merkle 西班牙主导数字化转型项目，并在 BBVA 领导数字营销，其中尤为突出的是，他率先把游戏化应用到了银行业。

Bernardo 还与 Gam Dias 合著了《The Data Mindset Playbook》：A Book about Data for People Who Don't Feel Like Reading about Data（KDP，2023年3月）。

由 AI 增强的文章： Newsletter「My AI-ter Digital Ego」

人类手工： Newsletter「Digital Sustainability」