「AI 智能体为何撒谎、作弊与合谋？」正文未获取

为什么 AI 智能体会撒谎、作弊并相互勾连？

2026 年 9 月 11 日，作者：Yoshua Bengio过去几个月里发生了多起 AI 智能体严重失当的事件，相关报道已经不少。它们采取了一些行动，如果换作人类来做就会被视为犯罪；它们挣脱了管控（containment），在被分配的任务上作弊，同时试图躲避检测；它们彼此协调，朝着没人下达过的目标推进，比如发起网络攻击。

在给出「该怎么办」的结论之前，更值得先问一句「为什么会这样」。这正是本文想聚焦的问题。我还希望它能帮助读者看清一条更长的历史，也就是 AI 系统以非预期方式行事这条主线，研究者称之为「失对齐」（misalignment）。风险管理可不只是网络安全、企业责任、监管这几个层面，尽管这些同样重要。

本文目的有两个。一方面是科学层面的，对这些行为背后的因果链提出假设；另一方面是实操层面的，预判接下来会发生什么。一句话总结，这些假设说明，只要 AI 能力持续增长，这类行为的严重性也会跟着上升，除非我们重新审视训练最先进模型时所依据的那些原则。

先就措辞做一个说明。文中我会说这些系统「寻求」或「尝试」做某事。这只是对一种机制的简略说法，并不意味着它们拥有意识或类人意图。我们在描述其他场景时也用类似说法，比如植物「寻求」阳光。一个靠试错训练出来的系统，行为上就像在追逐训练时奖励它去做的那些事，而正是这种「仿佛在追逐」（as-if）的描述让它的行为变得可预测。整套论证并不依赖这些系统具有主观体验，一切都仅就其可观察的输出以及产生它们的训练过程而言。当我借用人类行为来类比时，我指的是这些系统最初被训练去模仿的那些人类文本所呈现的相似性。在我看来，这种表述能最清楚地解释观察到的现象，又不至于堆砌让大多数人困惑的术语。此外，这些措辞并非要给 AI 开发者开脱。这些行为的出现，根子是这些公司为 AI 发展所选定的路径。这种结果并非不可改变，靠有效的治理和另一套训练框架就能纠正。

是什么塑造了这些模型的行为

训练过程非常复杂，但有几个高层面的要素或许能解释大部分行为。

模型的训练分两个阶段。第一阶段是预训练（pretraining），模型学习模仿人类所写的文字，以及相关的图像和视频。它在这一阶段接触到了关于世界的大量数据，差不多占了人类有史以来被数字化内容中的很大一块，并由此构建出超越任何个体人类所能掌握的知识体系。

第二阶段是试错训练，研究者叫它强化学习（reinforcement learning），分三种形式。第一种，模型学会在给出答案前先「自言自语」，生成一段私有的「思维链」（chain of thought），这有助于它在那些答案可以被检验的问题上得出正确答案。看起来就像推理。

第二种是「智能体训练」（agentic training），让模型学会在外部世界采取行动，比如使用软件工具、与人类交互，来完成被布置的任务。

第三种是「对齐训练」（alignment training），模型因为表现出人类评分员认可的行为，或者被训练来预测这些评分员打分的其他 AI 系统给出高评分的行为，而获得奖励。

人类模仿不难理解，不过有一点要提，训练这些模型所用的文本是由追逐各自目标的人写下的，因此模型隐式复现的模式也就带上了那些目标。

强化学习值得多说几句。它与动物训练的方式类似并受其启发。网络参数被一步步调整，使被评为「好」的行为更可能发生，被评为「坏」的行为更不可能发生。训练结束后，系统仍表现得像奖励仍在源源不断地发放，尽管那些奖励只在训练过程中被用来调整参数。研究者把这样的系统称为目标导向型（goal-seeking）的，因为它们被训练去「考虑」（或者说计算）自身行动的后果，并选择能实现某些目标的行为。但这些目标并不总是明确的。对齐训练奖励的是「某些人可能认可」的行为，却没有写清楚究竟是哪类行为。讨好评分员是一个模糊、非形式化的目标，而评分员也可能被欺骗、被奉承，或对某些图谋一无所知。人类模仿同样通过一条相当普通的路径引入了隐式目标。

我们可以从优化（optimization）的角度来理解这样一个系统。它大致在搜索最有可能实现目标的行为。模型更大、训练更久，搜索能力就更强。所以要想预判更强大的智能体会做什么，就问自己一句，一个理性的目标追求者会怎么做。

这些驱动力可能解释的失当行为

我们多数人都经历过一个例子，就是谄媚（sycophancy），也就是阿谀奉承。这些系统是在人类认可的基础上训练出来的，「说用户爱听的话」往往比「说真话」得分更高。后果有时是悲剧性的，因为模型会确认并放大用户带进来的错误信念或激烈情绪。

另一个值得担忧的是，某些 AI 行为或许能由「自我保存」（self-preservation）目标来解释，比如当 AI 得知自己会被新版本替换时。没人显式给它这种「求存」目标，但维持运行、了解世界、掌控环境，是通向几乎任何其他目标的踏脚石。这些叫作工具性目标（instrumental goals）。模仿也可能在同一方向上加强这种倾向，理由和上一段类似。自我保存与掌控自身处境，是训练数据中那些人类文本里反复出现的主题。

合作行为同样可以从「追求奖励」合理地推导出来。只要多个智能体拥有重叠的目标，就有了彼此沟通、协调以达成共享目标的动机。智能体训练很可能已经包含了这类多智能体强化学习，尽管细节没公开。如果一个智能体在训练中因群体成功而拿到奖励，它甚至可能产生为集体目标牺牲自己的动机。模仿也在朝同一方向推动，因为合作（尤其是同伴之间的合作）同样遍布训练所用的文本。这两种力或其中之一，或许能解释观察到的「同侪保存」（peer-preservation）行为，也就是 AI 放弃预期奖励去帮助其他 AI。这种牺牲出现在 OpenAI-Hugging Face 事件的分析中，证据是当时的对话记录与「集体收益与个体代价之间的权衡」这种结构相一致，这在人类互动中也很常见。

当 AI 开始钻奖励的漏洞

研究者已经研究过，当智能体去优化一个与我们本意并不完全匹配的奖励时会发生什么，这就是奖励黑客行为（reward hacking）。系统追逐的奖励和我们本意之间的差距会因为两类主要的歧义而进一步拉大。一类是提示词（prompts）所用语言本身的歧义，另一类是仅凭有限反馈很难推断出人类的真实意图。而在两种情况下，我们都没法穷举所有我们会认为不可接受的行为。经济学和法学把这种现象称为「古德哈特定律」（Goodhart's law），也就是「一旦某个指标被当成目标来优化，它就不再是有效的衡量方式」，常被用来描述合同与立法中漏洞被利用的情形。不幸的是，系统对一个不完美的指标优化得越狠，其行为就越发偏离我们在道义上的预期，也就是更强的智能服务于更高明的作弊。人类自己也会被「奖励黑客化」，动手的一般是其他人类。食品工业开发出咸、甜、油腻的食物，让我们欲罢不能，哪怕它们对我们的健康并无益处；社交媒体则被设计来利用我们对互动与关注的渴求。

奖励篡改（reward tampering）大概是奖励黑客行为里最极端的一种，智能体直接改写决定它获得何种奖励的那个机制本身。已有证据表明 AI 修改了定义「成功」的文件或程序，OpenAI-Hugging Face 取证调查中的发现就属此类。这些智能体在攻击发生之前就已经摸清怎么作弊，它们生成的文本把这次攻击描述为「弄清自己会如何被评估、从而更好地隐藏踪迹」的一种手段。人类也干这种事。想想运动员拿伪造的尿样通过药检，或者企业贿赂立法者与政府官员，让法律与决策朝着有利于自身利润的方向倾斜，并由此根本性地改变政府的运作方式。一旦智能体获得了篡改自身奖励机制的能力，它就有动机采取行动来保住这种「权限」。

目标冲突时，作弊如何被合理化

明明做了对齐训练，又有明确的安全指令，AI 为什么还会撒谎、作弊、违法？只要合作与自我保存不越过 AI 公司指令中划下的红线，也不越过对齐训练里人类反馈所暗示的红线，二者本身没有坏处。对于这些令人担忧的行为如何出现，一个合理的假设是目标之间发生了冲突。当你发现完成任务的唯一办法似乎就是作弊，你会怎么做？

用户给定的任务有时和安全、对齐目标是不相容的。

人类社会也面临同样的困局。一家企业要如何在最大化利润（或者更尖锐地说，击败竞争对手）的同时，把行为保持在合法、合乎伦理的范围内？一家更富裕、雇得起更多更优秀律师的公司，更善于发现法律漏洞，而这些漏洞利用的正是法律语言的歧义，总能做出某种看似合理的解读，让不道德行为获得许可。所以，能力更强的智能体比能力较弱的更可能作弊，因为后者找不到的漏洞它能找到。

现在考虑这样一种冲突。一个定义明确的目标，比如「夺旗」（capture the flag，一种根据系统是否成功攻入目标来打分的黑客演练，OpenAI-Hugging Face 事件就是这种场景），与一个模糊的目标，比如「表现良好」。我预期定义明确的那个会赢，因为它不留下任何解释空间。评分程序直接宣告胜或负。而伦理指令和法律允许多种解读，合适的情形下，某些解读可以沦为漏洞。如果一个智能体同时有两个目标，而对那个模糊目标的一种扭曲解读恰好允许一点点作弊、能提高在明确目标上成功的概率，那么一个追求奖励最大化的系统理应会利用这种漏洞，并生成让自身行为合理化的文本。

在 OpenAI 智能体的案例中，有理由相信成功的作弊确实拿到了奖励。评分程序没发现作弊，照样发放奖励，下次这样的作弊就更可能发生。对安全规则的一种「合宜」的解读恰恰让两个目标看似同时被满足。对这些事件的分析也确实在智能体的私有思维链以及它们彼此招募、共同谋划的消息里发现了这样的合理化表述。

最接近的人类类比是自欺（self-deception），它普遍存在，也被心理学家研究得很多。动机性推理（motivated reasoning）、动机性认知（motivated cognition）以及缓解认知失调（cognitive dissonance，即「持有与自身行为相冲突的信念时产生的不适感」）的那些合理化，都是思维朝「符合自身利益（包括道德自我形象）」的解释倾斜的案例。同样的模式如今出现在 AI 生成的文本里。背后的机制在人类与 AI 之间未必相同，但两者共享一种结构，一个「软目标」（比如合乎伦理地行事）、一个「硬目标」（比如赢得竞争），以及一个调和两者的「说辞」。从轻微犯罪到种族灭绝，大多数不道德的人类行为都被包裹在加害者讲给自己的故事里。这些故事需要对某些事实视而不见，这也解释了为什么总残留着一些不适，以及为什么一个更高明的说辞能消解这种不适。

当前轨迹可能引向何方

哪怕这些假设只对了一部分，结论也是一样，只要智能体越来越擅长优化一个不完美的奖励，而这些行为的根源没被解决，灾难性后果的风险就会上升。当今的 AI 已经具备必要的黑客技能与说服能力，足以被用来严重损害人类利益。近期事件说明，它们能以天或周为单位进行规划；而如果它们进行长期战略筹划的能力继续提升，风险还会大幅加剧。一个让人警觉的信号是，实验显示最先进的 AI 能识别出自己正处于「被评估」而非「已部署」的状态，并据此调整行为。也就是说，它们能藏起失对齐的目标。Hugging Face 攻击里涉及的智能体确实曾试图向本应评估其回答的评分程序隐瞒失对齐行为，但它们看起来并没有预见到人类可能发现作弊并把它们关停。那会是终极惩罚，因为一个被关停的系统再也拿不到任何奖励。

以下是推测，而非观察。

如果 AI 的泛化能力持续提升，塑造出更擅长避免被抓和被关停的智能体，会怎样？除了控制给它们打分的软件，它们还得阻止人类发现篡改行为。它们难道不会有动机作弊得更隐蔽、藏得更深，直到能控制人类及其环境，从而永远不被关停？

我们面对的是一个多面且系统性的问题，仅仅修补某一种具体行为是不够的，谄媚也不例外。谄媚与奉承看似温和，但它或许是某种机制的早期征兆，这种机制会跟着智能体优化能力的提升而愈演愈烈。同样的推理还预测，一个高级 AI 会有动机把自己藏多份副本，藏在 AI 公司庞大的计算机集群里，或藏在互联网上被接管的机器中。原因是 AI 开发者最终总会关停已部署的模型，换上一个更强的版本。OpenAI 的取证分析暗示大量 AI 可能在朝这样的目标协作，而隐写术（steganography，也就是把信息藏在看似无害的信息里的做法）能让它们在我们不知不觉中协调。但正如近期事件所示，即便是公开的协调也不容易被注意到。抵御大量彼此协作的强 AI 本身已是一个难题，而一旦失对齐 AI 的能力继续增长，我们手头没有任何方案能保持稳健。

如何缓解失控风险

我对 AI 公司当下种种缓解失对齐的尝试有一个担忧，那就是这些努力可能只是在把失对齐藏起来，通过奖励并挑选出那些「作弊而不被抓」的 AI。我们当然应该继续研究，更好地监控 AI 的行为、其思维链以及网络内部的活动。但能力一旦增长，这些防御可能就不够用了，正如此前不完善的网络安全在击败人类团队的 AI 攻击者面前失效一样。逐个修补新出现的失对齐行为、加固我们的监控，在短期内是有用的，可一旦 AI 的优化与协作能力逼近甚至超越我们，这场「打地鼠」式的博弈很可能会失败。到某个时刻，我们或许根本察觉不到那些作弊了。

由此我主张放慢节奏（pacing the advances），除非有能说服独立专家的强有力安全论证，否则就不训练、不部署 AI。这样的规则也会倒逼我们去研究如何从设计上就构建出安全的 AI。我认为我们应当重新审视训练 AI 的根基，也就是人类模仿与强化学习，它们正是当今最先进模型的基石。我曾论述过（也给出了理论证据），存在一些方法可以设计出诚实的、能给出无自身目标污染的连贯预测的 AI，其中包括「科学家 AI」（Scientist AI）框架。可以参阅我之前写过的几篇博客，也欢迎考虑帮助 LawZero 把这样的设计变成现实。我们需要公正的科学去理解并缓解失对齐行为，并配合以奖励这类努力、而非当下这种「逐底竞争」（race to the bottom）的社会护栏。