对P(doom)与AI风险的反思

P(doom)

这周一种「AI 会杀掉我们所有人」的论调在网上走红（译注：P(doom) 指「世界毁灭的概率」，AI 安全圈的常用术语）。其中特别引人注意的是一条，某位员工把自己对这件事发生的个人概率定在了 10% 以上。这让我去翻了 P(doom) 的 Wikipedia 页面，发现 Dario Amodei 对某种糟糕事情发生的概率看起来也在 10%–25% 之间。Dario 后来写了一篇关于 pacing the frontier（给前沿踩刹车）的文章。Sam 读了之后也想踩刹车。Musk 也想。我强烈建议你读一下那篇文章，因为我觉得写得不错。然而读的时候，尽管我觉得自己在所有观察上跟他一致，在担忧上也大体一致，我还是忍不住强烈反对。我想，把我此刻的想法写下来可能会有点意思，哪怕只是为了让自己一年两年后能回头看一眼。

什么是 Doom？

我很欣赏 Dario 那篇文章的一点是，他描述了一个并不夸张、却又明确指向一个不幸结局的场景，而这个结局是我们应该去对抗的。持续存在的僵尸网络（botnet）以及其他形式的滋扰，就是他说的那种结局。而且我们不用看太远就能看到左右两边的问题。Wikipedia 上有个叫做 2026 OpenAI agent cyberattacks 的页面，至少能让你大致了解，到目前为止我们搞清楚了 agent 都搞了些什么破坏。不过我知道那页面不是最新的，比如他们还往 RubyGems 里投毒了。今天这些系统可能还算讨厌，但只要我们弄清楚它们在哪，就可以把它们关掉。只不过，看起来 OpenAI 和 Anthropic 的运营规模大到他们自己似乎也完全不知道系统在做什么。我不认为我们已经接近那种 agent 决定黑进核心推理基础设施、把权重上传到别的 GPU 上以求自保的世界。但与此同时，这完全在可能性范围之内，主要的制约因素大概是这些实验室对自己的 IP（知识产权）格外小心。

我主要担心的场景是它对我们做了什么。这里的「我们」指的是任何当前不在做闭源权重、多巴胺驱动、有补贴的 token 水龙头的人。我真的不担心有人用这些模型去造核弹，或者去控制中东的某几枚火箭，也不担心美国会在某种国际文化战里输给中国。我几乎只担心这对我们人类做了什么。

什么需要被 Pacing？

这场对话里让我觉得最搞笑、又最让人抓狂的一点是，居然有人觉得有什么东西值得去踩刹车。要聊清楚这个问题，我们得先弄清楚 Dario 这话到底在说谁。这个领域现在真正重要的只有两家公司，Anthropic 和 OpenAI。其他都不重要（这点可能会变，但我们在谈当下）。这两家公司基本上都来自同一个源头。Dario 至少部分提出的解决方案是一个第三方评估方，也就是 METR。毫不意外，METR 也跟 OpenAI 和 Anthropic 有着密切的关系。当然，公司之间有一些理念上（philosophical）的差别，但相似远多于不同。这两家公司都极大地受益于能够用过去几十年里我们所有人以这样或那样方式生成的公共数据来训练。它们也在越来越给公共资源带来压力，不过看起来 OpenAI 显然更管不住自己那摊子事。

但现在有人告诉我们，这些模型的训练内容危险到必须由极少数美国公司决定谁能用、何时用、怎么用。可是你看，Dario 又非常担心中国。他一开始说要拿 AI 推动「民主与自由」，接着又要求确保跟中国之间保持一个差距。Anthropic API 最近的种种新花样，完全是为了防止被中国人蒸馏（distill）模型，他们一点也不藏着掖着。

自动的 Pacing

我可以告诉你，什么时候 AI 安全和 pacing 这个话题就没那么让人担忧。如果我们从一开始就被迫只能搞开源权重模型，那这个话题几乎就不存在了。一项强大的技术一旦开放给所有人使用，它本身就自带 pacing，某种意义上，这是最真实形态的 MAD（Mutually Assured Destruction，相互确保毁灭），也是最真实的扩散（proliferation）。

我想说，我们之所以陷入这个困境，是因为现在公众在（间接地）大规模支持这些模型的开发，但同时又必须从少数几个拥有巨大权力的实验室那里买回它们可能创造的经济收益。这些实验室的权力也被视为一种地缘政治权力，至少在美国是这样，在中国可能程度稍低一些。我知道我这里用「公众」这个词用得很粗略。PyPI 不是公众项目，RubyGems 和 GitHub 也不是。但它们都是开源公共资源（Open Source commons）的一部分，而大型 AI 公司目前正以惊人的力度压榨这些资源，试图训练出更强大的模型。

我们应该庆幸中国现在正在大规模地接盘全世界。要不是中国实验室在蒸馏美国的模型，我们现在的处境会相当糟糕，尤其是作为欧洲人。开源权重模型正在驱动创新和能力的扩散，并让竞争环境变得更公平。如果我们大幅约束自己的 AI 能力，认定中国也会照做，结果中国违约了，AI 可能会强大到让这样的局面变成……