为什么我仍未相信真正的递归自我改进

为什么我仍然没有真正相信 RSI

少数机构正在用成千上万个并发智能体（agent）来改进流程、提升产出。这个时代已经来了。这些机构恰好就是那几家前沿 AI 实验室，尤其是 OpenAI 和 Anthropic。过去几周我一直在想一个问题。这两家机构里那么多员工，得在很短时间里重新调整对 AI 进步速度和相关风险的预期。

我的一个核心看法是这样的。前沿实验室，加上旧金山 AI 圈那种狂热竞争的氛围，造出了一种会放大任何 AI 焦虑的环境。这有好处。恐惧有传播力，能让更多普通人意识到 AI。但夸大风险的时间表或严重程度，会带来负面的二阶效应。我记得 2023 和 2024 这两年有一大堆高调的 AI 安全辩论，连带着一片阴云笼罩在开源 AI 的可行性上。当时那些被点名的主要风险，没有一个在预测的时间表内应验。

这两家核心实验室里的大多数员工，早在一年前就对 AI 风险和进步速度深感焦虑。尤其是进入 2026 年初，智能体开始找到更强的产品市场契合度（product-market fit）之后。这种文化上的「前因」，一旦撞上「成千上万的智能体将在你的业务里持续高效工作」的实然，只会让焦虑进一步加剧。从这种焦虑，再叠加像 OpenAI-HuggingFace 这类事件，一下子跳到「灭绝风险」，感觉非常「宗教化」（译注：此处 religious 带贬义，暗示这种推断更像基于信仰的跳跃，而非基于证据的推理）。

Richard Ngo 对此有一个很恰当的总结。现在 AI 安全社区中有很大一部分人，无论是否明说，都在朝着「几年内会发生智能爆炸」的图景调整方向。我的默认预期是，前提是没有大幅暂停，类似的事情会再次发生。他们最终会在方向上被证明是对的（相对于几乎所有与该社区无关的人的预期而言），但在事实上是错的。

具体来说，未来 8 年内我们不会拥有超级智能（superintelligence）。但事情发展得依然如此之快，以至于会*感觉*那些主张短时间线的人是对的。

……我现在想就这件事说几句，因为眼下「奇点将近」这种跟风热潮实在已经够离谱了。

我自己的看法，跟我之前勾勒过的、与真正的递归自我改进（recursive self-improvement, RSI）相对的另一种情景高度吻合。我管它叫「有损自我改进」（lossy self-improvement）。这个看法有几条要点。可自动化的研究范围太窄，不足以在面对扩展定律（scaling laws）那种指数级成本时，实现净进步的大幅加速。并行使用更多 AI 智能体时的边际收益递减是真实存在的。资源瓶颈与政治因素是构建强大 LLM 的重要变量，而 AI 在加速解决这些方面能做的非常有限。

所以，我只能在这两件事之间找平衡。一方面，文化温度在潜在升高。另一方面，实验室可能真的看到了一些尚未公开的、真正吓人的具体突破。我的预期是，当前 AI 安全的担忧更多来自前者，也就是大规模智能体投入工作带来的效应。但我对这一点持有相当高的不确定性。基础性的、依赖想象力的 AI 突破，才是会让我把 RSI 时间线从「更接近于在面对指数级成本（扩展定律）时维持进步的工具」调整为「更不可预测和/或更不稳定的事物」的那一类事情。

---Interconnects AI 是一份读者支持的出版物。可以考虑订阅。

最近关于 RSI 的优质资源，有 Dwarkesh 与 Noam Brown 的那期播客，以及与 John Schulman、Beren Millidge 和 Charlie O'Neill 三人的对谈。从这两期节目里我有几点重要思考。

先说与 Noam Brown 那期。它让我真正体会到，海量推理算力（inference capacity）能在多大程度上带来短期加速。这些实验室会把成千上万的智能体扔到重要且可量化的问题上。与此同时，他们能拿到的算力也会持续扩张。我一直在想，总算力规模不断扩大之后，这些实验室是否还能负担得起把其中恒定比例的算力用于内部研发。尤其是在他们有 IPO 计划、需要面对更严格的基本面审查的情况下。重要的是，不要把推理时扩展（inference-time scaling）那种大幅进步，与 RSI 的产出混为一谈。前者是相当可预测的动态，后者本身具有高度不确定性。

再说那期三人对谈。他们讨论了当前技术能力的最新水平，给我带来了更多让我意外、还没完全消化的反应。在前一个小时左右的时间里，他们讨论了强化学习（RL）、蒸馏（distillation）、扩展（scaling）、推理时算力（inference-time compute）等各自扮演的角色。我发现自己强烈认同其中各种主张的分布。一句话总结，当前技术是有效的，能让我们解决那些我们知道如何表述的问题，但在大多数「部分可验证」的领域，它们也不会神奇般地泛化到未知且更难的问题上。数学上的进展是个例外，而不是常态。

这期播客最让我意外的是结尾。他们对 AI 达到各项能力门槛的时间线做出了预测。我让 GPT-6-Astra 总结了嘉宾们对 Dwarkesh 三个「AI 何时能达成 X 能力」形式问题的回答。所有时间线均相对于采访日期。

可即时替代的远程工作者，能胜任广泛的、白领性质的工作，为期一个月以上

- Charlie O'Neill，约 1 年（可编程式访问办公工具），约 2 年（必须通过浏览器操作）。指普通白领工作，而非高度创造性的研究。
- Beren Millidge，约 3 年实现完全通用，80%–90% 的覆盖会更早。主要不确定性来自在线学习与任务的长尾。
- John Schulman，约 1 年可推出「还行」的版本，能力参差不齐，并随时间推移逐步提升。

AI 研究人员生产力提升 10 倍

- Charlie O'Neill，5–10 年。瓶颈在于吸收信息并决定下一步要跑哪个实验。
- Beren Millidge，认为 John 估计的约 2 年是合理的，但未给出独立时间线。前提假设是 AI 能连续运行实验并从反馈中学习，其他瓶颈仍然存在。
- John Schulman，约 2 年。

AI 在所有基于计算机的工作（含耗时多年的项目）上超越顶尖人类专家，即 ASI

- Charlie O'Neill，5–10 年。强调记忆与上下文长度方面的限制。
- Beren Millidge，实验室聚焦的领域约 5 年，字面意义上的「所有领域」可能更久。未对「通用版」给出明确时间线。
- John Schulman，3–4 年。空间与物理相关领域可能更久，需要解决入门上手和更长周期的学习问题。

大体而言，讨论 RSI 时一个反复出现的问题，是对「智能」缺乏精确定义。智能的「参差不齐」（jaggedness）意味着，我们得就具体的、可量化的任务来讨论各项门槛。LLM 智能的形态与人类截然不同，而我们预测的角色却是按人类形态去设想的。所以 AI 不会以离散方式跨越「远程工作者」或「AI 研究员」这类门槛。它是一种缓慢的扩散，某种形式的长尾将始终存在。

以 AI 研究人员的生产力为例。许多人低估了科学工作中与同事沟通、设定规范所占的比重。我确实相信在不远的将来，「实验设计与测试」这一循环能提速 10 倍，但我不相信假设生成与直觉构建也能如此。加速理解将是最关键的瓶颈。这个瓶颈尽管有各种 AI 工具大幅改进，人类在这方面的能力只会获得边际性的提升。科学性质上的重大改进，将来自于让人类能把更多时间投入这一环节，而不是来自于让人类在这方面变得指数级更强。

留个言。这条留言其实是在呼应与 Noam 那期播客的内容。近未来的智能体集群（agent swarms）将在解决那些明确的、开放式且具有可验证答案的问题上颇有成效。沿着这个思路，在改进 AI 模型方面，RSI 更多是在提升效率，而非拓展峰值智能。这是因为 LLM 服务端有一系列你希望改进的清晰指标，这些指标既可量化，又可塑性强。这会带来更好的推理时扩展，以及更高效的多智能体系统。

不过，我始终无法绕过这样一个事实。我们所有的扩展定律都表明，要让智能获得线性提升，就需要指数级的算力与资源。RSI 注定会让现代 LLM 变得廉价得多。LLM 在固定智能水平下成本呈指数级下降，这种趋势很可能会继续加速。对实验室而言，一个关键因素是利润率需要提高，因为在固定智能水平下价格战可能给营收带来下行压力。杰文斯悖论（Jevons paradox；译注：指提高资源使用效率反而带来该资源总消耗量上升的现象）很可能仍将胜出，从而造就强劲的业务。

RSI 在改进 LLM 拼图里那些更难的环节时会吃力得多，比如管理复杂的后训练（post-training）配方。John Schulman 有几句话我非常认同，谈的是实验室当前后训练的状况：

「如果我去想一个后训练团队为什么需要这么多人，原因就在于存在太多不同的领域，你需要分别搞清楚模型在每个领域应当如何表现。要把整件事完全自动化非常难，就是因为总得有人去思考模型在这个领域应该怎么表现。」

稍后他还说，「后训练很容易在某些不会体现在基准测试上的地方被搞砸。」

这些任务对当前 LLM 来说格外困难。诚然，业界仍在快速扩展与这些领域相关的强化学习环境，它们的表现会变好，但这种范式不会永远持续。在不久的将来，设计、构建并测试那些能真正对顶尖 LLM 构成挑战的新环境，可能会变得越来越难，难度甚至呈指数级上升。这些「硬骨头」环境恰恰是强化学习中至关重要的学习信号来源。

OpenAI 和 Anthropic 已经分享了不少与 RSI 相关的内部度量数据。我目前的解读是，实验室内部自动化提升最显著的是这几类任务，软件工程、监控日志、管理预设实验，以及其他相当常规（但并不总是容易）的任务。比如，近期 Claude Fable 5.1 & Mythos 5.1 System Card 中就有这段措辞。

「我们认为，最近的 AI 模型在内部的使用是维持当前进步速度的关键因素，但我们尚未看到在这一速度之上出现显著加速的明确迹象。」

总体而言，我认为我们面对的最难攻克的指数曲线，正是峰值智能。它是最难推动、甚至最难加速的一项。尽管如此，我对 RSI 最初阶段的心智模型更接近于，把推理时算力大规模扩展并扩散到 AI 研究及相关活动中去。这其中有大量唾手可得的果实。仅此一项，就足以产生变革性的经济影响。它还有望释放更多资源来推动 AI 扩散，而 AI 扩散正是释放其大部分潜在收益的关键瓶颈。

眼下，在更多证据出现之前，「有损自我改进」仍然是我对进步轨迹的基线判断，而围绕「灭绝风险」日益升温的讨论在我看来是错位的。一如既往，AI 领域的事情可能很快就会发生变化。