RSI、中美AI差距与能力断层：与Epoch AI联合对谈

与 Epoch AI 的 JS Denain 辩论 RSI、中美差距与锯齿状（Jaggedness）

本期嘉宾是 Epoch AI 的 Jean-Stanislas "JS" Denain，他领导着 Epoch AI 的洞察（Insights）团队，也是我越来越多地与其讨论 AI 现状与未来走向的人之一。我们在线上和私下里就我最近最喜欢的许多文章展开过后续讨论，所以我想在公开节目里深入聊聊其中的细节。

本播客的一大要点是，我和 JS 都对我们究竟要走向何方抱有极大的不确定性。这期是我们尽力陈述当下观察的一次尝试。

章节 / 话题包括：
00:00 对 RSI 的预测
18:15 机器人在 AI 加速中的作用
24:20 中国模型落后多少？
27:39 蒸馏（distillation）能解释这一差距吗？
40:58 中国招聘启事透露了其实验室的哪些信息
48:13 开源还是闭源模型更安全？
58:10 Epoch AI 是如何运作的
1:00:55 一份前沿后训练配方是什么样的
祝收听愉快！

转录

00:00:00 Nathan Lambert：今天和我一起的是 Epoch AI 的高级研究员 JS Denain。他领导着洞察团队。无论我写的是中美 AI 能力，还是如今的 RSI，他都是我写作时能获得最佳反馈的人之一。我只是想开启这场讨论，老实说想跟他深入聊聊，试图理解他怎么看待这些不同的议题。我觉得你的观点非常有用，也相当温和，感觉你可能比通常所说的「AI 进展更快情景」还要再往前一步。不过先切入正题，当我们听到所有关于 RSI 即将到来的宣言时，你觉得 OpenAI 和 Anthropic 看到的是什么测量数据？

00:00:47 JS Denain：是的。他们已经公布了一些测量数据，对吧？OpenAI 和 Anthropic 都发布了相关博客文章，Anthropic 至少有两篇，讨论的是 AI 如何加速 AI 进展。我感觉，至少就他们公开的内容而言，这不算「自我持续加速的 AI 能力即将出现」，也不算「AI 研究员的工作即将被全面自动化」的有力证据。但我们看到的内容里，最引人注目的是 OpenAI 博客文章中提到的「AI 系统在模型部署中的使用增加」，比如 Codex 支出的增长。这一点其实很难精确解读。可能存在测量偏差，他们也许只看了 Codex，而实际上研究人员之前早就在大量使用 ChatGPT。但总的来说，那张图显示研究人员的 Codex 支出每月翻倍，这在我看来，确实是「他们从中获得了很大价值」的某种证据。我还是不认为这是「六个月内软件智能大爆发」的有力证据。

00:01:57 Nathan Lambert：你觉得这和他们内部掌握的信息是一样的吗？这显然是假设性的，我们没有这些内部信息。我有一种感觉，实验室里的人发出的更新，似乎比我们能拿到的信息透露了更多恐慌。我很认真地对待这个问题。什么会让他们的「加速风险」言论加快？这其中有多少是实质性的证据，有多少是文化随时间的演变？我对证据更感兴趣。

00:02:27 JS Denain：好的，有两件事。首先，我其实不知道，对吧？我没有完整的信息。我目前不认为 OpenAI 或 Anthropic 的人现在看到了某些我们无法获取的东西，让我们值得对此更加恐慌。我也不认为……我觉得，我们目前拥有的、关于 AI 进展的更一般性的公开证据，以及「这是一个重要动态」的先验论据，已经足够了。AI 加速 AI 进展这一特定动态，值得关注，值得当作一件大事来追踪。至于反馈循环真正启动的紧迫性究竟如何，目前还不太清楚。那么，就「内部有什么、人们可以接触到什么」这个问题，我可以举出他们可能在看的一些指标的例子。我们有可能接触到 AI 系统的能力，但内部团队有自己的 KPI。也许他们看到预训练（pre-training）团队的算力乘数，或者其他正在追踪的指标在飙升。然后，这些再加上「不同团队的不同输出如何结合」的直觉，可以对最终 AI 系统的实际性能趋势做出预测。这可能是一个早期预警信号。至于近期我们看到的讨论，是否是这些指标上出现「疯狂迹象」的证据，我目前还不太清楚。

00:04:09 Nathan Lambert：你怎么看待 RSI 与生存风险（existential risk, x-risk）之间的联系？我先抛一个假设，我认为你同意这个方向。我觉得 AI 有非常真实的风险。我很好奇，像你说的这些「非常、非常早期的测量」，会如何改变风险的范围。如果六个月前你问大家，对于非常理性的人来说，x-risk 不会那么迫在眉睫。但现在有更多理性的人在重新谈论 x-risk，这让我有点意外。

00:04:43 JS Denain：好的，我的感受大概是……就我个人而言，我对此感到非常不确定，但我确实基本接受 Evan Hubinger 提出的「在某个时间框架内有至少 10% 的生存风险」这个说法。我觉得，嗯，是的，十年期的时间跨度内，这听起来相当合理。我只是感到对此极其不确定，但我确实非常担忧。那么，我为什么担忧？分歧来自哪里？我怎么把它和 RSI 的早期感知联系起来？我的感受是，我基本上是个「能力至上论」的人。有些人对此不同意，但我真的觉得，每个人之间分歧的最主要成分，就是 AI 系统的能力会变得有多大、有多快。我一定程度上同意，还有其他因素会影响你的经济增长有多大，也取决于你获得的扩散程度。你甚至可能认为，能力会变得疯狂，但 AI 系统就是会对齐、就是会无害，所以没有巨大的风险。但具体来说，当我审视人们之间的主要分歧时，我看到的大多数「对那些最极端情景非常怀疑」的人……他们只是预期能力不会那么巨大，或者说，像我认为的那样，00:06:18 Nathan Lambert：作为一个能力至上主义者，在几年后会是什么样子？因为我想我可能站在怀疑的一边，请继续。

00:06:28 JS Denain：比如，我觉得就是 AI 2027 情景（译注：AI Futures Project 发布的一份著名预测情景）中描述的那样。我认为它的机制是 AI 在自动化 AI 研究过程。这是关注它的理由。但就其对现实世界的影响而言，我觉得就像机器人技术的巨大进步。我认为会有一个巨大的工业大爆发，AI 系统只是在管理工厂。你拥有一种自我持续的经济体，能够以远快于你预期的速度取得重大的科学进步。所以具体来说，我预期的分歧在于，如果你拥有的 AI 系统既在「书本聪明」的意义上非常聪明，又被训练得拥有更多的能力（affordances）并能精明地使用它们，被训练得能以高效的方式管理项目等等。那么，对取得极快的研发进展，或对人类取得硬实力，现实世界的瓶颈有多大？

00:07:26 Nathan Lambert：好的，我们能详细谈谈其中一些吗？你听了 Dwarkesh 跟 Charlie、Beren 和 John 的那期播客吗？

00:07:32 JS Denain：听了。

00:07:33 Nathan Lambert：是的。因为他们在最后讨论了各种能力水平和实现它们的时间表。我觉得在他们展示的分布上我大部分都同意，但时间表让我感到惊讶。其中一个是 AI 研究员 10 倍生产力。Beren 和 John 比我想的更快。我的说法是，「有想法并进行实验测试」这个循环，很快就会快 10 倍。但我不一定会说，AI 研究员的净生产力会提高 10 倍。净生产力，我会描述为「该领域完全理解的步伐」。理解是不同于单纯继续扩展模型的另一个轴。这是我在 AI 研究方面核心的困惑之一。所以我只是有点好奇，你怎么看待这类事情，以及你如何把 AI 研究的 10 倍改进细分为子类。

00:08:37 JS Denain：好的。这里也许可以有一个尺度。你可能关心的最终事情是，AI 研究总体会快多少？或者说，Anthropic 的总体产出快多少？Anthropic 作为一家公司在产出某些东西，一年内做到了本来需要 10 年才能做到的事。这与个人研究员的生产力相当不同。我觉得你可以这样想，如果现在 AI 研究员大部分时间在做的事情是你描述的那种循环，那么基于他们现在正在做的任务，中位研究员有可能获得 10 倍的生产力提升。但首先，这不意味着所有研究员都能获得 10 倍的生产力提升。而且即使做到了，对吧，还有其他瓶颈会卡住，使得这未必能转化为整个 Anthropic 的 10 倍生产力提升。你可以让所有研究员的生产力提高 10 倍，但由于算力或其他因素，公司本身的进展仍然没那么快。

00:09:38 Nathan Lambert：我有一个类比。初级博士生的生产力会提高 10 倍，但从导师的角度来看，他们的研究议程并不会快 10 倍。这在多大程度上能推动 Anthropic 的进展，是另一件很难直接归结到 AI 能力上的难事。我想说的是，听完 Noam 那期播客之后，我一直在想这件事。现在有这么多推理算力（inference compute）正在上线，Dwarkesh 把这一点强调得很好。对我来说，很难把「AI 研究的巨大加速」与「我们拥有更多算力、现在能更有效地把它花在相关问题上」这两件事区分开来。我觉得我们会一次性拿到所有这些。

00:10:27 JS Denain：好的。所以这个问题……当你看 OpenAI 关于他们加速的博客文章时，对吧，他们确实指出了研究人员 Codex 支出的巨大激增。有意思的是，实际上公司其他部门的 Codex 支出在春季有一次巨大的激增，然后在夏季趋于平稳。但对于研究员、数据团队或工程师来说，它继续增长，有时甚至加速。他们指出了这一点，然后试图看哪些任务的用量增加了。很多是工程任务，故障排除任务的用量有所增加。但他们明确指出，对于很多高层战略决策，无论从轶事来看还是从会话数据来看，他们似乎都没有发现「制定更好的算力分配决策」或「决定研究方向」方面有巨大提升。所以对我来说，这跟 PI 的情况相当类似。

所以我认为有一个首要问题，即有多大改进……想象一下，你在 AI 研究的那个组成部分没有获得太多 AI 提升，但 AI 研究的其余部分真的变得疯狂。那么事情会快多少？这是独立的问题。还有，嗯，这种战略决策有多难？你就不能有一点更长视野的强化学习（Reinforcement Learning, RL）吗？或者你可以押注于「从其他领域合理迁移」，在那些领域这种决策很重要，然后你最终确实获得了那种提升。

00:11:59 Nathan Lambert：我直觉的一部分是，科学将看起来如此根本性地不同，以至于几乎难以给它一个数字。这是前 AI 时代和后 AI 时代，我们正处在向「新方法、新科学方式」快速过渡的阶段。我觉得所有会议都准备好在未来几年里被烧掉、在挣扎中求生。我希望他们能共同想出一种办法，比如把 AI 监督纳入评审中并使其可扩展，因为他们有太多「灌水」论文，需要这种把关。所以我真的不知道。

能力方面，我倒觉得 AI 进步明显会转化为新能力。这里有两件事。一是预训练（pre-training）扩展定律。我们的损失（loss）与算力的指数增长成比例。在研究方面，我们正在做的是移动这条线，让它有更好的偏移，并可能有更好的斜率。另一方面是强化学习（RL）环境。我觉得我们现在正在构建的强化学习环境，跟有价值的工作非常相似。所以我预计 AI 模型在「可以被明确范围的知识工作」方面会变得更好。但我不知道我们是否有一个好的流程，能批量产出难度高出一个数量级的环境，那会更接近「治愈癌症、解决这些开放性数学问题」这种目标。我觉得数学是一个我们可以展开谈谈的案例。但总体上，我认为在「扩展原始智能」而非「效率」这件事上，存在未知数。所以我对扩展效率非常乐观。

00:13:29 JS Denain：好的。某种意义上，推理效率是一个非常「爬山（hill-climbing）」的任务，界定得相当好。我的意思是，它已经是一个有非常、非常快速趋势的事物。我可以想象那些趋势。是的，我想象那些趋势会更快。这真的很像是……事实上，我们有来自 OpenAI 的证据，对吧？比如通过构建更好的内核来节省服务成本等等，如果你刚接触这个领域的话。他们没给那么多细节，但这已经在发生了。

我其实很好奇的是你的判断。定义「Anthropic 整体加速」的一种方式是，你可以看某个时间点 Anthropic 最佳质量的 ECI 的趋势。你可以看当前的趋势线，然后问这样一个问题，比如未来一年，我们会看到 5 倍加速吗？斜率会比 2025 年那样大 5 倍吗？我觉得我们很可能看到这个巨大的增加，因为它是一种相当清晰的 KPI。我的意思是，它不是字面上的 KPI，但它是公司瞄准的 KPI，撇开安全考虑等等。我很好奇，你认为是「非常不可能」，还是更像是「我们可能会得到这个，但如果得到，那主要是 ECI 已经被作为指标进行了古德哈特（Goodharted），对真实世界能力的影响没那么大」？

00:15:03 Nathan Lambert：得到这个我并不会感到惊讶。但我觉得是这样，我们处在一个斜率上，然后我们可能在「爬山」这件事上得到斜率的上升，但随后我们会饱和「我们知道怎么爬的东西」，然后斜率会变低。所以所有我们可以测量的东西，我认为都会因为可测量性而被迅速拉高。然后我们进入的领域是「我们如何测量它」。我跟正在尝试的人聊过，评估（evals）现在构建起来非常昂贵。我确实认为评估会是：它在编码上有多好、高效多少，它在 ML 研究上有多好、高效多少，它在知识工作上有多好、高效多少。但我不知道怎么……构建这些评估看起来都是可处理但很困难的。

然后，比如如何在基础化学方面取得突破，似乎真的、真的、真的很难测量。我本来想用前沿数学作为例子，但我觉得数学是 AI 最锯齿状（jagged）部分的特例之一。我觉得数学中的开放性问题是 AI 快速改进的完美目标，因为它是一个可证伪的事情。如果说我们在某些更加开放的事情上看到这一点，我会大幅更新我的看法。或者如果实验室站出来说，「使用 Claude，我们在 AI 架构方面有了非常非常大的变化」，比如那个著名的 Jonathan Frankle–Sasha Rush 赌约（译注：关于 transformer 架构是否会被替代的公开赌约），然后 transformer 不再是我们所走的主线。我觉得这些事情中的任何一件，如果非常由 AI 驱动，都会让我大幅更新。但看到更多数学，我对数学的进展速度感到惊讶，但不是震惊。

00:16:49 JS Denain：这对我来说很有意思。我基本同意这种感觉。所以我认为 METR 的人在看你们自动研究（autoresearch）式 nanoGPT 的结果与人类所做的对比时，确实似乎存在这种，我觉得 Tom Cunningham 称之为「摘苹果模型」的现象，即 AI 在开始时效率高得多，但实际上没有发现那么多新想法。你在这种优化器研究中看到了这种模式。

是的，我的意思是，我会在这个可验证性问题上说一件事。我觉得一个相当普遍的趋势是，你会有一些任务不可验证，你可能觉得构建环境很困难。但实际上，它是更大任务的一个子集，而那个更大任务本身是可验证的，只是范围更长。一个例子是，有很多难以验证的、来自公司外部的任务。但在某种意义上，收入或其他指标，比如估值，是相当清晰的。这是一件事。我的意思是，另一件事是期待事情相当锯齿状。但我觉得一个很大的问题是，在疯狂的世界中，你能不能获得一个大型的、自我持续的工业式大爆发？

00:18:05 Nathan Lambert：好的，我们能谈谈机器人和工业吗？因为我有物理机器人的背景，我觉得机器人趋势会看起来比 LLM 更接近自动驾驶汽车。很多奇点（singularity）论点都是基于「机器人能像 LLM 那样快速扩展」，而不是自动驾驶汽车那样逐步推出。所以为什么你会不同意呢？或者说，大规模工业化和机器人扩展是可行的论点是什么？我的先验如此怀疑，以至于我可能甚至没给它足够的公正。但我非常怀疑它的可行性，主要是在相对时间表方面。我觉得它可能在几十年内发生，但我不认为这是两到五年的担忧。

00:19:01 JS Denain：两到五年确实很艰难。说清楚一下。我只是对机器人了解得不多。你的主要担忧就是「可靠性」真的很难做到正确，就像自动驾驶汽车那样，有一条长长的场景尾巴，事情可能会出问题？还是更多……