从开源种子到被Stripe收购：OpenRouter如何成为多模型路由基础设施

OpenRouter: from Seed to Stripe — with OpenRouter's Alex Atallah & AMP's Anjney Midha

2023 年，大多数人都不相信会出现超过一两家前沿模型实验室（frontier model labs）。如今已经有几十家……而 Stripe 刚刚以 70 亿美元的价格买下了其中最知名的一家。

从开放权重模型（open-weight models）的早期，到成为超过 1000 万开发者的中立路由层（routing layer），OpenRouter 是押注"AI 的未来是多模型"这一判断最清晰的案例之一。在本期节目中，OpenRouter 联合创始人兼 CEO Alex Atallah，以及 AMP 的 Anjney Midha 再次做客，与 Swyx 一起，回顾 OpenRouter 如何从 Llama、Alpaca、Mistral 和 Midjourney 的第一波浪潮中脱颖而出，为什么模型多样性在它成为共识之前就至关重要，以及一家被讥讽为"只是个包装层（wrapper）"的公司，是如何成长为 AI 生态系统的关键基础设施的。

我们深入探讨 OpenRouter 背后的产品与分发（distribution）经验：为什么模型实验室可能花数十亿美元训练一个检查点（checkpoint），却仍然难以把它交到开发者手中；Mistral 如何帮助验证了竞争性推理市场（inference marketplace）的价值；为什么 OpenRouter 选择专注，而没有扩展到微调（fine-tuning）、记忆（memory）等相邻产品；以及它的排行榜如何成为反映 AI 使用变化的实时地图。Alex 还解释了 OpenRouter 早期在模型融合（model fusion）方面的实验，为什么他们删掉了第一个版本、并在多年后重新推出，以及这个平台如何成长到每天超过 10 万亿 token。

最后，Anjney 解释了为什么 Stripe 和 OpenRouter 如此契合，为什么 token 欺诈可能成为 AI 经济中最具决定性的安全问题之一，以及为什么下一波欺诈不仅来自人类，还会来自攻击越来越有价值的 token 流的自主代理（autonomous agents）。

我们讨论了：

- 为什么 OpenRouter 早早押注没有任何单一 AI 模型会赢得一切
- Alpaca、Llama 与不可能被忽视的开源模型
- 为什么 Discord 早期的 AI 部署暴露了闭源模型的局限
- 为什么模型实验室在训练上花掉数十亿美元，却仍然在分发上失败
- OpenRouter 如何成为模型开发者的中立分发层
- 为什么 VC 把 OpenRouter 看作"只是个市场"或"只是个包装层"
- Mistral 价格战，以及推理市场的第一次真正验证
- Midjourney 如何通过 Discord 规模化，以及它教会了 AI 生态什么
- 为什么加密基础设施成了生成式 AI 的彩排
- OpenRouter 与 LM Arena 之争，以及为什么两者的使命有根本不同
- 为什么专注成为 OpenRouter 最大的战略优势之一
- Anthropic 早期对 AI 结对编程（pair programming）与编码的专注
- OpenRouter 曾经做出原型但从未上线的那些产品
- MOM，OpenRouter 早期的模型混合（Mixture of Models）实验
- 为什么模型融合在 2024 年失败了，以及为什么它现在效果好得多
- OpenRouter 的排行榜如何成为 AI 行业的实时地图
- OpenClaw、自动路由（auto-routing）以及代理如何重塑 AI 的使用方式
- OpenRouter 如何达到每天 10 万亿 token 以上
- 为什么推理网关正日益成为欺诈的目标
- 为什么 Stripe 的反欺诈基础设施对 OpenRouter 具有战略重要性
- 自主代理欺诈的兴起以及对 token 经济的攻击
- 当 OpenRouter 加入 Stripe 时，什么会改变，什么不会改变

时间戳

- 00:00:00 引言
- 00:02:12 Alpaca、Llama 与多模型押注
- 00:06:04 Discord、开源模型与 OpenRouter 的起源
- 00:14:28 为什么"一个模型通吃"是错误的押注
- 00:17:27 为什么模型实验室在分发上举步维艰
- 00:23:04"只是个包装层"：为什么 VC 误读了 OpenRouter
- 00:27:58 通过社区自举（bootstrapping）OpenRouter
- 00:36:16 加密、Midjourney 与早期生成式 AI 生态
- 00:43:38 Mistral 与推理市场的诞生
- 00:47:10 OpenRouter vs. LM Arena
- 00:52:08 专注、Anthropic 与没有走过的路
- 00:59:34 模型混合与模型融合
- 01:02:44 Sonnet、OpenClaw 与 OpenRouter 的爆炸式增长
- 01:09:03 为什么 Stripe 收购了 OpenRouter
- 01:12:45 欺诈与新兴的 token 经济
- 01:17:47 即将到来的自主代理欺诈浪潮
- 01:19:07 OpenRouter 在 Stripe 的下一步

Transcript

引言：OpenRouter、市场与作为产品原则的发布-订阅（pub-sub）

Swyx [00:00:00]：好的，我们现在在 Anjney 家里，San Francisco 所有大创业故事都是从这里开始的。

Anjney Midha [00:00:08]：大家好。

Swyx [00:00:08]：恭喜你，Cursor、Mistral。天知道还有什么别的。你手上的事情太多了。

Anjney Midha [00:00:17]：事情确实很多。OpenRouter 大概是……最近最让我激动的一个。

Swyx [00:00:24]：是的。Alex 是第一次上播客，但是，Anjney Midha [00:00:27]：谢谢邀请我。

Swyx [00:00:27]：你来过 IE 几次了。每次出现都感谢你为社区做的事。恭喜。这一路真是不可思议。我刚才回头看你过去写的东西，最早的一条产品原则我看到你写的是"sub as a product principle"。我想请你讲讲，你认为这个世界上应该存在什么样的东西。

Anjney Midha [00:00:49]：好的。sub 这一块，是 2023 年初的东西，其实直到十分钟前聊起我都没再想过。它的核心思想是把产品看作订阅（subscribing）数据和发布（publishing）数据的交集。市场（marketplace）就是一个简单的例子。你有供应商把产品发布到一个 SKU 上。这个 SKU 就像一个订阅主题，消费者订阅它，需要的时候就去消费。人类的消费是非常……偶发的、临时性的，并不具有可扩展性。他们在购买的那一刻全部注意力都在那个主题上，而其他时间完全顾不上。代理（agents）和推理（inference）的消费者不是这样的。它们持续消费，并且消费来源的 SKU 时刻在变。所以 OpenRouter 是介于普通 API 体验和市场之间的一种混合体。我们创建了 model slug（模型标识）、自动路由器（auto router）、各种你可以订阅的产品 SKU。然后你可以持续地从这些消费者那里获取价值，并基于它们做决策。

Alpaca、Llama 与多模型押注

Swyx [00:02:11]：是的。这是如今更像是共识的事，但在你们起步时它还不是共识，也就是说，存在这样的需求，人们会去切换模型、更换东西，不会去用每个模型各自的原生 SDK（软件开发工具包）。对你们两位来说，是哪一个瞬间让你意识到"就是这个"？你，你曾经在 EIE 做过一次关于 Alpaca 的演讲，作为你的 Anjney Midha [00:02:33]：是的。

Swyx [00:02:33]：你的灵感时刻之一。

Anjney Midha [00:02:35]：Alpaca 那个瞬间我可以……稍微复盘一下。最一开始，在 2022 年底，OpenAI 是镇上唯一的玩家。有……像 OpenAI、Cohere、Swyx [00:02:47]：是的。

Anjney Midha [00:02:48]：再加上零零星星的早期开放权重模型尝试。

Swyx [00:02:54]：是的。

Anjney Midha [00:02:54]：当 2023 年 1 月 Llama 发布时，那种感觉是，"哇，真激动。这真的很大。"它在某一个或两个基准上超过了 3。但你没法直接和它聊天。它不是一个，它不是一个有吸引力的模型，但看起来只需要有人修复一些东西，做点 RLHF（基于人类反馈的强化学习），就能把它一路带过去。Alpaca 是我看到的第一个这么做的模型。它只花了 600 美元。Stanford 的一支团队生成了一批合成数据，微调了 Llama，做出了 Alpaca，70 亿参数的模型。或者，也许是 130 亿参数。它好得惊人。我当时，我就在飞机上用它。在很多情况下，你根本分不清 ChatGPT 和 Alpaca 的输出。于是我就想，如果做模型这么简单，那第一，我们就有了一种全新的数据变现方式，你可以直接……把非常有价值的数据拿来，包装成一项服务，成本只要 600 美元。而且这个成本大概率会随时间下降。

Swyx [00:04:03]：你说的"变现你的数据"，是变成未来的 MCP 端点，还是变成模型的训练数据？

Anjney Midha [00:04:12]：是的，模型的训练数据。

Swyx [00:04:13]：棒。

Anjney Midha [00:04:13]：就是那种抽象的说法："嘿，我有这份数据。"Swyx [00:04:15]：把它压缩进模型里。

Anjney Midha [00:04:16]：它在我的产品里有意义，但是……我可以把它以模型的形式重新打包，再卖出去。所以这对整个经济来说是一种全新的商业模式。它当然也提供了一种方式，让我们能跟随前沿实验室（frontier labs）在做什么，但同时，单个开发者或一个小团队也能自己上手。所以，每当出现这样的例子，一个做得特别好的爆款应用，然后又有一些框架让你用自己的风格去模仿它，那么一个立竿见影的生态会立刻形成，因为一家公司做的决策和更广的生态可以自创的变体之间，存在巨大的鸿沟。然后，你就需要一个市场来发现所有这些服务和产品。当时互联网上没有一个地方，是 LLM 之家，可以看到它们被用了多少，是谁在用、为什么用。

Swyx [00:05:29]：最接近的应该就是 Hugging Face。

Anjney Midha [00:05:30]：当时最接近的确实是 Hugging Face。

Swyx [00:05:31]：他们也是几年前才开始做 Hugging 那一块的。

Anjney Midha [00:05:34]：是的，而且 Hugging Face 当时也没有闭源模型。

Swyx [00:05:37]：是的。

Anjney Midha [00:05:38]：而且你当时没法直接用这些模型。也没有关于谁在用它们的数据。OpenRouter 和 Hugging Face 之间有很多差异，这些差异当时对我而言非常关键，尤其是当我只是想学习 LLM、了解人们为什么选这个、为什么选那个，那些小模型一个接一个冒出来。

Discord、开源模型与 OpenRouter 的起源

Swyx [00:06:03]：明白了。然后，Ansh，对模型多样性的渴望对他来说一点都不陌生，那时你已经在 Anthropic 待了几年，我们在前一期播客里也聊过。你是怎么认识 Alex 的？

Alex Atallah [00:06:16]：那次介绍，我想是在那之前的十三年。

Swyx [00:06:20]：哦。

Alex Atallah [00:06:20]：但 OpenRouter 那次握手就发生在那边，如果你还记得的话。

Anjney Midha [00:06:23]：是的。

Alex Atallah [00:06:24]：所以 Alex 和我……如果我没记错的话，是大二的时候就在 Stanford Review 认识了。Anjney Midha [00:06:32]：是这样。

Alex Atallah [00:06:32]：第一次见面。

Anjney Midha [00:06:33]：我想是的，是的。

Alex Atallah [00:06:35]：是的。

Anjney Midha [00:06:35]：是的。

Alex Atallah [00:06:35]：Stanford Review 是 Stanford 校园里的那份自由意志主义（libertarian）报纸，是 Peter Thiel 当年创办的。不管出于什么原因，无论是什么原因，我和 Alex 都出现了其中一次会议上，我记得主编是我们共同的朋友。Lisa 真的是一位非常棒的主编，主编的工作之一是分配职责，确保工作完成。我可能记错细节了，但我记得我想，当时让我惊讶的是，这份报纸当时居然没有专门的科技版块。

Alex Atallah [00:07:11]：你 Swyx [00:07:13]：因为它是政治报纸，对吧？

Alex Atallah [00:07:14]：它主要是 Swyx [00:07:14]：谈的是 Alex Atallah [00:07:15]：它最初是 Anjney Midha [00:07:16]：是的。

Swyx [00:07:17]：是的，国家啊那些东西。

Alex Atallah [00:07:17]：没错。

Swyx [00:07:18]：是的。

Alex Atallah [00:07:18]：但，把时间拉回去，你可能记得，但有一项科技相关立法正在讨论，叫做《网络中立法案》（Net Neutrality Act）。网络中立说到底就是一个政治概念，对吧？它涉及的是互联网宽带接入的监管。所以我们这群人既是技术人员，也在讨论技术的政治性。我觉得 Review 会是个好地方，去写这些东西。当时我正在写一篇关于网络中立（net neutrality）的文章，我记得我提议，"也许我们应该开个科技版块。"Alex 是少数几个说"那挺酷的"的人之一。我不记得我们最后有没有一起写过东西，但，那就是我们第一次见面的情形。Alex Atallah [00:08:03]：是 2011 或 2012 年。我忘了是哪一年了，差不多那个时候。

Anjney Midha [00:08:09]：是的。

Alex Atallah [00:08:09]：是在 Old Union，如果我没记错的话。

Alex Atallah [00:08:11]：那是以前我们开会的地方。但是这一路上，Alex 和我有过很多机会一起出去玩。我们专业上重叠最多的那段时间，是我负责 Discord 平台的时候，那时候 Discord 在疫情期间成了加密 Swyx [00:08:32]：是的 Alex Atallah [00:08:32]：和 NFT 的爆炸性平台。

Swyx [00:08:35]：顺便问一下，你当时也负责安全，对吧？

Alex Atallah [00:08:38]：我是平台负责人，也就是说所有加密，DAO 和 NFT 上线的安全调试都落到 Swyx [00:08:45]：还有那些钓鱼 Alex Atallah [00:08:47]：钓鱼攻击、社会工程学攻击、我们遭受的 katana DDoS（分布式拒绝服务攻击）。但也就在那段时间，我第一次开始在 Stanford 教大规模安全课程，CS 153。当时 Alex 在 OpenSea 工作，我正琢磨怎么防御这些攻击。你还记得 NFT 交易量有多少是经过 Swyx [00:09:10]：Discord Alex Atallah [00:09:10]：Discord 的吗？那是……是一笔可观的量，像是，几十亿美元的 NFT 交易量，也就是 GMV（商品交易总额），都在这个平台上跑，而且全都来自 OpenSea。就是那些……买、卖 Swyx [00:09:20]：那个 Alex Atallah [00:09:21]：服务器 Swyx [00:09:21]：DAO 里的 D 是 Discord（译注：DAO 在加密圈通常指 Decentralized Autonomous Organization，此处玩笑指当时许多"DAO"实际上只是 Discord 服务器）。

Alex Atallah [00:09:25]：是的。所以那就是我们从专业上有交集的时候。但那之后一年，OpenAI 把 GPT 的早期访问给了 Discord。抱歉，是 3。不，是 5。是的，5，也就是 3 的 RL 版本。那段时间我们做了一个接入 OpenAI 的 Discord 机器人，做内部部署，那时我意识到我们会需要，因为我是部署团队的一员。

Anjney Midha [00:09:50]：用例是什么？

Alex Atallah [00:09:51]：有两个用例。最近有人给我发了一篇我写的、发布于 2023 年的文章，叫《Discord is Your Place for AI with Friends》。有两个用例。一个是 Clyde，那是 Discord 里的一个……派对伙伴，能帮你搭建 Discord 服务器、聊上手的事，让你和朋友们更多地聚在一起。另一个是内容审核（content moderation）。我们在内容审核上的一个发现是，它会拒绝做审核。它会直接拒绝我们的提示，因为训练方式，我们当时正处于训练时代的早期阶段，它会……我们的提示会触发它的安全护栏（guardrails）。我们告诉 OpenAI："兄弟们，我们需要访问权重，因为我们要做规模化的内容审核，我们有 2.5 亿月活用户，我们需要模型能更可靠地按我们的要求去做。"他们说："抱歉，兄弟们，这不是我们的玩法。我们是一家闭源公司。"那就是我第一次意识到我们需要开源模型，企业也需要对模型能力有更多控制权，最终还需要某种控制平面（control plane）或管理系统来调度这些开源模型。但是当时没有好的，直到大概 Alex Atallah [00:11:10]：六个月后 Llama 发布。Llama 发布又过了六个月，我主导了对 Mistral 的 A 轮投资，Mistral 是 Guillaume 和 Llama 团队出来创办的。那，大概就是那个时间，我记得听说 Alex 启动了 OpenRouter，心里想"这两个世界会撞到一起的，我不知道什么时候联手有意义。"但 Alex 起步得非常早，并且看清楚了，我认为他完全正确地判断出，这个生态会从 Llama 开始，然后会需要一个简单的层来管理，尤其是对……我是从企业视角在接近这件事，因为我曾经就是那个，作为 Discord 的平台副总裁（VP），我的职责是确保当我们把模型部署给 2.5 亿用户时，它们按我们的要求工作。那非常难，因为如果你外包给实验室，他们控制着护栏，而他们的护栏是他们自己的安全策略，禁止模型对你的提示做出响应。那是相当灾难性的。

Swyx [00:12:05]：是的。但审核是他们想要支持的事情。而且显然，超出那一点他们会，OpenAI 会和你合作，给你一个审核端点（moderation endpoint），那个端点他们免费提供。

Alex Atallah [00:12:16]：这是一个有趣的用例，事实是，他们的确给了我们一个审核端点。但是，大家知道，每个 Discord 服务器本身就像一次小型部署。所以用例不是让人类审核员去解读社区规范，而是让你把那些，往往，每个 subreddit、Discord 服务器，公开的那些都有用户自己创建的规则。

Swyx [00:12:41]：哦，是的。我们运营 LinkedIn 的 Discord。Alex Atallah [00:12:43]：然后以前由人工去读这些规范，每天手动执行，观察每个社区里的每条消息。这些社区有上百万用户。所以我们在全球有一个 5000 多人的团队，外包承包商，组成了 Discord 内容审核团队。他们做着非常辛苦的工作。所以想法是反过来，如果能把那个服务器的规范交给 LLM，那么 LLM 就会为那个服务器做定制化的审核。这几乎就像是，为那个服务器做的上下文审核。很多服务器的规范就违反了 OpenAI 的规则。所以，它像是我们自己定制的评测（eval）。每个服务器都有自己的定制评测。但是 Discord，那时候，OpenAI 的评测，我们大家都很 Alex Atallah [00:13:28]：在怎么部署这些 LLM 上思考得非常粗浅，以至于训练提示常常很粗糙。它会说，"哦，任何关于哈利波特的内容，任何包含商标内容的东西，不要，拒绝。"而如果是哈利波特粉丝社区，这可是真实发生的案例，做了内容审核，LLM 就会直接拒绝。

Swyx [00:13:48]：是的。

Alex Atallah [00:13:49]：那远远不够精确。

Anjney Midha [00:13:52]：我们还听说过另一个例子，比如有人在写侦探故事，有一章充满暴力，可能有人 Alex Atallah [00:14:01]：对 Anjney Midha [00:14:01]：杀死了某人，LLM 就会直接拒绝帮助处理故事的那一段。

Alex Atallah [00:14:07]：是的。

Anjney Midha [00:14:07]：然后，我们就想，好吧，这不是 LLM 结构性必然的问题。一定有……