Sam Altman：OpenAI 的下一步规划

OpenAI 的目标是尽可能降低「智能的成本」。

撰文：Raza Habib

编译：SinoDAO

上周，我有幸与 Sam Altman 和其他 20 名开发者坐在一起，讨论了 OpenAI 的 API 和他们的产品计划。Sam 非常开放地进行了讨论。讨论涉及了实际开发者问题以及与 OpenAI 使命和人工智能对社会影响相关的更大范畴的问题。以下是要点摘要：

1 目前 OpenAI 严重受限于 GPU

讨论中反复提到的一个共同主题是，目前 OpenAI 在 GPU 方面的限制非常严重，这延迟了他们的许多短期计划。最大的客户抱怨是 API 的可靠性和速度。Sam 承认了他们的关注，并解释说问题的大部分原因是由于 GPU 短缺。

目前无法向更多人推出更长的 32k 上下文。OpenAI 尚未克服注意力机制的 O(n^2) 扩展问题，因此虽然似乎他们很可能很快（今年）推出 100k 到 1M 的上下文窗口，但更大的窗口将需要研究突破。

微调 API 当前也受到 GPU 可用性的瓶颈限制。他们尚未使用像 Adapters 或 LoRa 这样高效的微调方法，因此微调运算非常耗费计算资源。未来将提供更好的微调支持。他们甚至可能提供社区贡献模型的市场。

专用容量提供受到 GPU 可用性的限制。OpenAI 还提供专用容量，为客户提供模型的私有副本。要使用此服务，客户必须愿意预先承诺 10 万美元的支出。

2 OpenAI 的近期路线图

Sam 分享了他认为是 OpenAI API 的临时近期路线图。

2023 年：

更便宜、更快的 GPT-4——这是他们的首要任务。总的来说，OpenAI 的目标是尽可能降低「智能的成本」，因此他们将努力继续降低 API 的成本。

更长的上下文窗口——上下文窗口高达 100 万个标记在不久的将来是可行的。

微调 API——微调 API 将扩展到最新的模型，但具体形式将根据开发者表达的真正需求来确定。

有状态的 API——当您今天调用聊天 API 时，您必须反复传递相同的对话历史并支付相同的

标记费用。将来将推出一个记住对话历史的 API 版本。

2024 年：

多模态——这是 GPT-4 发布的一部分，但在更多 GPU 上线之后才能推广给所有人使用。

3 插件「还没有 PMF」，可能暂时不会出现在 API 中

很多开发者都对通过 API 获得 ChatGPT 插件感兴趣，但 Sam 表示他认为暂时不会发布。插件的使用除了浏览之外，表明它们还没有足够的准备。他提出很多人认为他们想要将应用程序置于 ChatGPT 内部，但实际上他们真正想要的是将 ChatGPT 嵌入到自己的应用程序中。

4 OpenAI 将避免与他们的客户竞争，除了 ChatGPT

相当多的开发者表示在 OpenAI 可能发布与他们竞争的产品时他们感到紧张。Sam 表示，OpenAI 不会在 ChatGPT 之外发布更多的产品。他说，伟大的平台公司都有一个杀手级应用程序的历史，而 ChatGPT 将使他们通过成为自己产品的客户来改进 API。ChatGPT 的愿景是成为一个超智能的工作助手，但还有很多其他 GPT 用例是 OpenAI 不会触及的。

5 需要监管，但开源也同样重要

虽然 Sam 呼吁对未来的模型进行监管，但他认为现有模型并不危险，并认为对它们进行监管或禁止是一个重大错误。他再次强调了开源的重要性，并表示 OpenAI 正在考虑开源 GPT-3。他们尚未开源的部分原因是他对有多少个人和公司能够托管和提供大型 LLM 表示怀疑。

6 缩放定律仍然适用

最近有很多文章声称「巨大 AI 模型的时代已经过去了」。这并不准确。

OpenAI 的内部数据表明，模型性能的缩放定律仍然适用，使模型变得更大将继续带来更好的性能。缩放速率无法保持不变，因为 OpenAI 在几年内已将模型放大了数百万倍，而在未来这样做将不可持续。这并不意味着 OpenAI 不会继续努力使模型更大，只是意味着它们可能每年增加一倍或两倍的大小，而不是成倍增加。

缩放定律仍然适用的事实对于 AGI 的发展时间表具有重要影响。缩放假设是这样一种观点，即我们可能已经具备了构建 AGI 所需的大部分基础，并且剩下的工作大多是将现有方法扩展到更大的模型和更大的数据集。如果缩放时代已经过去，那么我们可能预计 AGI 离我们更远。缩放定律仍然适用的事实强烈暗示了更短的时间表。