OpenAI Jalapeño 芯片首轮测试结果:基准、能效与部署
原题:OpenAI公布Jalapeño芯片首轮实测:自研推理基础设施迈出一步
内容导读
OpenAI 首款自研推理芯片 Jalapeño 与 NVIDIA 系统比较,报告称其峰值吞吐功耗比和端到端延迟更有优势。作者提醒,测试由 OpenAI 执行、采用额定功率归一化,尚不能等同于真实电费或市场竞争结果。

全文阅读
来源:deepnoodle.ai即会翻译
Jalapeño 是什么
Jalapeño 是 OpenAI 首款定制芯片,与 Broadcom 密切合作开发,并于上年 10 月首次公布。该芯片只用于推理,不负责训练模型。OpenAI 于 2026 年 8 月 25 日在 Hot Chips 会议上公布首批基准测试结果,并说明了测试过程。
该设计基于一个观察:语言模型服务过程分为两个瓶颈不同的阶段。Prefill 阶段处理提示词,主要受计算能力限制;Decode 阶段逐个生成 token,主要受内存带宽限制。针对一个阶段优化的系统,可能会在另一个阶段等待数据而失去优势。Jalapeño 把模型状态(包括 KV cache)保存在本地,并使用足以让整条请求留在同一互联系统中的网络域,避免两个阶段之间搬运状态。
测试测量了什么
OpenAI 使用 SemiAnalysis 发布的 InferenceX 基准测试,该测试衡量请求推理服务的完整流程,并测试 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T 三个开放权重模型。OpenAI 报告称,在三种模型上,Jalapeño 峰值吞吐量下每瓦工作量高出 1.5 至 1.9 倍,端到端延迟低 1.7 至 3.6 倍;在高度交互式工作负载中,性能差距扩大到 2.1 至 4.1 倍。
附录列出的对比系统是:运行 GPT-OSS 时使用 NVIDIA GB200,运行两个更大型模型时使用 GB300。结果按照加速器公布的封装功率额定值归一化:Jalapeño 为 700 瓦,NVIDIA 方案为 1,200 和 1,400 瓦。OpenAI 指出,在受测工作负载中,Jalapeño 的实测持续功耗不超过 550 瓦。
Deepnoodle 作者解读:使用额定功率而非实测功率进行归一化是合理做法,但影响并不直观。它低估了实际功耗低于额定值的 Jalapeño,同时也假设对照芯片始终使用全部铭牌功率,无论其真实功耗如何。因此,每瓦比率并非实测能耗,而是每单位预留功率对应的吞吐量。数据中心规划会参考后者,但电费账单不会按这个数字计算。
如何理解非常大的性能倍数
附录给出的倍数远大于标题中的数据:在 GPT-OSS 上每千瓦吞吐量约高 53.7 倍,在 DeepSeek R1 上约高 104.3 倍,在 Kimi K2.5 上约高 56.1 倍。每项指标都标注为“在先前 TBT 下吞吐量更多”,即在对照系统所能达到的最快单用户 token 速率下测量的吞吐量。
Deepnoodle 作者解读:这些数字描述的是对照系统运行区间的边缘,而非日常状态。当 GB300 勉强达到每位用户每秒 169 token 时,几乎没有剩余吞吐能力;在相同延迟下,Jalapeño 仍有余量。对每一步都有延迟成本的交互式代理来说,这确实有价值,但不能理解为芯片快了 100 倍。更稳妥的标题数字仍是每瓦工作量高 1.5 至 1.9 倍、端到端延迟低 1.7 至 3.6 倍。
Deepnoodle 作者解读:另一个限制是测试由谁执行。InferenceX 是公开测试工具,比私有基准更好;但 OpenAI 同时配置并运行双方系统,而且测试的是自家芯片。OpenAI 还称,在内部使用自家前沿模型测试时优势进一步扩大,但外部人士无法核实这一主张。
芯片围绕模型设计,也由模型参与设计
OpenAI 表示,自家模型帮助项目在 9 个月内从初步设计推进到流片,承担了探索不同实现方式、缩短验证循环和优化算术电路等工作。芯片也被刻意设计得易于编程:开发者通过本地张量、显式通信和可预测同步来描述工作,使模型能够把任务映射到相对清晰的结构上。
一个具体结果是模型移植。团队使用 Codex 和 GPT-Astra,在两个月内让三个从未列入 Jalapeño 生产计划的开放权重模型达到较高性能。对于选定的 GPT-OSS 注意力和混合专家模块,模型生成的实现比已有专家编写的实现快 1.5 至 1.8 倍。OpenAI 明确指出,这只适用于部分模块,不代表完整模型。
Deepnoodle 作者解读:长期以来,自定义加速器难以在芯片设计者自有工作负载之外使用,主要因为内核开发成本很高:每个新模型系列都需要稀缺的专业人员重新编写内核。如果这项成本下降,开发者也就不必仅仅因为软件生态成熟而选择通用硬件。这比任何基准倍数都更重要,但目前证据只有三个移植模型和一些挑选出来的代码模块。
它会带来什么变化,何时部署
OpenAI 计划在 2026 年底开始把 Jalapeño 部署到自己的基础设施中。公司硬件负责人形容首次部署“规模非常小”,较大规模部署预计在 2027 年进行。第二代已深入开发,第三代也已开始规划。OpenAI 同时表示,会继续大量部署 NVIDIA 加速器用于训练和推理。
Deepnoodle 作者解读:这项结果受到两点限制。Jalapeño 不对外销售,因此不会直接取代其他客户采购的芯片;它减少的是 OpenAI 自己需要租赁或购买的芯片数量。其次,等到 Jalapeño 批量部署时,对照对象就不再是 GB200 或 GB300。芯片在上市量产前一年跑赢当前出货产品,说明的是设计能力,而不是市场份额。
来源
OpenAI:《Jalapeño 首批结果显示推理速度和能效领先行业》(2026 年 8 月 25 日);CNBC:《OpenAI Jalapeño AI 芯片可能给英伟达利润带来新压力,自研芯片逐渐普及》(2026 年 8 月 26 日);TechCrunch:《OpenAI Jalapeño 芯片专为大规模快速推理打造,基准结果出炉》(2026 年 8 月 25 日)。
即会整理稿
平台内容 · 非发布方原文8月25日的Hot Chips大会上,OpenAI第一次把Jalapeño的实测数字摆上了台面——这颗与博通联合开发的推理芯片,宣称在每瓦AI工作量上压过了英伟达的Blackwell系统[1][2]。
实测了什么
OpenAI此次公布的是首批基准测试结果,配套给出了测试方法的书面说明[1]。测试采用SemiAnalysis的公开基准InferenceX,覆盖GPT-OSS 120B、DeepSeek R1 670B和Kimi K2.5 1T三个开放权重模型[1][3]。
结果方面,OpenAI报告称Jalapeño在三个模型上均实现1.5倍至1.9倍的每瓦AI工作量提升,端到端延迟降低1.7倍至3.6倍[2][3]。针对高交互性负载,OpenAI测得性能提升达2.1倍至4.1倍[3]。
需要说明的是,以上数字均来自OpenAI单方面发布的测试,目前未见第三方独立复现。

*图1:OpenAI Logo(openAI / CC BY-SA 4.0,Wikimedia Commons)*
为什么这样设计
Jalapeño的设计出发点是对LLM推理两阶段的拆解:处理提示词的prefill阶段是计算密集型,逐token输出的decode阶段则受内存带宽制约[1][3]。传统系统若只针对其中一个阶段调优,在另一个阶段就可能因等待数据而丧失优势。
OpenAI的应对方式是把模型状态(包括KV cache)本地化放置,并让网络域大到足以把整个请求容纳在同一个互联系统内,从而避免阶段切换时搬运状态的开销[1]。据资料描述,OpenAI是围绕加速器、内存子系统、网络、服务软件和机架级系统一起做协同设计的[3]。

*图2:Ilya Sutskever and Sam Altman in TAU(Eladkarmel / CC BY-SA 4.0,Wikimedia Commons)*
边界在哪里
这轮更新聚焦吞吐每瓦与token延迟,并非新芯片发布。Jalapeño只做推理,不训练模型[1],计划于2026年底前部署进OpenAI自有基础设施,同时继续采购英伟达等供应商的加速器[3]。
OpenAI并未宣称Jalapeño全面超越英伟达,也未表示要放弃英伟达硬件[2]。有报道将其与谷歌、微软、亚马逊并列,称为第四家拿出自研芯片硬指标的AI玩家,并指出这四家都没有表示要离开英伟达[2]。
另需注意,检索资料中有一条标题称该芯片"比英伟达GPU便宜50%"[5],但该说法未在其他资料中出现,**该信息未经资料证实**,不宜作为事实引用。

*图3:Anti ai data center 4 censored(Catboy69 / CC BY 4.0,Wikimedia Commons)*
点评
从"宣布合作"到"公布实测",Jalapeño补齐了自研叙事里最缺的一环——可验证的数字。但基准由自己跑、方法由自己写,这套结果的成色仍待外部复现与真实部署检验。年底进自家机房,才是真正的压力测试。
参考来源
[1] OpenAI publishes first benchmarks for its Jalapeño inference ...
https://deepnoodle.ai/atlas/timeline/2026-08-25-openai-jalapeno-first-results
[2] OpenAI Jalapeño Chip Beats Nvidia 1.9x on Power [2026]
https://tech-insider.org/openai-jalapeno-chip-beats-nvidia-benchmark-2026/
[3] OpenAI Jalapeño Chip Targets Low-Latency, Power-Efficient ...
https://convergedigest.com/openai-jalapeno-inference-chip-performance/
[4] OpenAI and Broadcom unveil LLM-optimized inference chip
https://openai.com/index/openai-broadcom-jalapeno-inference-chip/
[5] OpenAI Jalapeño Chip: First Custom AI Inference Processor ...
https://aitoolsrecap.com/Blog/openai-jalapeno-chip-broadcom-inference-2026
[6] OpenAI unveils its first custom chip, built by Broadcom
https://techcrunch.com/2026/06/24/openai-unveils-its-first-custom-chip-built-by-broadcom/
原文及图片版权归原作者或相应权利人。文中观点是原作者的,与即会无关。