快速扩大在线存储范围,为10多亿ChatGPT用户提供服务
原题:OpenAI分享Habitat工程实践:为超大规模AI产品重做存储层
内容导读
OpenAI介绍Habitat如何从Python客户端库演进为分布式存储服务,为每周超过10亿用户、每秒超过7000万请求的产品提供在线存储能力。

全文阅读
来源:openai.com即会翻译
2026年9月11日 (中文(简体) ).
工程学快速扩大在线存储范围,为10多亿ChatGPT用户提供服务
我们是如何调整我们的应用存储平台,即Python的Hiberty,以管理前所未有的增长. By Jon Lee, Chaomin Yu, 以及Ben Ries,技术工作人员成员.
每个OpenAI产品都取决于快速,可靠的数据访问,无论是有人登录,检查他们的Codex设置,还是开始在ChatGPT中进行新的对话.每项行动都可能需要进行许多单独的数据检查,然后产品才能作出反应。如果这些要求很慢,产品就会觉得很慢.如果这些请求失败,产品将完全停止工作。
栖息地是我们建造的在线存储平台,以便OpenAI产品能够快速可靠地获取所需的信息.生境现在每秒处理7 000多万项请求,支持几乎在40个地理区域内每周有10多亿人使用的产品。Hibit最初在"DevDay 2023"推出支持GPTs,起先是一个简单的Python客户端-侧式库,连接到一个单一的数据库.如今,它是一个复杂的分布式系统,服务于500多个多字节的数据.
- 请求
- 回应
- 变化(CDC)
客户
在线存储平台
储存资源
- 聊天游戏
- API 互联网档案馆的存檔,存档日期2013-12-02.
- 代码
- 内部事务
- 还有更多
生境
- 缓存缓存
- ACL 政策认证
- 安置和数据 居住
- 加密数据安全
- 多重租赁
- 速率限制请求形状
- * 数据居住情况
- Azure Cosmos DBOnline 存储器
- Nanobase 在线存储
- Valkey 缓存
- Blob 存储资源
- 数据砖
- 摇滚
- 卡夫卡语Name
- 还有更多
在这种规模上建设和运营基础设施并非易事,但也并非特别有挑战性。我们不得不以前所未有的速度, 支持惊人的用户增长和产品需求, 同时建立一个成熟的平台。系统工程师往往会为10x尺度而建,希望它能维持几年,同时为接下来的10x做准备.就我们来说,我们在过去的三年里,已经年长了十多.因此,生境的建设和运作一直是一系列的战术决定和顺序:在最低水平上理解每个组成部分,以便从我们现有的堆栈中挤出尽可能多的果汁,同时抵御储存并计算能力紧缩,以便为基础投资争取时间。
- 70M+每秒请求数
- 每周1B+人员
- 500 PB+数据
随着OpenAI的成长,生境必须随之而发展:首先,生境变得足够可靠,可以满足任务关键产品流量的需要,然后为全球用户迅速提供,最后,生境还要进行大规模精细操作。这篇文章是两集的第一篇,以及我们如何将一个用不同寻常的语种写成的事务拉长到一个可靠的存储平台层。
以及我们如何与Azure Cosmos DB合作, 可靠地处理前所未有的需求。
什么是栖息地?
生境的出发点很简单:产品工程师不应该考虑数据库管理。Hibit最初在DevDay 2023上推出支持GPTs,作为一个小Python库,与ChatGPT的主要服务器交互.它支持了一套在引擎盖下映射到数据库应用程序"Azure Cosmos DB"的小型操作.
图书馆的工作是给产品团队一个简单的储存和检索数据的方法,而不需要掌握基本细节。人居中心负责开展必要的工作:查明涉及何种数据,数据应来自(或来自)何处,是否允许请求,等等。
产品工程师不需要关心计划检索、路由、授权、加密、序列化、请求塑造和连接集。他们甚至不需要考虑数据来源:Azure Cosmos DB、缓存或其他类型的存储。
- 请求
- 回应
客户端
开放AI
Azure Cosmos 数据库
- 生境服务流程 1
- 生境服务过程2
- 生境服务过程 3
- 生境-宇宙-db-us0
- 生境-宇宙-db-us1
- 生境-宇宙-db-eu0
这座Python图书馆运作良好,尽管没有协调中央推动放弃使用自服Postgres和Azure Cosmos DB,但Hibert在OpenAI的产品工程师中迅速被采纳。
随着产品需求的演变,产品开发者甚至很容易在共享库支持中加入客户端缓存,压缩,或加密等功能.
建立一项服务,更好地支持多种复杂产品
到2025年年中,生境作为客户方面的实施已达到极限。随着生境层变得更加复杂,OpenAI的服务数量也有所增加,落后的兼容协议的改变变得不可行。
有一次,我们想降低任何单一区域最关键数据集的爆炸半径,将这些数据迁移到一套区域分布的Azure宇宙数据库账户。做出这一改变需要将额外的路由逻辑引入客户端,在功能旗后被禁用,确保向所有客户端推出,然后启用功能旗.
协调数十个服务部门的部署,并与每个小组合作,以推广,花费了好几天时间。在允许这样做之前,我们意识到,我们希望引入一些阴影,以确保令人难以忍受的逻辑是正确的。这又花了几天时间才推出。错误的修复,我们发现的东西是不正确的?又过几天了最终,我们准备让旗子,只让其中一支球队出于与之前的buggy客户无关的原因而退赛,导致我们如此努力地避免的出场.
客户图书馆的改变需要数十项服务之间的复杂协调,事实证明,这一过程越来越简洁、效率低下,而且容易发生业务故障。为了减少我们未来部署的这个行动扇子,我们决定让人居中心投入到自己的服务中去。
通过将存储逻辑解为一个独立的服务,我们建立了单一的控制点,用于部署,可观察性和平台增强.与其管理零散的更新,不如集中实施改进,为OpenAI的每个产品提供即时的好处.
集中式服务还给我们一个单一的阻塞点,以提供最强的数据安全和隐私原始.人居服务是我们能够集中执行出入控制政策、进行审计记录和限制对Azure Cosmos DB等基本储存资源的访问的地方。生境在保护用户数据和防止外部、内部和代理行为体未经授权获取数据方面发挥着关键作用。
大规模启动 Python 服务
即便Python增加了管理费作为服务,与本地库执行相比,使用Python进行高通量服务提高了网络耐用性并增加了大量的CPU和内存缩放成本.此外,我们认识到,Python的低效率在100x规模上是不能接受的,因此最终几乎可以肯定地改写.
然而,我们认为这是对技术债务的战略入侵。我们的首要目标不是成本或资源优化,而是消除产品开发者的障碍并实现平台稳定性。通过接受Python服务在短期内的性能取舍,我们得以优先处理更紧迫的挑战,建立核心API,并建设出强大的基础设施.
我们还做了一个经过精心计算的赌注,即我们自己编码模型的迅速进步,将会简化将来的技术路径.我们打赌,当需要从Python开始全面迁移时, Codex和GPT将使得这种迁移成为可能。这赌注最终被证明是正确的。
以Python服务方式管理生境将不尽人意,是符合业绩的,但是一种必要的选择。Python让我们迅速行动,当平均用户请求结果为数百个数据库呼叫时,最慢的数据库呼叫是用户感受到的.我们发现在Python服务运行过程中, 面临的主要挑战在于如何管理这些尾端晚点。
追踪Ayncio延迟
Asyncio帮助Python同时执行 I/O 约束的工作量,但无助于Python GIL周围的工作,并提供CPU并行性.除了I/O-重请求代理外,HiPC还处理许多CPU重责任和背景任务:通路,压缩,加密,验收,下游健康检查,请求影子,和套期.
由于我们服务中有这么多CPU繁重的工作量和背景任务,Ayncio排程延迟可以轻易地支配尾端请求的延迟.在调整启动初期服务前,我们看到,在请求中,P99和更高纬度的出现痕迹表明,虽然下游储存迅速作出反应,但请求经常被搁置,等待负责的Coroutine重新安排时间,以分析答复。
CPU 工作效率低
简短的 Python 步骤; I/O 等待重叠高级 CPU 工作
长平松步骤 准备好回应等待对于OpenAI的Python服务,我们发现,除了测量内存,CPU,网络,和磁盘使用的标准利用率和饱和度度度量之外,还有必要同时监测Ayncio环路及其繁忙程度,然后相应调谐.
通过定期安排背景任务和记录预期执行时间与实际执行时间之间的三角洲,我们能够实证地实时测量事件循环调度延迟.在利用率高、任务多而费用昂贵的情况下,即使每个进程同时提出请求的数目不多,也足以产生重大的时间安排紧张,最多达数百毫秒,有些情况下甚至数秒。
因此,我们采用使每个过程只满足少数同时提出的要求,而是大规模地减少Python工人过程的数量。
减少我们特性旗配置中的尾部后遗症
在初始服务启动时,我们通过直播服务CPU剖面分析发现了一个导致高Ayncio延迟(以及由此而来高尾迟缓)的根源:通过Statsig(一个管理地物旗的工具,可以用来运行A/B测试和更多)定期地JSON解析我们的地物旗配置.
默认情况下,Statsig被配置为每分每分每秒对刷新的配置进行投票,没有抖动,而配置包括了每个服务的每个生产规则.在其他地方,作出了一项建筑设计决定,每个吊舱运行多达8个Python过程来推高CPU的使用率并提供更低的延迟.组合起来,这意味着每分钟每个舱都会有一段时间,让所有工人都停止飞行中处理请求,而用他们的CPU周期来分析一个巨大的配置文件。
一旦CPU剖面分析帮助我们找到问题的根源, 便能直接解决: 部署一个较小的目标配置, 延长更新间隔,
平衡负载和管理连接池
为了保持低的asyncio延迟,在服务器各个流程中保持良好的请求负载平衡也是至关重要的;连接集合最终可能会在不调和的情况下与之相悖.
在客户端连接集时,一个满足许多同时提出的请求的单一客户端进程可能只建立少数服务器连接,从而将其全部负载发送到少数流程.在调整我们如何平衡负载之前,我们的服务在利用方面有很大差异,一些尾端流程满足5-10x的并行请求数作为平均数。
我们在一次偶然事件中发现了这一点,在那次事件中,尽管阻止了客户超载的部分服务,但一子程序却远远地在暴发的流量后退化了.事实上,我们注意到,这些进程经历了失控的退化,在重新启动这些进程之前,收到的请求越来越多。一旦一个舱位超载, 某些行为会把更多的流量 塞入超载舱位。这是一类失败,我们的一些队友熟悉以前的工作:可调味的失败(在新窗口打开)。
我们怀疑连接池是用来责备和测试这种怀疑的,将连接的再利用时间限制在最大限度,这确实限制了降解,证实了我们的调查方向。进一步调查发现,Python的aiohttp TPConnector默认为LIFO连接再利用:最近返回的连接被选入下一个请求.这通常是一种合理的默认: 重用最近的连接可以使所创建的额外连接处理突起的流量来闲置超时, 将管理费降低到维持额外的连接.在这种情况下,这给我们造成了令人愉快的失败.在请求突起时,请求减缓超载服务器晚些时返回连接池,因此更频繁地被后续请求所选择,逐渐将更多的流量集中在已经挣扎的吊舱上.补充连接池使用 FIFO再利用 打破了这个反馈回路 甚至还降低了我们稳定状态的要求差异。
最初的爆出会达到A,B,而过程较慢的C.
最初的爆出会达到A,B,而过程较慢的C.
今天,我们主要依靠Istio和特使在整个OpenAI基础设施中提供连接集成和更好的服务器载荷平衡战略,并完全避免这一问题。
避免下游资源被淹
调和低氧延迟和Python过程如此多的一个副作用是,它变得非常容易用大量的连接(被称作"地底群")来压倒下游的依赖性.
正常的日常部署——如果不是调音慢的话——会导致连接循环产生显著的CPU churn.或连接漏出可以通过饱和NAT网关来取出网络.这些对于其他服务来说也并非罕见的问题,但触发的门槛却被大大地降低,因为进程的数量级会增加,而客户通常并不指望仅根据纯吞吐量就能够稳定地处理与网络有关的资源。
我们还依靠特使最大限度地加强我们的连接。我们用它来提升 Python 的 HTTP/1 连接到 HTTP/2 , 利用多功能, 然后将这些连接集合, 并延长连接寿命 。特使还给我们提供了一个核心位置,以实施速率限制和断路器,在每一个独立的Python进程中,这些断路器的效果都较低.
为什么生境做更少
我们之所以可以扩大Python, 其中一个原因就是人居中心的受限API,人居公司不容许客户端构建任意的SQL查询,从而可能导致大表扫描或在许多表格上加入,而是暴露出一个简单的NoSQL API.缺乏强大的API是人居中心设计的明确的取舍。
我们的目标是优化简单、可预测、持续的工作要求。根据我们的经验,这些系统在相当大程度上更容易扩大规模,而且很难被错误或被滥用。要求不可预测的粉丝在业务上是危险的:它们使隔离、负载平衡和引入不成熟的悬崖变得复杂,对服务及其客户来说都很难扩展。
在迁移到生境和Azure Cosmos DB之前,OpenAI的大部分在线数据都存储在Postgres上.当时很容易审查所有查询和计划变化,以确保它们在运输到生产前行为良好,并以索引数据进行操作。随着团队和产品的增长,这很快变得无法管理,并经常成为导致停用的原因,热道上一个单一昂贵的新查询就将数据库取出.
这里的问题在于成本不平衡:写出SQL的查询是便宜而容易的,这些查询是昂贵而难以运行的.在人居中心,我们避免了这种情况,并提出了非常明显的客户方面的昂贵询问。没有任何无限制的查询可以使生境和复合体超负荷,而复杂的组合和图象需要产品团队做一些起重作业,这有助于全面优化设计,提高效率。
栖息地暴露出一个以客户端定义的对象和边缘类型为模式的NoSQL API,灵感来自TAOQQ(在新窗口打开).客户端预先定义对象和边缘,以及它们如何相互关联,但并不是每个类型的内容.由此产生的关系类似于一个图表,但生境本身并不支持在特定对象直接边缘的查询之外典型的图表倒转查询.
我们分割这个图表,这样每个对象及其相应的边缘都集中在存储级分区中,但我们没有做出协调一致的数据库级努力来将对象及其边缘所指向的远程对象聚合起来.结果是模型易于分解,用于水平可伸缩性,但图轨效率低下,因为对象之间任何特定的跳动都可能需要从存储在不同区域的两个完全不同的Azure Cosmos DB账户取取取.
对于有更复杂查询需求的客户,我们确实通过Rockset提供栖息地的离线二级视图。我们使用变化数据捕捉(CDC)来流出从在线存储到近实时孤立的 Rockset 实例的改变.每个客户团队负责为自己的Rockset实例进行规模化,以满足其复杂的查询需要.
这个Rockset的提供给我们的客户带来了额外的摩擦,但我们认为在这个特殊的时刻是合适的取舍:在为需要复杂查询的人提供逃生舱的同时,做简单的查询默认.这种设计将我们的在线存储与阅读重的分析和搜索工作量隔离开来.
从 Python 迁移到 Rust
将Python重写一年,使我们能够在超高速增长期间集中力量应对更紧迫和更具影响的挑战。随着平台的成熟和我们的增长继续加速,并且是OpenAI核心数第二大服务(也是特使足迹的第四大服务),终于该越过Python了。在巅峰时期,Python帮助我们满足了每秒超过2000万个请求.
在Q2 2026中,只有两位工程师,Codex,和GPT ⁇ 5.5,我们得以重写整个在Rust的服务.新的Rust服务正在处理95%的生产要求;我们将在未来几周内完全对Python进行贬值。我们的数据显示,Rust服务比Python版本的6x更高效的CPU和15x更高效的内存,平均和尾部晚报明显较低.我们计划在未来的博客中分享更多知识。
优化我们的数据库层 Azure Cosmos DB
Python——现在的Rust——服务只是栖息地的一个方面。以及生境如何服务于500多个微字节, 以及每秒超过7000万个请求。
如果你想在边疆规模的OLTP系统上工作,并且对这种工程感兴趣,请检查一下我们团队的这个开放角色. .
- 2026
- 聊天游戏
作者数
继续读

2026年8月25日,工程设计

Engineering Aug 3, 2026 (英语).

工程Jul 29, 2026号
即会整理稿
平台内容 · 非发布方原文OpenAI分享在线存储平台Habitat的演进过程。该平台最初是服务GPTs的Python客户端库,后来演进为独立服务,以统一处理路由、授权、加密、限流和数据驻留等问题。
为什么要从库变成服务
随着产品数量和请求量增长,客户端库的协议升级需要协调大量服务,容易形成发布和回滚的复杂依赖。独立服务提供了统一的部署、可观测性和安全控制点。
从Python到Rust
OpenAI称,团队后来使用Codex和GPT完成了Rust重写,目前Rust版本已处理大部分生产请求,并在CPU和内存效率上优于原Python服务。这个案例的重点不是语言替换本身,而是通过收敛接口、隔离复杂查询和集中治理来控制规模化系统的复杂度。
参考来源
OpenAI:Rapidly scaling online storage to serve over 1 billion ChatGPT users
原文及图片版权归原作者或相应权利人。文中观点是原作者的,与即会无关。