更好的快速缓存 GPT-6
原题:Better prompt caching for GPT-6
内容导读
学习GPT-6如何通过更高的缓存命中率,新的诊断,明确的断点,以及降低延迟和成本的控制来改进快缓存.

全文阅读
来源:OpenAI即会翻译
2026年9月22日 (中文(简体) ).
产品更好的快速缓存 GPT% 6
更高的缓存命中率和新的工具来帮助持久性活性剂运行更快,成本更低.
GPT-6使持久性代理人能够为复杂的任务工作数小时,从重构代码库到制作经过充分研究的文件和演示。这些代理商背后的应用制作了一系列API请求,它们相互借鉴,常常从更早的转折中将相同的指令,工具定义和上下文相接而来.OpenAI缓存共享上下文,用于跨请求再利用计算,减少响应时间并给予开发者在缓存输入符上高达90%的折扣.
与GPT"6"家族,我们启动了一个改进后即时缓存系统,默认提供更高的缓存命中率.我们现在给30分钟窗口内重新使用的合格共享前缀提供缓存折扣.我们亦推出新工具, 帮助开发人员监控缓存性能, 诊断误差,
“OpenAI的快速缓存在帮助GitHub Copilot大规模提供快速而高效的经验方面发挥着关键作用。过去几个月来, 与我们先前的基线相比, 我们把数十亿个OpenAI模型申请中 需要重新处理的 即时信使 份额 减少了 50% 以上 。结果是更有效率的推论堆栈,以及更快的开发者第一次响应的时间".
监视缓存并诊断缓存缺失
新的快速缓存 Dashboard QQ( 在新窗口打开) 显示您应用程序的输入有多少来自缓存 。跟踪命中率随时间推移而来,并使用输入构成图来比较被缓存和未被标记的符号.这些视图帮助您在缓存点击中点滴, 并评价您的应用程序影响缓存性能的改变 。

当看到出乎意料的缓存出错时,请使用快速缓存诊断工具QQ(在新窗口打开)来了解发生的情况.将一项请求与最近的答复进行比较,以确定对模式、工具、设置或输入的改变,从而防止再利用。受影响的指使的估计数量帮助您评估了影响大小,并决定您如何优化您的集成,以最大化缓存命中率.
{"速成_cache_诊断": {"型":"快出","理":"工具已变","相会":"可再用":5629 "快出":"出"去"取"取"入"取"出"取"去"出"入"出"出""出"等.优化您的应用程序缓存
选择要缓存什么 。明确的缓存断点允许您选择哪些提示前缀可以再使用 。刷新快缓存指南QQ( 在新窗口打开) 解释如何使用它们, 缓存前缀是否仍然符合条件, 工具和输入的更改如何影响再利用 。
在不突破缓存的情况下调整推理工作 。在 GPT% 6 模型上, 您可以在不中断缓存的情况下, 在响应之间改变推理努力%%%% (在新窗口打开) 。通过附加一个配置_更新日期,同时让请求级推理工作保持不变,提高难度任务的努力或降低任务常规后续任务.这使得您可以调整任务需要多少推理, 同时保留可重复使用的上下文 。
保留缓存作为工具和指令的更改.由于您的代理工具使用需要更改, 保留工具定义、 方案, 并按顺序稳定, 这样更早的上下文仍可重复使用 。使用允许的_tools只让相关工具可以调用,或者在不需要工具时将工具_选择设置为无,而不是去除定义.使用新的开发者消息在上下文结尾处附加新的指令来覆盖旧的指令 。参见我们关于管理工具更改的指引 {} (在新窗口打开) 。
预置缓存以降低缓存.PreHilling QQ (在新窗口打开) 提前准备已知的上下文, 这样模型可以在请求到达时更早开始响应 。例如,一个应用程序可以在用户问出他们的第一个问题之前,在启动期间预发共享指令,工具定义,或参考材料.这样可以将处理从用户的等待时间中移出 。
这些可选控制基于引擎的默认性能, 帮助您根据工作量调整缓存 。
“OpenAI的快速缓存诊断和仪表板帮助我们提高了几个百分点的缓存命中率,将成本降低了20%。我们现在得到警报 当缓冲破意外 并使用Codex 剂 诊断根源。明确的断点也让我们缓存稳定的上下文,同时在提示结束时经常改变内容。这让叉开对话来完成背景任务在经济上可行,
“对于马努斯这样的长期代理人来说,可靠的隐蔽对经济学至关重要。与OpenAI的工程团队合作,我们完善了缓存断点位置,结合了显式和自动缓存,并利用了真实的请求来确定出乎意料的缓存漏取.在不到一周的时间里,我们的OpenAI模型缓存命中率从大约85%持续地超过90%,进一步降低了生产中的推论成本.这一进展通过一系列有针对性的改进而得到,两个小组都对结果进行了核实。”
“我们与OpenAI合作,将会议代理人转移到明确的缓存断点。不到一周,我们评价的缓存冲击率从83%上升到91%。这意味着缓存书写数量减少,而且工作量相同,推算费用也减少;缓存书写的数额大约减少了三分之二,推算成本减少了36%。”
- 草莓浏览器
- 玛纳斯
- 词匠( Wordsmith)
开始吧
- 在快速缓存 Dashboard QQ( 在新窗口打开) 中监视缓存命中率 。
- 用诊断工具QQ( 在新窗口打开) 来调查出乎意料的缺失 。
- 遵循快速缓存指南QQ( 在新窗口打开) 来改进您的设置, 或使用 CodexQQQ( 在一个新窗口打开的) 来审查您的代码, 应用改进, 并测量结果 。
- API 互联网档案馆的存檔,存档日期2013-12-02.
- 2026
作者
继续读

产品Oct 5, 2026

产品Oct 2, 2026

公司Sep 29, 2026
原文及图片版权归原作者或相应权利人。文中观点是原作者的,与即会无关。