GPT-5.6 正在自我优化,一种新的自举方法已经出现
OpenAI 的技术报告显示,GPT-5.6 已应用于生产环境中,用于优化自身的运行时环境,包括分析流量、调整请求路由、重写底层内核以及优化投机性解码。这些改进使端到端服务成本降低了 20%,令牌生成效率提高了超过 15%。与此同时,人类监督仍然存在,优化目标和部署决策由人员控制。
OpenAI
QbitAI 量子位30.07 · 12:04
OpenAI 的技术报告显示,GPT-5.6 已应用于生产环境中,用于优化自身的运行时环境,包括分析流量、调整请求路由、重写底层内核以及优化投机性解码。这些改进使端到端服务成本降低了 20%,令牌生成效率提高了超过 15%。与此同时,人类监督仍然存在,优化目标和部署决策由人员控制。
OpenAI
InfiniteG(无限光年)推出了PDD,一种三层跨集群异构推理架构,将首Token延迟降低51.5%,每个Token成本降低37.5%。通过插入本地RelayDecode(RLD)实例来掩盖广域网KV缓存传输延迟,PDD实现了对分散同构集群的高效利用,用于大语言模型推理。
Infinigence