使用 OpenTelemetry 和 Amazon CloudWatch 在 Amazon Bedrock 上实现 Codex 的可观测性
Amazon Web Services
AWS 发布了一篇文章,介绍了如何通过将本地 Codex 客户端的 OpenTelemetry 指标经由本地收集器路由至 Amazon CloudWatch,从而在 Amazon Bedrock 上实现对 Codex 使用情况的可观测性。该解决方案利用 AWS IAM Identity Center 的组织属性丰富指标,并提供一个仪表盘来监控采用率、消耗量、可靠性和成本。
AWS机器学习博客发表了一篇文章,介绍了如何为使用Amazon Bedrock作为模型提供商的OpenAI Codex编码代理启用可观测性。开发人员在本地运行Codex,它会发出OpenTelemetry(OTel)指标。这些指标被发送到每台开发人员工作站上运行的收集器,收集器会用组织上下文(用户、团队、部门、成本中心)丰富这些指标,并使用AWS签名版本4将其转发到Amazon CloudWatch。该参考部署包含一个CloudWatch仪表板,显示滚动24小时内的活跃用户、对话轮次、API请求和令牌使用量总计,还提供按模型、用户、团队等分类的视图。该文章描述了架构、实施步骤(启用CloudWatch OTel功能、部署仪表板、生成每个开发人员的配置、配置Codex以及验证流程)以及治理考量,例如指标基数控制和分阶段推出。文章区分了使用遥测数据与计费级成本数据,并推荐使用AWS成本和使用报告(CUR)2.0进行财务跟踪。
来源: AWS ML blog —
原文
