Xây dựng khả năng quan sát cho Codex trên Amazon Bedrock với OpenTelemetry và Amazon CloudWatch

Blog Machine Learning của AWS đã đăng một bài viết về việc bật khả năng quan sát cho các tác nhân mã hóa Codex của OpenAI sử dụng Amazon Bedrock làm nhà cung cấp mô hình. Các nhà phát triển chạy Codex cục bộ và nó phát ra các số liệu OpenTelemetry (OTel). Các số liệu này được gửi đến một bộ thu thập chạy trên mỗi máy trạm của nhà phát triển, bộ thu thập này làm phong phú chúng với ngữ cảnh tổ chức (người dùng, nhóm, phòng ban, trung tâm chi phí) và chuyển tiếp chúng đến Amazon CloudWatch bằng AWS Signature Version 4. Việc triển khai tham chiếu bao gồm một bảng điều khiển CloudWatch với tổng số 24 giờ trượt cho người dùng hoạt động, lượt chuyển đổi hội thoại, yêu cầu API và mức sử dụng mã thông báo, cùng với các chế độ xem theo mô hình, người dùng, nhóm, v.v. Bài viết mô tả kiến trúc, các bước triển khai (bật khả năng OTel của CloudWatch, triển khai bảng điều khiển, tạo cấu hình cho từng nhà phát triển, cấu hình Codex và xác thực luồng) cũng như các cân nhắc về quản trị như kiểm soát cardinality số liệu và triển khai theo giai đoạn. Nó phân biệt số liệu đo lường sử dụng với dữ liệu chi phí cấp hóa đơn, khuyến nghị AWS Cost and Usage Reports (CUR) 2.0 để theo dõi tài chính.