Bangun Visibilitas untuk Codex di Amazon Bedrock dengan OpenTelemetry dan Amazon CloudWatch
Amazon Web Services
AWS menerbitkan sebuah artikel yang menjelaskan cara mendapatkan visibilitas ke dalam penggunaan Codex di Amazon Bedrock dengan merutekan metrik OpenTelemetry dari klien Codex lokal melalui kolektor lokal ke Amazon CloudWatch. Solusi ini memperkaya metrik dengan atribut organisasi dari AWS IAM Identity Center dan menyediakan dasbor untuk memantau adopsi, konsumsi, keandalan, dan biaya.
Blog Machine Learning AWS menerbitkan postingan tentang cara mengaktifkan observabilitas untuk agen coding Codex OpenAI yang menggunakan Amazon Bedrock sebagai penyedia model. Pengembang menjalankan Codex secara lokal, dan agen ini mengeluarkan metrik OpenTelemetry (OTel). Metrik ini dikirim ke kolektor yang berjalan di setiap workstation pengembang, yang memperkaya metrik tersebut dengan konteks organisasi (pengguna, tim, departemen, pusat biaya) dan meneruskannya ke Amazon CloudWatch menggunakan AWS Signature Version 4. Implementasi referensi ini mencakup dasbor CloudWatch dengan total 24 jam bergulir untuk pengguna aktif, jumlah percakapan, permintaan API, dan penggunaan token, serta tampilan berdasarkan model, pengguna, tim, dan lainnya. Postingan ini menjelaskan arsitektur, langkah-langkah implementasi (mengaktifkan kemampuan CloudWatch OTel, menyebarkan dasbor, menghasilkan konfigurasi per pengembang, mengonfigurasi Codex, dan memvalidasi alur), serta pertimbangan tata kelola seperti kontrol kardinalitas metrik dan peluncuran bertahap. Ini membedakan telemetri penggunaan dari data biaya tingkat penagihan, merekomendasikan AWS Cost and Usage Reports (CUR) 2.0 untuk pelacakan keuangan.
Sumber: AWS ML blog —
asli