Obtenir une visibilité sur Codex sur Amazon Bedrock avec OpenTelemetry et Amazon CloudWatch
Amazon Web Services
AWS a publié un article expliquant comment obtenir une visibilité sur l'utilisation de Codex sur Amazon Bedrock en acheminant les métriques OpenTelemetry des clients Codex locaux via un collecteur local vers Amazon CloudWatch. La solution enrichit les métriques avec des attributs organisationnels issus d'AWS IAM Identity Center et fournit un tableau de bord pour surveiller l'adoption, la consommation, la fiabilité et le coût.
Le blog AWS Machine Learning a publié un article sur la mise en place d'une observabilité pour les agents de codage OpenAI Codex qui utilisent Amazon Bedrock comme fournisseur de modèles. Les développeurs exécutent Codex localement, et celui-ci émet des métriques OpenTelemetry (OTel). Ces métriques sont envoyées à un collecteur exécuté sur chaque poste de travail de développeur, qui les enrichit avec le contexte organisationnel (utilisateur, équipe, département, centre de coûts) et les transmet à Amazon CloudWatch en utilisant AWS Signature Version 4. Le déploiement de référence comprend un tableau de bord CloudWatch avec des totaux glissants sur 24 heures pour les utilisateurs actifs, les tours de conversation, les requêtes API et l'utilisation des jetons, ainsi que des vues par modèle, utilisateur, équipe, etc. L'article décrit l'architecture, les étapes de mise en œuvre (activation des capacités OTel de CloudWatch, déploiement du tableau de bord, génération de la configuration par développeur, configuration de Codex et validation du flux), ainsi que des considérations de gouvernance telles que le contrôle de la cardinalité des métriques et un déploiement progressif. Il distingue la télémétrie d'utilisation des données de coût de facturation, recommandant AWS Cost and Usage Reports (CUR) 2.0 pour le suivi financier.
Source: AWS ML blog —
original