Amazon Bedrock'te Codex Görünürlüğü: OpenTelemetry ve Amazon CloudWatch ile İzleme
Amazon Web Services
AWS, yerel Codex istemcilerinden gelen OpenTelemetry metriklerini yerel bir toplayıcı aracılığıyla Amazon CloudWatch'a yönlendirerek Amazon Bedrock'ta Codex kullanımına ilişkin görünürlük elde etmeyi açıklayan bir yazı yayınladı. Çözüm, metrikleri AWS IAM Identity Center'dan kurumsal özniteliklerle zenginleştirir ve benimseme, tüketim, güvenilirlik ve maliyeti izlemek için bir pano sağlar.
AWS Machine Learning Blog, OpenAI Codex kodlama ajanları için Amazon Bedrock'u model sağlayıcı olarak kullanan gözlemlenebilirliği etkinleştirmeye yönelik bir yazı yayınladı. Geliştiriciler Codex'i yerel olarak çalıştırır ve OpenTelemetry (OTel) metrikleri üretir. Bu metrikler, her geliştirici iş istasyonunda çalışan bir toplayıcıya gönderilir; toplayıcı, bu metrikleri kurumsal bağlamla (kullanıcı, ekip, departman, maliyet merkezi) zenginleştirir ve AWS Signature Version 4 kullanarak Amazon CloudWatch'a iletir. Referans dağıtımı, aktif kullanıcılar, konuşma turları, API istekleri ve token kullanımı için son 24 saatin toplamlarını gösteren bir CloudWatch panosu ile modele, kullanıcıya, ekibe ve daha fazlasına göre görünümler içerir. Yazı, mimariyi, uygulama adımlarını (CloudWatch OTel özelliklerini etkinleştirme, panoyu dağıtma, geliştirici başına yapılandırma oluşturma, Codex'i yapılandırma ve akışı doğrulama) ve metrik kardinalite kontrolü ile aşamalı kullanıma sunma gibi yönetişim hususlarını açıklar. Kullanım telemetrisini fatura düzeyindeki maliyet verilerinden ayırır ve finansal izleme için AWS Cost and Usage Reports (CUR) 2.0'ı önerir.
Kaynak: AWS ML blog —
orijinal