Rakenna näkyvyyttä Codexille Amazon Bedrockissa OpenTelemetryn ja Amazon CloudWatchin avulla
Amazon Web Services
AWS julkaisi artikkelin, jossa kerrotaan, miten saada näkyvyyttä Codexin käytöstä Amazon Bedrockissa reitittämällä OpenTelemetry-mittareita paikallisista Codex-asiakasohjelmista paikallisen keräimen kautta Amazon CloudWatchiin. Ratkaisu rikastuttaa mittareita organisaation attribuuteilla AWS IAM Identity Centeristä ja tarjoaa kojelaudan käyttöönoton, kulutuksen, luotettavuuden ja kustannusten seuraamiseen.
AWS Machine Learning -blogissa julkaistiin artikkeli, joka käsittelee OpenAI Codex -koodausagenttien havaittavuuden mahdollistamista, kun mallintarjoajana käytetään Amazon Bedrockia. Kehittäjät ajavat Codexia paikallisesti, ja se lähettää OpenTelemetry (OTel) -mittareita. Nämä mittarit lähetetään jokaisella kehittäjän työasemalla toimivaan keräimeen, joka rikastuttaa niitä organisaatiokontekstilla (käyttäjä, tiimi, osasto, kustannuspaikka) ja välittää ne Amazon CloudWatchiin AWS Signature Version 4 -allekirjoituksella. Viitetoteutus sisältää CloudWatch-hallintapaneelin, jossa näkyvät liukuvat 24 tunnin kokonaissummat aktiivisista käyttäjistä, keskustelun kierroksista, API-pyynnöistä ja tunnusten käytöstä, sekä näkymät mallin, käyttäjän, tiimin ja muiden mukaan. Artikkelissa kuvataan arkkitehtuuri, toteutusvaiheet (CloudWatchin OTel-ominaisuuksien käyttöönotto, hallintapaneelin käyttöönotto, kehittäjäkohtaisen konfiguraation luominen, Codexin määrittäminen ja toimivuuden varmistaminen) sekä hallinnointiin liittyvät seikat, kuten mittarikardinaliteetin hallinta ja vaiheittainen käyttöönotto. Siinä erotetaan käyttötelemetria laskutusluokan kustannustiedoista, ja taloudelliseen seurantaan suositellaan AWS Cost and Usage Reports (CUR) 2.0 -raportteja.
Lähde: AWS ML blog —
Alkuperäinen
