Spaneista agenttiskenaarioon: miksi lisäsimme tekoälynäkymän jäljitykseen
OpenAI
Proto Observability Platform on lisännyt oman tekoälynäkymän jäljitykseen neljällä tilalla: syöte, vaihekaavio, kutsukaavio ja chat. Jokainen tila vastaa eri kysymykseen agentin käyttäytymisestä, peräkkäisestä suorituksesta käyttäjän näkyviin tuloksiin. Suunnittelua ohjasivat todelliset viat tekoälyn instrumentoinnissa, kuten toistuva konteksti, piilotetut virheet ja tunnuslaskennan ongelmat.
Proto-observointialusta lisäsi GenAI-näkymän traceille, mikä vastaa haasteeseen agenttilogiikan rekonstruoimisesta yksinkertaisesta span-puusta. Näkymässä on neljä tilaa: syöte, joka näyttää toiminnot kronologisessa järjestyksessä ajoituksineen, askelgraafi, joka tiivistää toistuvat toiminnot paljastaen agentin silmukan, kutsugraafi, joka näyttää jokaisen yksittäisen kutsun uniikkeine argumentteineen ja statuksineen, sekä chat-tila, joka rekonstruoi käyttäjän keskustelun mahdollisesti toistuvasta viestihistoriasta. Kehittäjät kohtasivat useita todellisen maailman ongelmia: täydet keskusteluhistoriat lähetettiin jokaisen mallikutsun yhteydessä, mikä johti kaksoiskappaleisiin; kuljetusspannit saattoivat vääristää ajoitusta, jos ne summattiin naiivisti; strukturoidut työkalutulokset saattoivat sisältää virheitä, vaikka operaation tila näytti onnistuneelta, joten virhemalli erotettiin näyttömallista; ja token-kulutus saattoi olla kumulatiivista tai operaatiokohtaista, mikä vaati huolellista semantiikan tunnistamista ennen aggregointia. Esitystapa tarkoituksella piilottaa yksityiskohdat, jotka eivät ole olennaisia kunkin tilan vastaamaan kysymykseen, mutta raaka-attribuutit ovat edelleen saatavilla varmistusta varten.
Lähde: Habr — хаб ИИ —
Alkuperäinen