Autonominen tekoälyagentti valvoo tuotantolokeja 4 kuukautta: 113 hälytystä, 2 hallusinaatiota ja korjaus 3,5 tunnissa

AI-agentti valvoo Creatorry-alustan tuotantolokeja, joka tuottaa musiikkia, valokuvia ja videoita tekoälyn avulla. Järjestelmä koostuu 18 palvelusta, ja se kirjaa päivittäin noin 300 000 riviä, joista noin 12 500 on virheitä tai varoituksia. Agentti suorittaa tehtävänsä 30 minuutin välein kysellen Loki-järjestelmästä viimeisimpiä virheitä, ja se lähettää hälytyksiä Telegramiin vain, jos se havaitsee kriittisiä ongelmia tai merkittävän piikin virheiden määrässä. 84 päivän aikana agentti lähetti 113 hälytystä, joista 69 oli virheitä, 41 kriittisiä ja kolme varhaista merkintää ilman vakavuusluokkaa. Vaikuttavin hälytys havaitsi kriittisen virheen aikaisin kesäkuun 1. päivänä, mikä johti korjaukseen, joka yhdistettiin 3,5 tunnin kuluessa. Agentti havaitsi myös aallon 503-virheitä, jotka paljastivat, että varapalveluntarjoajaa ei käytetty. Agentti kuitenkin hallusinoi kahdesti: kerran keksimällä bottitunnuksen ja toisen kerran raportoimalla liioiteltuja virhemääriä. Tämän torjumiseksi tiimi otti käyttöön vahvistusvaiheen, jossa erillinen malli laskee virheet uudelleen eri menetelmin, ja he asettivat tiukan suhdekynnysarvon 2,0 hylätäkseen vahvistamattomat hälytykset. Agentti käytti alun perin Claude Opusta, mutta vaihtoi takaisin MiniMax-M3:een, koska Opus oli monisanainen ja kallis. Agentti kuluttaa noin 435 miljoonaa merkkiä kuukaudessa 10 dollarin tilauksella, ja suurin osa merkeistä tulee välimuistista luetuista tiedoista. Tiimi korostaa prompt injection -turvallisuutta, koska lokit ovat luottamattomia syötteitä, mutta agentilla on vain luku -oikeudet ja se lähettää vain heidän omaan Telegram-kanavaansa. Yhteensä järjestelmä on ollut käynnissä 135 päivää, ja siitä on ollut noin kuukauden verran käyttökatkoksia erilaisten ongelmien vuoksi.