416 testiä ja 'tuhoa kaikki' -painike: missä agenttiprojektit murtuvat
Anthropic
Kuuden agenttiprojektin analyysi paljastaa toistuvia puutteita: turvallisuus on pelkkää tekstiä, peruuttamattomat toimet ilman esteitä ja nolla käyttäytymistestiä. Jopa kypsässä avoimen lähdekoodin projektissa, jossa on regressiotestejä, puuttuu silti suojatoimenpiteitä peruuttamattomalle sähköpostin lähettämiselle. Kirjoittaja ehdottaa kymmentä diagnostista kysymystä agenttijärjestelmien kypsyyden arvioimiseksi.
Kirjoittaja on pyörittänyt helmikuusta 2026 lähtien autonomista agenttia nimeltä Groundhog (Surok) tutkimussilmukassa yhdessä Claude Coden ja --dangerously-skip-permissions -lipun kanssa. Tämän jälkeen hän auditoi kuusi omaa agenttiprojektiaan kuudesta lähteestä (mukaan lukien Sberin AI-DISRUPT PDLC -metodologia) kootulla tarkistuslistalla ja löysi kolme toistuvaa epäonnistumismallia: turvallisuus pakotettu vain kehotteisiin (malli voidaan ohittaa), peruuttamattomat toiminnot ilman vahvistusta (esimerkiksi rebuild-komento pyyhkii kaiken rikastetun datan) ja nolla regressiotestiä käyttäytymisvirheille. Kirjoittaja tarkasteli myös anonyymiä suurta avoimen lähdekoodin agenttiprojektia: siinä oli kooditason käyttöoikeustarkistuksia ja regressiotestejä aiempien virheiden varalta, mutta se lähetti silti sähköposteja peruuttamattomasti ilman luonnos- tai vahvistusvaihetta. Uudempi avoimen lähdekoodin viitekehys (HarnessX) tarjoaa interrupt_on-portin, mutta se on valinnainen eikä oletusarvoinen. Sberin PDLC-metodologia virallistaa monia puuttuvista kontrollerista: käytäntö koodina, evaluaatiot valmistumissopimuksina, ja R0–R5-lupatikapu, jossa pakollinen peruutus/palautus tilaa muuttaville operaatioille tasolla R3 ja sitä korkeammilla. Kirjoittaja rakensi seitsemännen projektin, jossa sovellettiin joitain opittuja asioita: nyt evaluaatiot suoritetaan ennen jokaista julkaisua ja tapauksista tulee nimettyjä regressiotestejä.
Lähde: Habr — хаб ИИ —
Alkuperäinen