AI-agentti testauksessa: Miksi vahvat tulokset tulevat suunnittelupiiristä, eivät kehotteesta
National Institute of Standards and Technology
International Organization for Standardization
IEEE
International Software Testing Qualifications Board
Ehdotetaan menetelmää AI-agentteja varten testauksessa, joka siirtyy pois kehotteiden ja mallien varasta. Suunnittelupiiriin kuuluu pakolliset säännöt, deterministiset suorittajat ja eksplisiittinen malli odotetuista tuloksista, mikä varmistaa todennettavat, toistettavat ja hyödylliset tulokset.
Artikkelissa kuvataan lähestymistapa testausagentin rakentamiseen, joka ei perustu ihanteelliseen syöttödataan tai mallin tuottamiin arvauksiin. Sen sijaan agentti kerää käytettävissä olevat todisteet, rakentaa eksplisiittisen hyväksyntämallin, varmistaa sen useilla riippumattomilla tavoilla (API, tietokanta, käyttöliittymä), dokumentoi tiedon rajat ja jättää lopullisen päätöksen ihmiselle. Tekninen toteutus sisältää skenaariotaitoja, turvallisuussääntöjä, projektikonfiguraation, deterministiset suorittimet ja todisteketjun. Keskeisiä testausmenetelmiä ovat riskiperusteinen testaus (kriittisten moduulien priorisointi), tutkiva testaus (työskentely epätäydellisten vaatimusten kanssa), hyväksyntäkriteerien testaus riippumattomalla oraakkelilla (ennalta muotoillut havaittavat odotukset), järjestelmä- ja integraatioajattelu (tilaketjujen jäljittäminen) sekä rajojen luokittelu (keskeneräisestä viereisestä työstä ei rangaista). Artikkeli korostaa, että agentin vastauksen laatu määräytyy varmistuspiirin, ei mallin perusteella.
Lähde: Habr — хаб ИИ —
Alkuperäinen