AI-agentti testauksessa: Miksi vahvat tulokset tulevat teknisestä piiristä, eivät kehotteesta
National Institute of Standards and Technology
International Organization for Standardization
IEEE
International Software Testing Qualifications Board
Ehdotetaan menetelmää tekoälyagenttien käyttöön testauksessa, joka siirtyy pois kehotteiden ja mallien varassa olemisesta. Tekninen piiri sisältää pakolliset säännöt, deterministiset suorittimet ja odotettujen tulosten eksplisiittisen mallin, mikä takaa todennettavat, toistettavat ja hyödylliset tulokset.
Artikkelissa kuvataan lähestymistapa testausagentin rakentamiseen, joka ei perustu ihanteelliseen syöttödataan tai mallin tuottamiin arvauksiin. Sen sijaan agentti kerää käytettävissä olevat todisteet, rakentaa eksplisiittisen hyväksyntämallin, varmistaa sen useilla riippumattomilla tavoilla (API, tietokanta, käyttöliittymä), dokumentoi tiedon rajat ja jättää lopullisen päätöksen ihmiselle. Tekninen toteutus sisältää skenaariotaitoja, turvallisuussääntöjä, projektikonfiguraation, deterministiset suorittimet ja todisteketjun. Keskeisiä testausmenetelmiä ovat riskiperusteinen testaus (kriittisten moduulien priorisointi), tutkiva testaus (työskentely epätäydellisten vaatimusten kanssa), hyväksyntäkriteerien testaus riippumattomalla oraakkelilla (ennalta muotoillut havaittavat odotukset), järjestelmä- ja integraatioajattelu (tilaketjujen jäljittäminen) sekä rajojen luokittelu (keskeneräisestä viereisestä työstä ei rangaista). Artikkeli korostaa, että agentin vastauksen laatu määräytyy varmistuspiirin, ei mallin perusteella.
Lähde: Habr — хаб ИИ —
Alkuperäinen