AI-agent in testen: waarom sterke resultaten komen van een engineering-circuit, niet van prompts
National Institute of Standards and Technology
International Organization for Standardization
IEEE
International Software Testing Qualifications Board
Er wordt een methodologie voorgesteld voor AI-agenten in testen, die afstapt van afhankelijkheid van prompts en modellen. Het engineering-circuit omvat verplichte regels, deterministische uitvoerders en een expliciet model van verwachte resultaten, wat zorgt voor verifieerbare, reproduceerbare en nuttige uitkomsten.
Het artikel beschrijft een aanpak voor het bouwen van een AI-agent voor testen die niet afhankelijk is van ideale invoergegevens of door het model gegenereerde gissingen. In plaats daarvan verzamelt de agent beschikbaar bewijs, bouwt een expliciet acceptatiemodel, verifieert dit via meerdere onafhankelijke middelen (API, database, gebruikersinterface), documenteert kennisdrempels en laat de uiteindelijke beslissing aan een mens over. De engineeringcircuit omvat scenariovaardigheden, veiligheidsregels, projectconfiguratie, deterministische uitvoerders en een bewijsketen. Belangrijke testmethodologieën zijn risicogebaseerd testen (prioritering van kritieke modules), verkennend testen (werken met onvolledige vereisten), acceptatiecriteriumtesten met een onafhankelijke orakel (vooraf geformuleerde waarneembare verwachtingen), systeem-/integratiedenken (het volgen van toestandsketens) en classificatie van grenzen (een taak niet bestraffen voor onafgerond aangrenzend werk). Het artikel benadrukt dat de kwaliteit van de reactie van de agent niet wordt bepaald door het model, maar door het verificatiecircuit.
Bron: Habr — хаб ИИ —
origineel