Agent IA en test : pourquoi des résultats solides viennent du circuit d’ingénierie, pas du prompt
National Institute of Standards and Technology
International Organization for Standardization
IEEE
International Software Testing Qualifications Board
Une méthodologie pour les agents IA dans les tests est proposée, s’éloignant de la dépendance aux prompts et aux modèles. Le circuit d’ingénierie comprend des règles obligatoires, des exécuteurs déterministes et un modèle explicite des résultats attendus, garantissant des résultats vérifiables, reproductibles et utiles.
L'article décrit une approche pour construire un agent d'IA dédié aux tests qui ne repose ni sur des données d'entrée idéales ni sur des suppositions générées par le modèle. Au lieu de cela, l'agent collecte les preuves disponibles, construit un modèle d'acceptation explicite, le vérifie par des moyens indépendants multiples (API, base de données, interface utilisateur), documente les limites de la connaissance et laisse la décision finale à un humain. Le circuit d'ingénierie comprend des compétences de scénario, des règles de sécurité, la configuration du projet, des exécuteurs déterministes et une chaîne de preuves. Les méthodologies de test clés incluent les tests basés sur les risques (priorisation des modules critiques), les tests exploratoires (travail avec des exigences incomplètes), les tests de critères d'acceptation avec un oracle indépendant (attentes observables préformulées), la pensée système/intégration (traçage des chaînes d'état) et la classification des limites (ne pas pénaliser une tâche pour un travail adjacent inachevé). L'article souligne que la qualité de la réponse de l'agent est déterminée non pas par le modèle mais par le circuit de vérification.
Source: Habr — хаб ИИ —
original