Regroupement des erreurs et analyse des causes profondes (RCA) avec l'IA
OpenAI
L'article sur Habr aborde l'importance de la préparation des données pour l'IA dans les tests QA, en se concentrant sur le regroupement des échecs avant l'analyse des causes profondes. L'auteur démontre avec playwright-ai/auto-debug que le débogage par IA sans regroupement multiplie le temps d'analyse. Les expériences existantes et l'infrastructure comme Allure Report sont mises en avant pour leur rôle dans le prétraitement.
L'article soutient que, bien que l'IA accélère le développement de code, le débit du contrôle qualité (QA) ne s'est pas amélioré, en partie parce que l'analyse des échecs par l'IA nécessite du contexte et de la préparation des données. L'auteur exécute des tests sur un simple composant de bannière avec un localisateur modifié, ce qui entraîne deux échecs de test. L'analyse par IA (via playwright-ai/auto-debug) fournit des hypothèses distinctes pour chaque échec, mais sans regroupement, le temps est multiplié. Les expériences existantes d'analyse des causes profondes (RCA) (GPTrace, FlakyCat, BuildSheriff, LogSage) montrent que le regroupement est souvent effectué de manière algorithmique ou avec l'IA, mais le prétraitement par l'IA est coûteux (par exemple, GPTrace a pris 10 heures pour 300 000 vecteurs en utilisant OpenAI). L'article souligne la nécessité de regrouper les échecs avant l'analyse par IA et met en évidence Allure Report comme source de données structurée qui simplifie le prétraitement, avec un regroupement intégré par messages d'erreur et un support pour les catégories personnalisées. En conclusion, l'IA dans les tests nécessite des pratiques de données matures, et pas seulement un réglage du modèle.
Source: Habr — хаб ИИ —
original