Fehlergruppierung und Ursachenanalyse (RCA) mit KI
OpenAI
Der Artikel auf Habr diskutiert die Bedeutung der Datenaufbereitung für KI im Qualitätstest, mit Fokus auf die Gruppierung von Fehlern vor der Ursachenanalyse. Der Autor demonstriert mit playwright-ai/auto-debug, dass KI-Debugging ohne Gruppierung die Analysezeit vervielfacht. Bestehende Experimente und Infrastruktur wie Allure Report werden für ihre Rolle bei der Vorverarbeitung hervorgehoben.
Der Artikel argumentiert, dass KI die Codeentwicklung zwar beschleunigt, die QA-Durchsatzleistung jedoch nicht verbessert wurde, teilweise weil die KI-Analyse von Fehlern Kontext und Datenaufbereitung erfordert. Der Autor führt Tests an einer einfachen Banner-Komponente mit einem geänderten Locator durch, was zu zwei Testfehlschlägen führt. Die KI-Analyse (via playwright-ai/auto-debug) liefert separate Hypothesen für jeden Fehler, aber ohne Gruppierung vervielfacht sich die Zeit. Bestehende Root-Cause-Analyse-Experimente (GPTrace, FlakyCat, BuildSheriff, LogSage) zeigen, dass die Gruppierung oft algorithmisch oder mit KI erfolgt, aber die KI-Vorverarbeitung kostspielig ist (z. B. benötigte GPTrace 10 Stunden für 300.000 Vektoren mit OpenAI). Der Artikel betont die Notwendigkeit, Fehler vor der KI-Analyse zu gruppieren, und hebt Allure Report als strukturierte Datenquelle hervor, die die Vorverarbeitung vereinfacht, mit integrierter Gruppierung nach Fehlermeldungen und Unterstützung für benutzerdefinierte Kategorien. Zusammenfassend erfordert KI im Testen ausgereifte Datenpraktiken, nicht nur Modellabstimmung.
Quelle: Habr — хаб ИИ —
Original