Pengelompokan Kesalahan dan Analisis Akar Masalah (RCA) dengan AI
OpenAI
Artikel di Habr membahas pentingnya persiapan data untuk AI dalam pengujian QA, dengan fokus pada pengelompokan kegagalan sebelum analisis akar masalah. Penulis menunjukkan dengan playwright-ai/auto-debug bahwa debugging AI tanpa pengelompokan melipatgandakan waktu analisis. Eksperimen yang ada dan infrastruktur seperti Allure Report disorot untuk peran mereka dalam pra-pemrosesan.
Artikel tersebut berpendapat bahwa meskipun AI mempercepat pengembangan kode, throughput QA tidak membaik, sebagian karena analisis kegagalan oleh AI memerlukan konteks dan persiapan data. Penulis menjalankan tes pada komponen banner sederhana dengan locator yang diubah, yang menyebabkan dua kegagalan tes. Analisis AI (melalui playwright-ai/auto-debug) memberikan hipotesis terpisah untuk setiap kegagalan, tetapi tanpa pengelompokan, waktu menjadi berlipat ganda. Eksperimen RCA yang ada (GPTrace, FlakyCat, BuildSheriff, LogSage) menunjukkan bahwa pengelompokan sering dilakukan secara algoritmik atau dengan AI, tetapi pra-pemrosesan AI itu mahal (misalnya, GPTrace membutuhkan 10 jam untuk 300 ribu vektor menggunakan OpenAI). Artikel ini menekankan perlunya pengelompokan kegagalan sebelum analisis AI, dan menyoroti Allure Report sebagai sumber data terstruktur yang menyederhanakan pra-pemrosesan, dengan pengelompokan bawaan berdasarkan pesan kesalahan dan dukungan untuk kategori kustom. Sebagai kesimpulan, AI dalam pengujian memerlukan praktik data yang matang, bukan hanya penyesuaian model.
Sumber: Habr — хаб ИИ —
asli