Virheiden ryhmittely ja perussyyn analyysi (RCA) tekoälyn avulla
OpenAI
Habrissa julkaistussa artikkelissa käsitellään datan valmistelun merkitystä tekoälylle QA-testauksessa, keskittyen vikojen ryhmittelyyn ennen perussyyn analyysia. Kirjoittaja osoittaa playwright-ai/auto-debug-työkalulla, että tekoälyyn perustuva virheenjäljitys ilman ryhmittelyä moninkertaistaa analyysiajan. Olemassa olevat kokeilut ja infrastruktuuri, kuten Allure Report, nostetaan esiin niiden roolista esikäsittelyssä.
Artikkelissa väitetään, että vaikka tekoäly nopeuttaa koodin kehitystä, laadunvarmistuksen (QA) läpimeno ei ole parantunut, osittain siksi, että tekoälypohjainen vikojen analysointi vaatii kontekstia ja datan esikäsittelyä. Kirjoittaja suorittaa testejä yksinkertaiselle bannerikomponentille, jossa lokanttori on muutettu, mikä aiheuttaa kaksi testivirhettä. Tekoälyanalyysi (playwright-ai/auto-debug) tuottaa erilliset hypoteesit kullekin virheelle, mutta ilman ryhmittelyä aika moninkertaistuu. Olemassa olevat perussyyanalyysikokeilut (GPTrace, FlakyCat, BuildSheriff, LogSage) osoittavat, että ryhmittely tehdään usein algoritmisesti tai tekoälyn avulla, mutta tekoälyn esikäsittely on kallista (esim. GPTrace vei 10 tuntia 300 000 vektorin käsittelyyn OpenAI:lla). Artikkeli korostaa tarvetta ryhmitellä virheet ennen tekoälyanalyysiä ja nostaa esiin Allure Reportin jäsenneltynä datalähteenä, joka yksinkertaistaa esikäsittelyä, sisältää sisäänrakennetun ryhmittelyn virheilmoitusten mukaan ja tukee mukautettuja luokkia. Lopuksi todetaan, että tekoäly testauksessa vaatii kypsää datan hallintaa, ei vain mallien hienosäätöä.
Lähde: Habr — хаб ИИ —
Alkuperäinen