Rails-testaus autopilotilla: tekoälyagentti, joka kirjoittaa testejä kehittäjien sijaan
Mistral
Mistral AI on luonut autonomisen agentin, joka perustuu avoimen lähdekoodin Vibe-työkaluun ja joka luo ja parantaa automaattisesti RSpec-testejä Rails-monoliiteille. Agentti lukee lähdetiedostoja, luo tai tarkentaa testejä, tarkistaa niiden tyylin RuboCopin avulla, ajaa ne RSpecin ja SimpleCovin läpi ja korjaa virheet. Kokeessa, jossa oli 275 tiedostoa, kattavuus saavutti 100%, kaikki testit läpäistiin ja keskimääräinen LLM-tuomarin arvosana oli 0,74.
Mistral AI on kehittänyt avoimeen Vibe-työkaluunsa perustuvan autonomisen agentin Rails-sovellusten testaamiseen. Agentti lukee Railsin lähdetiedostoja (mallit, serialisoijat, kontrollerit, sähköpostittajat, apuohjelmat) ja tuottaa tai parantaa RSpec-testejä noudattaen tiedostojen yhteensovittamiskäytäntöjä. Eri tiedostotyypeille käytetään erillisiä taitotiedostoja (skills). Agentti suorittaa RuboCopin tyylin tarkistamista varten sekä SimpleCovin yhdessä RSpecin kanssa kattavuuden ja oikeellisuuden varmistamiseksi – tämä on pakollinen viimeinen vaihe, koska ilman suoritusta testit voivat näyttää laadukkailta, mutta eivät toimi syntaksivirheiden vuoksi. Tiedostossa AGENTS.md on kuvattu vaiheittainen ohje, joka sisältää pakotetun itsearvioinnin: agentti lukee lähdetiedoston uudelleen ja tarkistaa, että kaikki julkiset metodit on testattu. Ensimmäisellä suorituskerralla vain kolmasosa testeistä läpäisi, mutta agentti korjasi kaikki virheet muutamalla iteraatiolla. Kokeessa, jossa oli 275 tiedostoa (puolet ilman testejä), agentti tuotti tai paransi testejä saavuttaen 100% testien läpäisyn, nolla RuboCop-rikkomusta, 100% SimpleCov-kattavuuden ja keskimääräisen arvosanan 0,74 LLM-as-a-judge -menetelmällä. Parhaat tulokset saavuttivat mallit (0,81), heikoimmat kontrollerit (0,67).
Lähde: Mistral AI —
Alkuperäinen