Testing Railsia autopilotilla: tekoälyagentti, joka kirjoittaa testejä kehittäjien puolesta
Mistral
Mistral AI rakensi autonomisen agentin avoimen lähdekoodin Vibe-koodausavustimen päälle, joka lukee Rails-lähdetiedostoja, luo tai parantaa RSpec-testejä ja suorittaa ne CI/CD-putkessa ilman ihmisen väliintuloa. Agentti saavutti 100 prosentin testien läpäisyasteen ja koodikattavuuden 275 tiedoston todellisessa koodipohjassa, ja LLM-tuomarin laatupisteet nousivat 0,74:ään, kun aiemmin testejä sisältäneiden tiedostojen pistemäärä oli 0,49.
Mistral AI on kehittänyt autonomisen agentin, joka luo ja parantaa RSpec-testejä Ruby on Rails -sovelluksille. Agentti toimii Mistralin avoimen lähdekoodin koodausassistentin, Viben, päällä ja käsittelee viittä pääasiallista tiedostotyyppiä: modelit, serialisaattorit, kontrollerit, mailerit ja helperit. Keskeisiä tekniikoita ovat kontekstin suunnittelu AGENTS.md-tiedoston avulla, joka tarjoaa vaiheittaisen suoritussuunnitelman ja pakollisen itsearviointivaiheen, erikoistuneet SKILLS-tiedostot kullekin tiedostotyypille sekä räätälöidyt työkalut linttausta varten (RuboCop) ja kattavuuden tarkistamiseen (SimpleCov). Agentti on suunniteltu toimimaan rinnakkain, käsitellen useita tiedostoja samanaikaisesti. Kokeessa, jossa käytettiin arkistoa, jossa oli 275 lähdetiedostoa (puolet ilman testejä), agentti saavutti 100 prosentin testiläpäisyasteen ja 100 prosentin rivikattavuuden ilman yhtään RuboCop-rikkomusta. LLM-tuomarin kokonaispistemäärä tiedostoille, joilla oli jo testit, parani 0,49:stä 0,74:ään. Modelit saivat korkeimman pistemäärän (0,81) ja kontrollerit alhaisimman (0,67). Vaikuttavin päätös oli SimpleCovin yhdistäminen RSpecin suoritukseen viimeiseksi vaiheeksi, mikä pakotti agentin suorittamaan jokaisen kirjoittamansa testin; aluksi vain kolmannes testeistä läpäisi ensimmäisellä suorituskerralla, mutta agentti korjasi itse kaikki epäonnistumiset.
Lähde: Mistral AI —
Alkuperäinen