Menguji Rails on Autopilot: Agen AI yang Menulis Tes Alih-alih Pengembang
Mistral
Mistral AI membangun agen otonom di atas asisten pengkodean sumber terbukanya, Vibe, yang membaca file sumber Rails, menghasilkan atau meningkatkan tes RSpec, dan berjalan dalam pipeline CI/CD tanpa campur tangan manusia. Agen ini mencapai tingkat keberhasilan tes 100% dan cakupan kode pada basis kode nyata dengan 275 file, dengan skor kualitas LLM-as-a-judge sebesar 0,74, naik dari 0,49 pada file yang sudah memiliki tes.
Mistral AI mengembangkan agen otonom yang menghasilkan dan memperbaiki tes RSpec untuk aplikasi Ruby on Rails. Agen ini berjalan di atas Vibe, asisten pengkodean sumber terbuka milik Mistral, dan beroperasi pada lima jenis file utama: model, serializer, kontroler, mailer, dan helper. Teknik kuncinya meliputi rekayasa konteks melalui file AGENTS.md yang menyediakan rencana eksekusi langkah demi langkah dan langkah tinjauan mandiri yang dipaksakan, file SKILLS khusus untuk setiap jenis file, serta alat kustom untuk linting (RuboCop) dan pengecekan cakupan (SimpleCov). Agen ini dirancang untuk berjalan secara paralel, memproses banyak file secara bersamaan. Dalam sebuah eksperimen pada repositori dengan 275 file sumber (setengahnya tanpa tes), agen ini mencapai tingkat kelulusan tes 100% dan cakupan baris 100%, tanpa pelanggaran RuboCop sama sekali. Skor agregat LLM-sebagai-hakim untuk file yang sudah memiliki tes meningkat dari 0,49 menjadi 0,74. Model mendapat skor tertinggi (0,81) dan kontroler terendah (0,67). Keputusan yang paling berdampak adalah menggabungkan SimpleCov dengan eksekusi RSpec sebagai langkah terakhir, memaksa agen untuk menjalankan setiap tes yang ditulisnya; awalnya hanya sepertiga tes yang lulus pada eksekusi pertama, tetapi agen berhasil memperbaiki semua kegagalan.
Sumber: Mistral AI —
asli