Rails'i Otomatik Pilotta Test Etmek: Geliştiriciler Yerine Test Yazan Bir Yapay Zeka Ajanı

Mistral AI, Ruby on Rails uygulamaları için RSpec testlerini oluşturan ve iyileştiren otonom bir ajan geliştirdi. Ajan, Mistral'ın açık kaynak kodlu kodlama asistanı Vibe üzerinde çalışıyor ve beş ana dosya türünde işlem yapıyor: modeller, serileştiriciler, denetleyiciler, e-posta göndericileri ve yardımcılar. Temel teknikler arasında, adım adım bir yürütme planı ve zorunlu bir öz değerlendirme adımı sağlayan bir AGENTS.md dosyası aracılığıyla bağlam mühendisliği, her dosya türü için özelleştirilmiş SKILLS dosyaları ve linting (RuboCop) ile kapsama kontrolü (SimpleCov) için özel araçlar yer alıyor. Ajan, birden fazla dosyayı aynı anda işleyerek paralel çalışacak şekilde tasarlandı. 275 kaynak dosya içeren (yarısı testsiz) bir depo üzerinde yapılan deneyde ajan, %100 test geçme oranı ve %100 satır kapsaması elde ederken, sıfır RuboCop ihlali oluştu. Daha önce testleri bulunan dosyalar için yapay zeka yargıcı toplam puanı 0,49'dan 0,74'e yükseldi. Modeller en yüksek puanı (0,81) alırken, denetleyiciler en düşük puanı (0,67) aldı. En etkili karar, SimpleCov'u RSpec yürütmesiyle son adımda birleştirmek oldu; bu, ajanı yazdığı her testi çalıştırmaya zorladı; başlangıçta testlerin yalnızca üçte biri ilk çalıştırmada geçti, ancak ajan tüm başarısızlıkları kendi kendine düzeltti.