Mistral AI merilis Leanstral 1.5: model gratis untuk verifikasi formal dengan hasil rekor

Mistral AI merilis Leanstral 1.5, sebuah model gratis dengan lisensi Apache-2.0 yang memiliki total 119 miliar parameter dan hanya 6 miliar parameter aktif, memberikan peningkatan kinerja yang signifikan dalam verifikasi formal. Model ini memenuhi miniF2F, menyelesaikan 587 dari 672 soal PutnamBench, dan mencapai hasil terdepan pada FATE-H (87%) dan FATE-X (34%). Pelatihan melibatkan mid-training, supervised fine-tuning, dan reinforcement learning dengan CISPO di dua lingkungan RL: lingkungan multiturn untuk pembuktian teorema dengan umpan balik compiler Lean, dan lingkungan agen kode yang beroperasi seperti pengembang dalam sistem file mentah. Leanstral 1.5 menunjukkan penskalaan waktu uji yang kuat, dengan kinerja pada PutnamBench meningkat dari 44 soal yang diselesaikan pada 50.000 token menjadi 587 soal pada 4 juta token. Model ini juga unggul dalam verifikasi kode, membuktikan jaminan kompleksitas waktu untuk pohon AVL dan menemukan 5 bug yang sebelumnya tidak diketahui di 57 repositori yang diuji. Model ini sepenuhnya bersumber terbuka melalui Hugging Face dan titik akhir API gratis.