Mistral AI brengt Leanstral 1.5 uit: een gratis model voor formele verificatie met recordresultaten

Mistral AI heeft Leanstral 1.5 uitgebracht, een gratis model onder de Apache-2.0-licentie met in totaal 119 miljard parameters waarvan slechts 6 miljard actief, wat een aanzienlijke prestatieverbetering oplevert in formele verificatie. Het model verzadigt miniF2F, lost 587 van de 672 PutnamBench-problemen op en behaalt state-of-the-art resultaten op FATE-H (87%) en FATE-X (34%). De training omvatte 'mid-training', supervised fine-tuning en reinforcement learning met CISPO in twee 'reinforcement learning'-omgevingen: een multi-turn omgeving voor stellingbewijzen met feedback van de Lean-compiler, en een code-agent omgeving die werkt als een ontwikkelaar in een onbewerkt bestandssysteem. Leanstral 1.5 vertoont sterke test-time scaling, waarbij de prestaties op PutnamBench verbeteren van 44 opgeloste problemen bij 50.000 tokens naar 587 bij 4 miljoen tokens. Het blinkt ook uit in codeverificatie, bewijst de tijdscomplexiteitsgaranties voor AVL-bomen en ontdekt 5 voorheen onbekende bugs in 57 geteste repositories. Het model is volledig open-source beschikbaar via Hugging Face en een gratis API-eindpunt.