Mistral AI publie Leanstral 1.5 : un modèle gratuit pour la vérification formelle avec des résultats records

Mistral AI a publié Leanstral 1.5, un modèle gratuit sous licence Apache-2.0 avec 119 milliards de paramètres au total et seulement 6 milliards de paramètres actifs, offrant une amélioration significative des performances en vérification formelle. Le modèle sature miniF2F, résout 587 des 672 problèmes de PutnamBench et obtient des résultats de pointe sur FATE-H (87 %) et FATE-X (34 %). L'entraînement a impliqué un pré-entraînement intermédiaire (mid-training), un ajustement fin supervisé et un apprentissage par renforcement avec CISPO dans deux environnements RL : un environnement multitour pour la démonstration de théorèmes avec retour du compilateur Lean, et un environnement agent de code qui fonctionne comme un développeur dans un système de fichiers brut. Leanstral 1.5 montre une forte évolutivité au moment du test, avec des performances sur PutnamBench passant de 44 problèmes résolus à 50 000 tokens à 587 problèmes à 4 millions de tokens. Il excelle également dans la vérification de code, prouvant les garanties de complexité temporelle pour les arbres AVL et découvrant 5 bogues jusqu'alors inconnus dans 57 dépôts testés. Le modèle est entièrement ouvert via Hugging Face et un point d'accès API gratuit.