Mistral AI, 공식 검증용 무료 모델 Leanstral 1.5 공개: 기록적인 성과

Mistral AI가 Leanstral 1.5를 출시했습니다. 이 모델은 무료 Apache-2.0 라이선스로 제공되며, 총 1,190억 개의 파라미터 중 활성 파라미터는 60억 개에 불과하지만 공식 검증(formal verification) 분야에서 상당한 성능 향상을 보여줍니다. 이 모델은 miniF2F를 포화 상태로 만들었고, PutnamBench 문제 672개 중 587개를 해결했으며, FATE-H(87%)와 FATE-X(34%)에서 최첨단 결과를 달성했습니다. 훈련에는 중간 훈련, 지도 미세 조정, 그리고 CISPO를 활용한 강화 학습이 포함되었으며, 두 가지 강화 학습 환경에서 진행되었습니다. 하나는 Lean 컴파일러 피드백을 사용한 정리 증명을 위한 다중 턴 환경이고, 다른 하나는 개발자가 원시 파일 시스템에서 작업하는 것처럼 작동하는 코드 에이전트 환경입니다. Leanstral 1.5는 강력한 테스트 시간 확장성을 보여주며, PutnamBench 성능이 50,000 토큰에서 44개 문제를 해결한 데 비해 400만 토큰에서는 587개로 향상되었습니다. 또한 코드 검증에서 뛰어나, AVL 트리에 대한 시간 복잡도 보장을 증명하고 57개 테스트 저장소에서 이전에 알려지지 않은 5개의 버그를 발견했습니다. 이 모델은 Hugging Face와 무료 API 엔드포인트를 통해 완전히 오픈소스로 제공됩니다.