Mistral AI phát hành Leanstral 1.5: mô hình miễn phí cho xác minh hình thức với kết quả kỷ lục

Mistral AI đã phát hành Leanstral 1.5, một mô hình được cấp phép Apache-2.0 miễn phí với tổng số 119B tham số nhưng chỉ có 6B tham số hoạt động, mang lại bước cải tiến đáng kể về hiệu suất trong lĩnh vực kiểm chứng hình thức. Mô hình này đạt đến mức bão hòa trên miniF2F, giải được 587 trên 672 bài toán của PutnamBench, đồng thời đạt được kết quả tiên tiến nhất trên FATE-H (87%) và FATE-X (34%). Quá trình huấn luyện bao gồm huấn luyện trung gian, fine-tuning có giám sát và học tăng cường với CISPO trong hai môi trường học tăng cường: môi trường đa lượt dành cho chứng minh định lý với phản hồi từ trình biên dịch Lean, và môi trường tác tử mã hoạt động như một nhà phát triển trong hệ thống tệp thô. Leanstral 1.5 cho thấy khả năng mở rộng theo thời gian kiểm tra mạnh mẽ, với hiệu suất trên PutnamBench tăng từ 44 bài toán được giải ở 50 nghìn token lên 587 bài toán ở 4 triệu token. Nó cũng vượt trội trong việc kiểm chứng mã nguồn, chứng minh các đảm bảo về độ phức tạp thời gian cho cây AVL và phát hiện 5 lỗi chưa từng được biết đến trước đây trong số 57 kho lưu trữ được kiểm tra. Mô hình được hoàn toàn mã nguồn mở thông qua Hugging Face và một điểm cuối API miễn phí.