Mistral AI ra mắt Mistral Small 4: Mô hình đa năng với khả năng suy luận và đa phương thức

Mistral AI công bố Mistral Small 4, phiên bản mới nhất trong dòng Mistral Small. Đây là mô hình Mistral đầu tiên kết hợp năng lực của các mô hình hàng đầu như Magistral (suy luận), Pixtral (đa phương thức) và Devstral (lập trình tác nhân) vào một mô hình đa năng duy nhất. Mô hình sử dụng kiến trúc Mixture of Experts với 128 chuyên gia, 4 chuyên gia hoạt động mỗi token, tổng cộng 119 tỷ tham số nhưng chỉ có 6 tỷ tham số hoạt động cho mỗi token. Mô hình hỗ trợ ngữ cảnh lên đến 256k, chấp nhận đầu vào là văn bản và hình ảnh, đồng thời có tham số nỗ lực suy luận có thể cấu hình. Mistral Small 4 được phát hành theo giấy phép Apache 2.0, hoàn toàn mã nguồn mở. Điểm nổi bật về hiệu năng bao gồm giảm 40% thời gian hoàn thiện đầu cuối và tăng gấp 3 lần số yêu cầu mỗi giây so với Mistral Small 3. Mô hình có sẵn qua Mistral API, AI Studio và NVIDIA NIM, với hỗ trợ tùy chỉnh bằng NVIDIA NeMo. Mistral AI cũng tham gia Liên minh Nemotron của NVIDIA với tư cách thành viên sáng lập.