Meta phát hành Muse Glimmer: mô hình AI mã nguồn mở, đa phương thức, tác nhân và chạy cục bộ

Meta đã giới thiệu Muse Glimmer, một mô hình đa phương thức mã nguồn mở với 30 tỷ tham số, được hỗ trợ ngay ngày đầu ra mắt trong transformers, llama.cpp, vLLM và các thư viện khác. Kiến trúc kết hợp bộ mã hóa nhận thức thị giác kiểu ViT với 2 tỷ tham số để xử lý hình ảnh và bộ giải mã văn bản với 28 tỷ tham số, sử dụng cơ chế chú ý lai với các lớp cửa sổ trượt và chú ý đầy đủ, chú ý truy vấn nhóm có cổng để giảm bộ nhớ KV-cache, và chuẩn hóa Q-K. Mô hình cũng bao gồm một bộ phận soạn thảo suy luận không bắt buộc để tăng tốc sinh văn bản, đặc biệt phù hợp cho việc lập trình. Kết quả benchmark cho thấy hiệu suất tác tử mạnh mẽ trên các tác vụ như MCP Atlas, DeepSearch QA và SWE-Bench, cũng như khả năng đa phương thức. Mô hình có sẵn trên Hugging Face Hub, và các ví dụ tích hợp được cung cấp cho suy luận chỉ văn bản, gọi công cụ đa phương thức, phát hiện đối tượng và suy luận video bằng transformers và llama.cpp.