Thinking Machines phát hành mô hình đa phương thức mã nguồn mở Inkling với 1 nghìn tỷ tham số

Thinking Machines đã phát hành mã nguồn mở Inkling, một mô hình hỗn hợp chuyên gia đa phương thức lớn với khoảng 1 nghìn tỷ tham số tổng cộng và 41 tỷ tham số hoạt động. Đây là mô hình mở lớn đầu tiên hỗ trợ đầu vào văn bản, hình ảnh và âm thanh một cách tự nhiên với cửa sổ ngữ cảnh 1 triệu. Kiến trúc bao gồm attention tương đối thay vì RoPE, attention lai với tỷ lệ trượt-toàn cầu 5:1, các lớp tích chập 1D ngắn, và Mixture-of-Experts với các chuyên gia dùng chung. Đối với thị giác, nó sử dụng bộ phân mảnh MLP phân cấp; đối với âm thanh, nó sử dụng phổ mel rời rạc hóa. Inkling có sẵn ở phiên bản BF16 đầy đủ (yêu cầu 2 TB VRAM) và biến thể NVFP4 lượng tử hóa (yêu cầu 600 GB VRAM). Nó hỗ trợ suy luận qua pipeline transformers, AutoModelForMultimodalLM, SGLang, vLLM và llama.cpp, và có thể truy cập thông qua Hugging Face Inference Providers.