AMD Merilis Instella-MoE-16B-A3B: LLM Mixture-of-Experts Terbuka Penuh dengan 2,8 Miliar Parameter Aktif yang Dilatih di GPU Instinct

AMD merilis Instella-MoE-16B-A3B, model bahasa Mixture-of-Experts yang sepenuhnya terbuka dan dilatih dari awal pada GPU Instinct MI300X dan MI325X. Model ini memiliki total 16 miliar parameter tetapi hanya mengaktifkan 2,8 miliar per token, menggunakan 2 pakar bersama (shared experts) dan 6 pakar yang dirutekan (routed experts) yang dipilih dari 64 pakar per lapisan MoE. AMD menerbitkan bobot dari setiap tahap pelatihan, beserta campuran data, konfigurasi pelatihan, dan kode inferensi. Dua pilihan struktural kunci adalah Gated Multi-head Latent Attention, yang menambahkan gerbang keluaran terlatih yang ringan, dan FarSkip-Collective, yang menumpangtindihkan komunikasi paralel pakar dengan komputasi. AMD melaporkan percepatan pra-pelatihan sebesar 12,7% dan pengurangan waktu hingga token pertama hingga 39,2% saat melayani dengan paralelisme pakar. Model ini dilatih sebelumnya pada 7,1 triliun token dari korpora terbuka, dengan pelatihan menengah menggunakan Dolma3 Dolmino 100B, dan tahap konteks panjang yang memperpanjang jendela dari 4K menjadi 64K menggunakan YaRN. Pasca-pelatihan mencakup SFT, DPO, dan RL dalam kerangka Miles. Checkpoint dasar rata-rata mencapai 76,7, yang terkuat di antara model yang sepenuhnya terbuka, mengungguli Moonlight-16B-A3B (76,2) dan lainnya. Bobot berada di bawah lisensi ResearchRAIL untuk tujuan akademis dan penelitian saja, sementara basis kode pelatihan dilisensikan MIT.