AMD, Instinct GPU'larında Eğitilen 2,8 Milyar Aktif Parametreli Tamamen Açık Mixture-of-Experts LLM'i Instella-MoE-16B-A3B'yi Yayınladı
AMD, Instella-MoE-16B-A3B'yi tanıttı: toplam 16 milyar parametreli ve belirteç başına 2,8 milyar aktif parametreli, Instinct MI300X ve MI325X GPU'larında sıfırdan eğitilmiş tamamen açık bir Mixture-of-Experts dil modeli. Sürüm; ağırlıklar, veri karışımları, eğitim yapılandırmaları ve çıkarım kodunu içeriyor ve Gated Multi-head Latent Attention ile FarSkip-Collective bağlantısı gibi yenilikçi özelliklere sahip.
AMD, Instinct MI300X ve MI325X GPU'ları üzerinde sıfırdan eğitilmiş tamamen açık bir Uzman Karışımı (MoE) dil modeli olan Instella-MoE-16B-A3B'yi yayınladı. Model toplam 16 milyar parametreye sahip ancak her token için yalnızca 2,8 milyarını etkinleştiriyor; her MoE katmanında 64 uzmandan seçilen 6 yönlendirilmiş uzman ve 2 paylaşılan uzman kullanıyor. AMD, her eğitim aşamasından ağırlıkları, veri karışımlarını, eğitim konfigürasyonlarını ve çıkarım kodunu yayınlıyor. İki önemli yapısal seçim, hafif öğrenilmiş bir çıktı kapısı ekleyen Gated Multi-head Latent Attention ve uzman paralel iletişimini hesaplamayla örtüştüren FarSkip-Collective'dir. AMD, ön eğitimde %12,7 hızlanma ve uzman paralelliğiyle sunum yaparken ilk token'a kadar geçen sürede %39,2'ye varan azalma bildiriyor. Model, açık külliyatlardan 7,1 trilyon token üzerinde ön eğitildi; orta eğitimde Dolma3 Dolmino 100B kullanıldı ve uzun bağlam aşaması, YaRN kullanarak pencereyi 4K'dan 64K'ya genişletti. Eğitim sonrası, Miles çerçevesinde SFT (denetimli ince ayar), DPO (doğrudan tercih optimizasyonu) ve RL (takviyeli öğrenme) içerir. Temel kontrol noktası, tamamen açık modeller arasında en güçlüsü olan ortalama 76,7 puan alırken, Moonlight-16B-A3B (76,2) ve diğerlerini geride bırakıyor. Ağırlıklar yalnızca akademik ve araştırma amaçları için ResearchRAIL lisansı altındayken, eğitim kod tabanı MIT lisanslıdır.
Kaynak: MarkTechPost —
orijinal