Moonshot AI avoimoi MoonEP-kirjaston: Täydellisesti tasapainotettu asiantuntijarinnakkaisuuskirjasto MoE-koulutukseen

Moonshot AI on avannut MoonEP:n lähdekoodin MIT-lisenssillä. MoonEP on Expert Parallelism (EP) -viestintäkirjasto hajautetuille Mixture-of-Experts (MoE) -työkuormille. MoonEP julkaistiin osana Kimi K3 Open Day -tapahtumaa yhdessä K3-mallipainojen, teknisen raportin sekä muiden infrastruktuurikoodipohjien (FlashKDA ja AgentEnv) kanssa. Se ratkaisee asiantuntijarinnakkaisuuden reitittimen epätasapainon ongelman pakottamalla kovan invariantin, jonka mukaan jokainen rankki vastaanottaa täsmälleen S×K tokenia. Tämä saavutetaan suunnittelemalla lennossa redundantit asiantuntijat, jotka noudetaan etukäteen ennen laskentaa. Suunnittelu takaa täydellisen tasapainon, online-suunnittelun GPU-ytimen avulla ilman merkittävää lisäkuormaa, nollakopioinnin ja staattiset muodot, jotka poistavat tarpeen kerroskohtaiselle isäntäsynkronoinnille. Vertailut DeepEP v2:een osoittavat, että MoonEP:n viestintäaika pysyy vakiona epätasapainon kasvaessa, kun taas DeepEP:n suorituskyky heikkenee. Harjoittelu vaatii B = E/R esinoutopaikkaa; päättelyssä voidaan käyttää B = 3–4 ilman oikeellisuuskustannuksia.