Bagaimana Kimi K3 Mencapai Puncak: Perjalanan Pelatihan 2,8 Triliun Parameter

Moonshot AI telah mengembangkan Kimi K3, sebuah model bahasa besar dengan 2,8 triliun parameter, yang mencapai kinerja terbaik dalam tolok ukur. Proses pelatihan melibatkan arsitektur Mixture of Experts (MoE) dan komputasi paralel masif di ribuan GPU. Model ini menunjukkan peningkatan signifikan dalam kemampuan penalaran, pengkodean, dan multibahasa. Pencapaian ini menyoroti kemampuan Tiongkok yang semakin berkembang dalam pengembangan model AI berskala besar.