Moonshot AI, popüler Kimi-K3'ün ağırlıklarını yayınladı — pazar liderleriyle neredeyse eşit, ancak çalıştırması çok daha basit

Moonshot AI, Kimi-K3 modelinin ağırlıklarını ücretsiz olarak yayınladı; böylece yeterli işlem gücüne sahip olan herkes modeli yerel olarak çalıştırabilecek. Model, önceki nesil OpenAI GPT ve Anthropic Claude modellerinden önemli ölçüde daha iyi performans gösterirken, en yeni Sol ve Fable modellerinin sadece biraz gerisinde kalıyor. Kimi-K3'ün işletme maliyeti, Amerikan rakiplerine göre 2-3 kat daha düşük ve kodlama görevlerinde önbellek isabetleriyle maliyet, standart giriş fiyatlandırması olan milyon token başına 3 dolar yerine 0,30 dolara düşüyor. Bu verimlilik, muhtemelen ağırlık depolamada MXFP4 ve aktivasyonlarda MXFP8 kullanımından kaynaklanıyor; her ikisi de bellek tasarrufu sağlayan düşük hassasiyetli formatlar. 2,8 trilyon parametresinin yalnızca 104,2 milyarı aynı anda aktif. Model, yerel MX kayan nokta desteği bulunmayan Nvidia H20 hızlandırıcılarında çalışacak şekilde tasarlanmış olsa da, Blackwell çiplerinde daha da verimli çalışabilir. Kimi-K3, anahtar-değer önbelleğini Kimi Delta Attention adındaki sabit boyutlu bir durum işleyicisiyle değiştiriyor ve 896 uzmandan yalnızca 16'sının etkinleştirildiği MoE (Uzmanların Karışımı) kullanıyor. Ancak yalnızca ağırlıklar açık kaynak; eğitim süreci ve veri seti ise özel mülkiyet olarak kalıyor.