GPT-2'den Kimi K3'e: Yedi Yılda 22.600 Kat Ölçeklenme, Büyük Model Mimarisi Ana Hattı Bir 'Bellek İşletim Sistemi' Oluşturuyor
OpenAI
Moonshot AI
Makale, büyük dil modellerinin GPT-2'den Kimi K3'e evrimini izliyor ve yedi yılda 22.600 katlık bir ölçek artışına dikkat çekiyor. Mimari eğilimin, yapay zeka için bir 'bellek işletim sistemi' kurulmasına doğru olduğunu savunuyor.
Makale, OpenAI'ın GPT-2'sinden Moonshot AI'nin Kimi K3'üne kadar büyük dil modellerinin gelişimini ele alıyor ve yedi yıl içinde model ölçeğinin 22.600 kat arttığını belirtiyor. Ana mimari yönün, bağlamı ve bilgiyi verimli bir şekilde yöneten bir 'bellek işletim sistemi' oluşturmak olduğunu öne sürüyor. Metin muhtemelen bu bellek merkezli yaklaşımın daha uzun bağlam ve daha karmaşık akıl yürütmeyi nasıl mümkün kıldığını detaylandırıyor.
Kaynak: Moonshot Kimi (GNews) —
orijinal