Dari GPT-2 ke Kimi K3: Tujuh Tahun Skala 22.600x, Garis Utama Arsitektur Model Besar Membangun 'Sistem Operasi Memori'

Artikel ini membahas perkembangan model bahasa besar dari GPT-2 milik OpenAI hingga Kimi K3 milik Moonshot AI, dengan mencatat bahwa skala model telah meningkat 22.600 kali lipat selama tujuh tahun. Artikel ini menunjukkan bahwa arah arsitektur utama adalah membangun 'sistem operasi memori' yang mengelola konteks dan pengetahuan secara efisien. Bagian ini kemungkinan merinci bagaimana pendekatan yang berpusat pada memori ini memungkinkan konteks yang lebih panjang dan penalaran yang lebih kompleks.