Von GPT-2 bis Kimi K3: Sieben Jahre 22.600-facher Skalierung, die Hauptlinie der Large-Model-Architektur baut ein 'Memory-Betriebssystem' auf

Der Artikel diskutiert die Entwicklung großer Sprachmodelle von OpenAIs GPT-2 bis zu Moonshot AIs Kimi K3 und stellt fest, dass sich die Modellgröße über sieben Jahre um den Faktor 22.600 erhöht hat. Es wird nahegelegt, dass die wichtigste architektonische Richtung der Aufbau eines 'Speicher-Betriebssystems' ist, das Kontext und Wissen effizient verwaltet. Der Beitrag erläutert wahrscheinlich, wie dieser speicherzentrierte Ansatz längere Kontexte und komplexeres Denken ermöglicht.