Von GPT-2 bis Kimi K3: Maßstab wächst 22.580-fach in sieben Jahren, Hauptarchitektur-Thread baut ein „Memory-Betriebssystem“

Die technische Evolution großer Modelle von GPT-2 bis Kimi K3 zeigt, wie sich die KI-Architektur vom „Sich-an-alles-Erinnern“ zum „Selektiven Gedächtnis“ bewegt. KV Cache löst das Problem der Generierungseffizienz, Lineare Aufmerksamkeit erforscht effizienteres Langzeitgedächtnis, DeltaNet und Kimi Linear ermöglichen Modellen, Informationen zu lernen, zu aktualisieren, zu vergessen und zu verwalten. Kimi K3 hat 2,8 Billionen Parameter, das entspricht etwa 22.580 GPT-2-Modellen.

Moonshot AI

Fei-Fei Lis World Labs startet R2S2R-Engine für Robotertraining in der Simulation

World Labs, gegründet von Fei-Fei Li, hat die Real-to-sim-to-real (R2S2R)-Engine für das Training und die Evaluierung von Roboterrichtlinien gestartet. Die Engine verbindet Simulation und Realität und ermöglicht es Robotern, in virtuellen Welten zu trainieren und direkt auf echter Hardware zu deployen, mit bis zu einer Stunde autonomem Betrieb ohne menschlichen Eingriff.

World Labs