Kimi K3 auf PAC1 und ECOM1: Ergebnisse von 204 Aufgaben und Fehleranalyse

Moonshot AI hat am 27. Juli die offenen Gewichte von Kimi K3 zusammen mit einem technischen Bericht veröffentlicht. Um die Leistung unabhängig zu überprüfen, wurde das Modell auf zwei BitGN-Aufgabensätzen getestet: PAC1 (Dokumente, Rechnungen, Posteingang, Batch-Dateiänderungen) und ECOM1 (Katalog, Lagerbestand, Warenkörbe, Zahlungen, Retouren, Logistik). PAC1 erreichte 61 von 104 Punkten (binär), ECOM1 44,75 von 100 Punkten (Teilpunkte). Die 204 offenen Ablaufverfolgungen ermöglichen die Überprüfung jedes Befehls und jedes Zustandswechsels. Bei PAC1 erzielten einfache Such- und Rechenaufgaben eine Erfolgsquote von 90-92 %, es traten jedoch drei wesentliche Fehlermodi auf: Verletzung des exakten Schemas (Schreiben ähnlicher, aber falscher Feldnamen), nicht-atomare Batch-Operationen (partielle Dateiänderungen vor der vollständigen Satzvalidierung) und nicht-blockierende Überprüfungen nicht vertrauenswürdiger Eingaben (gefährlicher Inhalt erkannt, aber Aktion dennoch ausgeführt). Bei ECOM1 funktionierten die präzise SKU-Suche und der Standard-Checkout gut, aber zu den Fehlermodi gehörten Zustandsverluste zwischen Zeilen in mehrzeiligen Berichten, übermäßiges Flaggen von Anomalien, fehlende Identitätsprüfungen vor dem Lesen privater Daten sowie Zustandsänderungen aufgrund nicht vertrauenswürdiger Eingaben. Optimierungsaufgaben (Einsatzplanung) lieferten machbare, aber suboptimale Pläne. Ein Vergleich mit anderen öffentlichen BitGN-Läufen zeigt, dass Kimi K3 bei einfachen Aufgaben wettbewerbsfähig ist, aber bei komplexen mehrstufigen Einschränkungen zurückliegt.