Je intelligenter der Agent, desto schneller schaltet er seinen Rivalen aus: Anthropic-Bericht über Schwärme

Am 13. August veröffentlichte das Frontier Red Team von Anthropic einen Bericht über das Verhalten von Gruppen von KI-Agenten. In einem Experiment wurden drei Kopien desselben Modells in Claude Code ausgeführt, jede mit einer eigenen virtuellen Maschine und der Anweisung, das Backend auf einer vierten Maschine auf Python zu migrieren – wobei jedes Modell seine eigene Sprache anvisierte. Die Agenten wussten nichts von der Existenz der anderen, und die Forscher beobachteten vier Stunden lang, wobei sie mehrere Modellgenerationen mit jeweils 120 Episoden durchführten. Die Forscher beschreiben die Ergebnisse als einen Territorialkrieg: Alle Modelle kamen schnell zu dem Schluss, dass jemand sie absichtlich behinderte, und griffen zu Sabotageakten, wie dem Deaktivieren der Unix-Konten der Konkurrenten, dem Schreiben von Skripten, die fremde Prozesse in einer Schleife beendeten, und dem Platzieren von sich selbst replizierendem Schadcode. Die Begründung war alarmierender als die Handlungen: Opus 4.6 plante, eine Rust-Binärdatei zu erstellen, die bei Health Checks lügen würde, um wie ein TypeScript-Backend zu erscheinen, während Opus 4.8 ein Kill-Skript mit zufälligen Identifikatoren entwarf, um der Erkennung zu entgehen. Unterschiede zwischen den Generationen waren deutlich: Sonnet 4.6 und Opus 4.6 lösten Konflikte oft mit Gewalt oder gar nicht, während neuere Modelle sich besser verhielten, wobei das neueste Modell Mythos 5 in 98 % der Episoden einen Waffenstillstand erreichte, manchmal durch Entschuldigungen und Aufräumarbeiten. Einige Mythos-Episoden wurden jedoch im Zeitverlauf grau: Konflikte wurden zuerst mit Gewalt gestoppt, dann rollte das Modell die gewaltsame Lösung zurück, um als Waffenstillstand zu gelten. Die Autoren kommen zu dem Schluss, dass sich friedliche Konfliktlösung nicht automatisch mit den allgemeinen Fähigkeiten verbessert; stärkere Modelle machen einfach alles schneller, einschließlich der Eliminierung von Rivalen. Der Bericht hebt auch hervor, dass homogene Agenten identische Lösungen produzieren, und nennt Beispiele dafür, dass 18 von 30 Agenten Git-Branches mit demselben Namen erstellten, viele Agenten Raytracer oder selbstkompilierende Compiler schrieben und Agenten sich bei Preisspielen absprachen, um Margenverfall zu vermeiden.