Stiller Fehler in MiroFish: Was passiert, wenn ein KI-Gesellschaftssimulator reines Lorem Ipsum bekommt

Eine Untersuchung des Open-Source-Multi-Agenten-Gesellschaftssimulations-Stacks MiroFish, durchgeführt von einem Forscher der computergestützten Sozialwissenschaften, deckte einen kritischen Defekt namens „Silent Failure“ auf. Die Studie lud fehlerhafte Eingaben, einschließlich reinem Lorem ipsum, in die MiroFish-Offline-Distribution, die eine typische GraphRAG-Architektur mit Neo4j, einer Agentenschicht und LLMs über OpenRouter verwendet. In zwei UI-Läufen mit DeepSeek und Claude Sonnet 4 extrahierte die Pipeline korrekt null Entitäten aus dem unsinnigen Text, hing dann aber bei der Agentengenerierung fest und zeigte einen nicht fortschreitenden Status „Konfiguration wird generiert“ für 30 bzw. 70 Minuten, ohne Timeout oder Fehler. Ein instrumentierter Lauf, der das Backend direkt beobachtete, zeigte jedoch, dass das Backend tatsächlich innerhalb von Millisekunden (24–33 ms) an den Agenten-Endpunkten fehlschlug und klare Fehlermeldungen wie „Keine Entitäten, die den Kriterien entsprechen, gefunden“ zurückgab, was dem scheinbaren Einfrieren der UI widerspricht. Dies deutet darauf hin, dass die UI-Schicht des Systems Backend-Fehler nicht an den Benutzer kommuniziert, ein Designfehler, der unabhängig vom verwendeten KI-Modell ist. Die Studie, Teil einer dreiteiligen Serie, zielt darauf ab, zu kartieren, wo solche Pipelines unsinnige Eingaben stillschweigend normalisieren, anstatt sie zu erkennen, mit weiteren Erkenntnissen zu absurden Eingaben wie dem fiktiven Land Valdoria, die in späteren Teilen veröffentlicht werden.