So verhindern Sie, dass KI-Psychologen in Sykophantie und Halluzinationen verfallen: eine technische Analyse von Sicherheitsvorkehrungen

Der Artikel argumentiert, dass universelle große Sprachmodelle (Large Language Models, LLMs) für die Psychotherapie ungeeignet sind, und zwar aufgrund von drei grundlegenden Schwächen: Schmeichelei (Modelle, die mit verstärkendem Lernen aus menschlichem Feedback, Reinforcement Learning from Human Feedback, RLHF, trainiert wurden, neigen dazu, dem Nutzer zuzustimmen), Halluzinationen (selbstbewusste Generierung falscher Tatsachen) und Krisenübersehen (Modelle erkennen oft nicht die Selbstmordabsicht, wie im Fall eines Teenagers aus Florida 2024 mit Character.AI). Die Reaktion der Branche ist Sicherheit – eine Umhüllung –, also externe Mechanismen wie Haftungsausschlüsse, Krisenhotlines, validierte Fragebögen (PHQ‑9, GAD‑7, Beck-Skalen, HADS), Krisenfragebögen (SCI‑2, SIS) und Datenschutzmaßnahmen. Allerdings wirken diese alle an der Peripherie und prüfen nicht den tatsächlichen Antwortinhalt. Ein fortschrittlicherer Ansatz, der vom Dienst Vera umgesetzt wird, verwendet ein Multi-Agenten-System: Ein KI-Psychologe generiert die Antwort, ein KI-Supervisor überprüft Ton und Sicherheit, und ein KI-Akademiker prüft die Empfehlungen auf ihre evidenzbasierte Grundlage hin. Diese zweite Schleife fängt Schmeichelei und erfundene Ratschläge ab, vervielfacht aber die API-Aufrufe, was Kosten und Latenz erhöht. Unter sieben untersuchten russischsprachigen KI-Therapie-Diensten behauptet nur Vera eine solche zweite Überprüfung; andere verlassen sich allein auf Sicherheitsvorkehrungen an der Peripherie. Der Autor fragt, wo die vernünftige Grenze zwischen billiger peripherer Umhüllung und teurer Inhaltsüberprüfung liegt, und schlägt vor, dass selektive Überprüfungen einen Mittelweg bieten könnten.