ConvApparel: Messung und Schließung der Realitätslücke in LLM-basierten Benutzersimulatoren

Forscher von Google Research, Ofer Meshi und Sally Goldman, haben ConvApparel vorgestellt, einen neuen Datensatz und Bewertungsrahmen, der entwickelt wurde, um die Realitätsnähe von auf großen Sprachmodellen (Large Language Models, LLMs) basierenden Benutzersimulatoren zu messen und zu verbessern. Der Datensatz umfasst über 4.000 menschlich-KI-Mehrrunden-Gespräche (fast 15.000 Runden) im Bereich Bekleidungseinkauf, die mit einem Zwei-Agenten-Protokoll gesammelt wurden, bei dem Benutzer zufällig entweder einem hilfreichen „guten“ Agenten oder einem absichtlich unhöflichen „schlechten“ Agenten zugewiesen wurden. Der Rahmen umfasst drei Säulen: Bevölkerungsstatistiken, Bewertung der Menschlichkeit durch einen automatischen Diskriminator sowie kontrafaktische Validierung. Unter Verwendung der Gemini-Modellfamilie wurden drei Simulatoren getestet: eine Basislinie mit Prompt, ein Simulator mit In-Context-Learning (ICL) und Retrieval-Augmented Generation sowie ein Simulator mit überwachtem Feintuning (Supervised Fine-Tuning, SFT). Die Ergebnisse zeigten, dass datengetriebene Simulatoren (ICL und SFT) die Basislinie mit Prompt übertrafen und in Tests auf Bevölkerungsebene eng menschliches Verhalten widerspiegelten, aber alle simulierten Gespräche wurden vom Diskriminator für Menschlichkeit sicher als synthetisch identifiziert. Die kontrafaktische Validierung zeigte, dass ICL- und SFT-Simulatoren sich an den unbekannten „schlechten“ Agenten anpassen konnten, indem sie vermehrte Frustration zeigten, während die Basislinie mit Prompt unnatürlich höflich blieb. Die Forschung hebt die anhaltende Realitätslücke hervor und bietet Werkzeuge, um sie zu schließen.