Forschung RSS

Forschung 🇺🇸

ConvApparel: Messung und Schließung der Realitätslücke in LLM-basierten Benutzersimulatoren

Google Research stellt ConvApparel vor, einen neuen Mensch-KI-Konversationsdatensatz und ein Drei-Säulen-Bewertungsframework, um die „Realitätslücke“ in LLM-basierten Benutzersimulatoren zu quantifizieren und zu verringern. Das Framework umfasst populationsbezogene Statistiken, Bewertung der Menschlichkeit und kontrafaktische Validierung, angewendet auf Simulatoren, die mit Gemini-Modellen erstellt wurden. Ergebnisse zeigen, dass datengesteuerte Simulatoren (ICL, SFT) promptbasierte übertreffen, aber selbst die besten Modelle weisen noch subtile synthetische Artefakte auf.

Google/DeepMindGoogle/DeepMind
Google Research27.07 · 16:04
Aktuelle Nachrichten