Was LLM-Chatbots fehlt: Ein Sinn für Zweck

LLM-Chatbots verbessern sich ständig, aber ihr Fortschritt wird an Benchmarks wie MMLU, HumanEval und MATH gemessen, die Einmalantworten testen. Reale Aufgaben wie Reiseplanung oder die Automatisierung von GitHub-Issues erfordern jedoch mehrstufige Dialoge mit Anforderungsverfeinerung. Forscher haben gezeigt, dass selbst fortschrittliche Modelle wie LLaMA2-chat-70B und GPT-3.5-turbo-16k nach etwa 1.600 Token (ungefähr 16 Runden) die Bindung an den System-Prompt verlieren. Dies wird durch ein Experiment bestätigt, bei dem zwei LLM-Agenten miteinander kommunizierten und anschließend überprüft wurde, wie gut jeder seiner Anweisung folgte. Das Problem besteht darin, dass das Training durch Reinforcement Learning from Human Feedback (RLHF) keine mehrstufige Planung berücksichtigt – es optimiert Einmalantworten statt langfristiger Ziele. Der Autor schlägt einen „zielgerichteten Dialog“-Ansatz vor, bei dem der Chatbot als Assistent fungiert, der nach und nach die Absichten des Nutzers klärt. Beispiele für solche Systeme sind der „lösungsorientierte Dialog“ und die Sotopia-Plattform, die kollaborative Entscheidungsfindung modellieren. Um echte Assistenten zu schaffen, müssen wir nicht nur Text generieren, sondern Dialoge als zielgerichtete Spiele entwerfen, bei denen jede Äußerung das Weltmodell des Gesprächspartners verändert.