ABBEL: Training von LLMs zur Aktualisierung von Überzeugungen für effiziente Langzeitinteraktionen

ABBEL (Autoencoder Belief Bottleneck for Efficient Learning) befasst sich mit dem Problem, dass große Sprachmodelle bei langen Interaktionen Schwierigkeiten haben, wenn der vollständige Kontextverlauf nicht in das Kontextfenster passt. Anstelle einer traditionellen rekursiven Zusammenfassung formuliert ABBEL Zusammenfassungen als Glaubenszustände, die das Modell periodisch aktualisiert. Das Belief Grading fügt eine zusätzliche Aufgabe des bestärkenden Lernens hinzu, die Glaubenszustände danach belohnt, wie gut sie aktuelle Beobachtungen rekonstruieren können. In der kollaborativen Codierungsumgebung CollabBench erreichte ABBEL mit rekonstruktionsbasiertem Belief Grading eine Testbestehensrate von 0,48 (gegenüber 0,52 für den vollständigen Kontext) und eine Erfolgsrate von 0,36 (gegenüber 0,39), während es 6,01 Spitzen-Token im Vergleich zu 14,08 für den vollständigen Kontext verwendete und nur 50 Trainingsschritte gegenüber 100 benötigte. Bei der Aufgabe „Combination Lock“ ermöglichte domänenwissensbasiertes Belief Grading, dass ABBEL die Leistung des vollständigen Kontexts erreichte oder übertraf. Bei der multiobjektiven Beantwortung von Fragen reduzierte eine Spitzen-Glaubenslängen-Strafe den Speicherverbrauch bei minimalem Leistungsverlust. Das Papier wurde von Lidayan et al. von Berkeley AI verfasst.