ABBEL: Melatih LLM untuk Memperbarui Keyakinan demi Interaksi Jangka Panjang yang Efisien
Cursor
Alibaba/Qwen
ABBEL adalah kerangka kerja yang meningkatkan kinerja LLM dalam tugas jangka panjang dengan mengisolasi dan mengawasi konten informasi ringkasan menggunakan status keyakinan bahasa alami. Kerangka ini mengurangi kesenjangan kinerja dibandingkan dengan model konteks penuh sekitar 50% sambil memotong langkah pelatihan menjadi setengahnya dan menggunakan memori yang jauh lebih sedikit.
ABBEL (Autoencoder Belief Bottleneck for Efficient Learning) mengatasi masalah model bahasa besar (LLM) yang kesulitan dengan interaksi panjang di mana riwayat konteks penuh tidak dapat muat dalam jendela konteks. Alih-alih menggunakan perangkuman rekursif tradisional, ABBEL merumuskan ringkasan sebagai keadaan keyakinan yang diperbarui model secara berkala. Pemeringkatan keyakinan (belief grading) menambahkan tugas penguatan (RL) tambahan yang memberi penghargaan pada keyakinan berdasarkan seberapa baik keyakinan tersebut dapat merekonstruksi observasi terkini. Dalam lingkungan pengodean kolaboratif CollabBench, ABBEL dengan pemeringkatan keyakinan berbasis rekonstruksi mencapai tingkat kelulusan pengujian 0,48 (dibandingkan 0,52 untuk konteks penuh) dan tingkat keberhasilan 0,36 (dibandingkan 0,39), sementara menggunakan puncak 6,01 token dibandingkan 14,08 untuk konteks penuh, dan hanya memerlukan 50 langkah pelatihan dibandingkan 100. Dalam tugas Combination Lock, pemeringkatan keyakinan berbasis pengetahuan domain memungkinkan ABBEL mendekati atau melampaui kinerja konteks penuh. Dalam QA multi-objektif, Peak Belief Length Penalty mengurangi penggunaan memori dengan penurunan kinerja minimal. Makalah ini ditulis oleh Lidayan dkk. dari Berkeley AI.
Sumber: BAIR (Berkeley AI) —
asli