Yang Kurang dari Chatbot LLM: Rasa Tujuan

Chatbot berbasis model bahasa besar (LLM) terus meningkat, namun kemajuan mereka diukur melalui tolok ukur seperti MMLU, HumanEval, dan MATH, yang menguji respons satu putaran. Sementara itu, tugas-tugas dunia nyata seperti perencanaan perjalanan atau mengotomatiskan isu GitHub memerlukan dialog multi-putaran dengan penyempurnaan persyaratan. Para peneliti menunjukkan bahwa bahkan model canggih seperti LLaMA2-chat-70B dan GPT-3.5-turbo-16k mulai kehilangan kepatuhan terhadap perintah sistem setelah sekitar 1,6 ribu token (kurang lebih 16 putaran). Hal ini dikonfirmasi oleh eksperimen di mana dua agen LLM berkomunikasi satu sama lain, lalu diperiksa seberapa baik masing-masing mengikuti instruksinya. Masalahnya adalah pelatihan melalui Reinforcement Learning from Human Feedback (RLHF) tidak mempertimbangkan perencanaan multi-langkah—RLHF mengoptimalkan respons satu putaran, bukan tujuan jangka panjang. Penulis mengusulkan pendekatan 'dialog berorientasi tujuan', di mana chatbot bertindak sebagai asisten yang secara bertahap mengklarifikasi niat pengguna. Contoh sistem semacam itu termasuk 'dialog berorientasi solusi' dan platform Sotopia, yang memodelkan pengambilan keputusan kolaboratif. Untuk menciptakan asisten sejati, kita tidak hanya perlu menghasilkan teks, tetapi merancang dialog sebagai permainan berorientasi tujuan, di mana setiap ujaran mengubah model dunia lawan bicara.