Mengapa LLM Sempurna Pun Tidak Akan Membuat Sistem Agen Menjadi Prediktif
Beijing Academy of Artificial Intelligence (BAAI)
Bahkan jika LLM berhenti berhalusinasi dan menjadi deterministik, sistem multi-agen yang didasarkan padanya tetap tidak dapat diprediksi karena interaksi agen yang nonlinier. Penulis mendemonstrasikan dengan contoh bahwa kueri yang serupa secara semantik dapat menghasilkan respons yang berlawanan, dan dalam rantai agen, penyimpangan kecil terakumulasi dan menghasilkan kekacauan deterministik.
Artikel ini mengkaji ketidakpastian sistem multi-agen berbasis LLM bahkan ketika tidak ada halusinasi. Penulis melakukan eksperimen dengan model Qwen Instruct 30B pada suhu 0: untuk delapan pertanyaan serupa tentang determinisme LLM, model memberikan dua jawaban yang berlawanan, meskipun setiap pertanyaan individual direproduksi secara identik. Kemiripan semantik dari pertanyaan-pertanyaan tersebut, diukur dengan metrik BAAI/bge-m3, adalah 0,30–0,39, yang berarti secara praktis tidak dapat dibedakan oleh pengguna. Selanjutnya, penulis mensimulasikan perilaku rantai agen menggunakan peta logistik—transformasi nonlinier dari keadaan. Dengan nilai awal yang sesuai dengan kemiripan semantik, lintasan menyimpang secara kacau pada langkah ke-15, meskipun setiap langkah bersifat deterministik. Kesimpulan: prediktabilitas satu agen tidak menjamin prediktabilitas komposisi karena nonlinieritas dan akumulasi kesalahan. Rekomendasi praktis mencakup membatasi panjang rantai berurutan, memperkenalkan titik verifikasi, menggunakan struktur paralel, dan menguji pipa pada input yang serupa secara semantik.
Sumber: Habr — хаб ИИ —
asli