SPEX dan ProxySPEX: Metode untuk Mengidentifikasi Interaksi Berpengaruh dalam LLM dalam Skala Besar
OpenAI
Peneliti dari BAIR (Berkeley AI) memperkenalkan SPEX dan ProxySPEX — algoritma yang mampu mengidentifikasi interaksi kritis antara fitur, data, dan komponen model AI, termasuk LLM, dengan kecepatan jauh lebih tinggi dibandingkan metode yang ada. Metode ini didasarkan pada ide sparsity dari interaksi berpengaruh dan menggunakan teknik dari teori koding serta pemrosesan sinyal. Penerapan SPEX menunjukkan bahwa metode atribusi standar (misalnya, SHAP) dapat melewatkan sinergi kompleks, seperti pada kasus masalah troli. ProxySPEX, yang memanfaatkan properti hierarki, mencapai akurasi yang sama dengan kira-kira 10 kali lebih sedikit ablasi.
Peneliti dari BAIR (Berkeley Artificial Intelligence Research) telah mengembangkan algoritme SPEX dan ProxySPEX untuk mengidentifikasi interaksi yang berpengaruh di antara komponen-komponen sistem pembelajaran mesin yang kompleks, termasuk model bahasa besar (LLM). Tantangannya adalah jumlah interaksi potensial tumbuh secara eksponensial seiring dengan jumlah fitur, titik data, atau komponen internal, sehingga enumerasi menyeluruh menjadi tidak mungkin dilakukan secara komputasi. SPEX memanfaatkan asumsi sparsity dan derajat rendah: jumlah interaksi yang benar-benar berpengaruh kecil, dan hanya melibatkan sedikit subset elemen. Dengan menggunakan ablasi yang dipilih secara strategis dan algoritme pemulihan sparse dari teori pengkodean, SPEX secara efisien mengidentifikasi interaksi-interaksi ini. ProxySPEX lebih lanjut mengeksploitasi hierarki: jika interaksi orde tinggi penting, maka subset orde rendahnya juga penting, sehingga mengurangi jumlah ablasi sekitar sepuluh kali lipat dibandingkan SPEX. Dalam tugas atribusi fitur, SPEX mengungguli metode yang ada pada konteks panjang (ribuan fitur). Misalnya, dalam 'masalah troli' yang dimodifikasi, metode SHAP standar mengatribusikan jawaban salah GPT-4o mini ke kata-kata individual seperti 'trolley,' sedangkan SPEX mengidentifikasi sinergi antara dua kemunculan 'trolley' dengan 'pulling' dan 'lever'; mengganti keempat kata ini dengan sinonim mengurangi tingkat kesalahan model hingga mendekati nol. Dalam atribusi data, ProxySPEX berhasil menyoroti interaksi sinergis dan redundan di antara sampel pelatihan untuk ResNet pada CIFAR-10. Dalam interpretabilitas mekanistik (atribusi komponen), metode ini mengungkapkan bagaimana kepala perhatian (attention heads) di berbagai lapisan LLM berinteraksi dan meningkatkan kinerja model target setelah pemangkasan dibandingkan dengan metode lain. Kode untuk SPEX dan ProxySPEX tersedia di repositori SHAP-IQ.
Sumber: BAIR (Berkeley AI) —
asli