SkillOpt: Turning AI Agent Skills into Trainable Parameters
Microsoft
OpenAI
Alibaba/Qwen
Microsoft researchers introduced SkillOpt, a method that treats an agent's skill file as a trainable parameter outside the frozen model. The approach achieved best or comparable results in all 52 evaluation cells across six benchmarks with seven models, including GPT-5.5. Optimized skills are compact, readable, and transferable across models and runtime environments.
Microsoft Research memperkenalkan metode SkillOpt (Skill Optimization), yang mengubah pengeditan keterampilan (skills) agen AI menjadi proses pembelajaran yang terkendali. Tidak seperti penulisan manual atau pembuatan keterampilan satu kali, SkillOpt memperlakukan file keterampilan sebagai parameter yang dapat dipelajari dan berada di luar model target yang dibekukan. Prosesnya meliputi forward pass (menjalankan tugas dengan keterampilan saat ini), backward pass (menganalisis lintasan dengan model pengoptimal terpisah), dan langkah pembaruan dengan sedikit pengeditan (penambahan, penghapusan, penggantian) yang dibatasi oleh laju pembelajaran teks. Setiap perubahan yang diajukan menjalani verifikasi ketat pada sampel hold-out: hanya diterima jika secara ketat meningkatkan hasil. Suntingan yang ditolak masuk ke dalam buffer umpan balik negatif. Juga digunakan pembaruan lambat/meta untuk mengekstrak pembelajaran jangka panjang. SkillOpt diuji pada enam tolok ukur (SearchQA, SpreadsheetBench, OfficeQA, DocVQA, LiveMathematicianBench, ALFWorld) dengan tujuh model dari GPT-5.5 hingga Qwen3.5-4B dan dalam tiga mode eksekusi (dialog, Codex, Claude Code). Metode ini menunjukkan hasil terbaik atau terkait terbaik di semua 52 sel evaluasi. Untuk GPT-5.5 dalam mode dialog, skor rata-rata pada enam tolok ukur meningkat dari 58,8 menjadi 82,3 (+23,5 poin). Peningkatan terbesar terjadi pada tolok ukur prosedural: SpreadsheetBench dari 41,8 menjadi 80,7, OfficeQA dari 33,1 menjadi 72,1, LiveMathematicianBench dari 37,6 menjadi 66,9. Keterampilan yang dioptimalkan dapat ditransfer antar model dengan ukuran berbeda, lingkungan eksekusi, dan tugas terkait, menunjukkan perolehan pengetahuan prosedural yang digeneralisasi. Misalnya, keterampilan spreadsheet yang dilatih di Codex dan ditransfer ke Claude Code meningkatkan skor dasar dari 22,1 menjadi 81,8 (+59,7). File keterampilan akhir bersifat ringkas (panjang median sekitar 920 token) dan berisi satu hingga empat perubahan yang diterima. Metode ini tersedia di repositori GitHub dan halaman proyek.
Sumber: Microsoft Research —
asli