Routing Model: Sederhana? Sampai Anda Menghadapi Realitas

Routing antar model AI ternyata sangat kompleks. Dalam pengujian dengan 417 tugas di AppWorld Test Challenge menggunakan agen CodeAct, GPT-4.1 menghabiskan biaya $155 ($0,37/tugas) sementara Claude Sonnet $79 ($0,19/tugas), meskipun GPT-4.1 memiliki harga per token yang lebih rendah. Perbedaan ini berasal dari caching: harga pembacaan cache Sonnet yang lebih rendah memberikan keuntungan besar pada beban kerja agen dengan konteks yang digunakan kembali. Tingkat kesulitan tugas seringkali tidak terlihat pada saat routing, dan router harus menyeimbangkan biaya, kualitas, latensi, kepatuhan, dan keandalan secara bersamaan. Latensi bergantung pada faktor infrastruktur seperti perangkat keras dan status cache, bukan hanya ukuran model. Para penulis membangun router yang memperlakukan routing sebagai masalah optimasi, bukan klasifikasi, sehingga menghasilkan batas antara biaya dan akurasi. Konfigurasi 1 mencapai akurasi 84% dengan biaya $93 dan 83 detik, mengurangi biaya sebesar 21% dan latensi sebesar 9% dibandingkan menjalankan Opus sendiri, dengan hanya penurunan akurasi 4%. Router standar berbasis kesulitan (belah ketupat teal) memiliki akurasi serupa tetapi biaya lebih tinggi. Optimasi ini ringan: sekitar 6 milidetik dan 2 kilobyte memori per tugas.