Satu langkah agen — 120.000 token: ke mana perginya dan bagaimana kami memperbaikinya
Agen otonom dapat mengonsumsi token jauh lebih banyak dari perkiraan karena pengiriman berulang konteks penuh pada setiap langkah dalam loop agen. Artikel ini menjelaskan bagaimana Uma Computer menemukan bahwa penyebab sebenarnya bukanlah riwayat dialog, melainkan overhead berlipat dari instruksi sistem, skema alat, dan memori, serta menyajikan tiga optimasi: memindahkan volume ke alat sesuai permintaan, beralih ke anggaran karakter dengan penanda pemotongan eksplisit, dan ekspektasi kecepatan yang transparan.
Pengembang Uma Computer, sebuah agen otonom yang melakukan tugas-tugas seperti pencarian web, pembuatan media, dan pemotongan video, menyelidiki mengapa satu permintaan pengguna menghabiskan 38 kredit, bukan sepertiga dari biaya yang diharapkan. Penagihan menunjukkan 119.208 token prompt dan hanya 1.018 token completion, yang berarti model tersebut kebanyakan membaca, bukan menulis. Hipotesis awal adalah riwayat dialog yang panjang, tetapi dialog bermasalah yang sebenarnya hanya memiliki dua pesan dengan total 530 karakter. Pengukuran mengungkapkan bahwa konteks per langkah adalah 13.900 token, dan dengan 9 langkah totalnya mencapai sekitar 120.000 token; overhead tersebut dikalikan dengan jumlah langkah dalam loop agen. Selain itu, penyedia layanan mencadangkan biaya kasus terburuk dengan max_tokens yang disetel tinggi, menyebabkan kesalahan HTTP 402 bahkan dengan saldo yang cukup. Perbaikannya melibatkan memindahkan konteks yang dimuat sebelumnya ke alat sesuai permintaan, menggunakan anggaran karakter dengan prioritas dan penanda pemotongan yang eksplisit, serta membuat ekspektasi kecepatan menjadi transparan. Artikel ini menekankan bahwa konteks tidak boleh disembunyikan secara diam-diam dari model, dan optimasi harus diverifikasi pada kasus-kasus konkret, karena mereka hampir mengoptimalkan untuk kasus di mana riwayat tidak relevan.
Sumber: Habr — хаб ML —
asli