AI yang Sama, Biaya Berbeda: Pilihan Framework Mengubah Harga Hampir Tiga Kali Lipat

Perusahaan perkakas AI Composio menguji Deepseek V4 Flash dalam empat kerangka kerja agen yang berbeda: Claude Code, Codex, OpenCode, dan Oh My Pi. Mereka menjalankan 30 tugas menggunakan perkakas nyata seperti Gmail, GitHub, Slack, dan Notion. Hasilnya: tidak ada kerangka kerja yang terbaik di semua kategori. Oh My Pi mencapai tingkat keberhasilan tertinggi (17 dari 30) tetapi paling lambat (272 detik per tugas). OpenCode adalah yang termurah (0,073 dolar per tugas yang berhasil), Claude Code adalah yang tercepat (122 detik) tetapi paling mahal (0,195 dolar), meskipun menggunakan jumlah panggilan perkakas dan token keluaran paling sedikit. Tujuh tugas berhasil atau gagal hanya bergantung pada kerangka kerja yang digunakan. Secara keseluruhan, tingkat keberhasilan hampir sama, dengan OpenCode sedikit lebih rendah yaitu 14 dari 30. Perbedaan terbesar ada pada harga dan kecepatan: pilihan kerangka kerja mengubah biaya hampir tiga kali lipat dan kecepatan 2,2 kali.