Agen AI: Paralelkan Pekerjaan Tanpa Memparalelkan Kesalahan

Para peneliti telah mengembangkan sebuah tolok ukur bernama Horizon dan menganalisis lebih dari 3.100 lintasan agen di berbagai lingkungan, termasuk web, sistem operasi, basis data, dan pengaturan berwujud. Eksperimen melibatkan agen yang menggunakan model dari OpenAI dan Anthropic. Temuan mengungkapkan bahwa kinerja tidak menurun secara bertahap seiring bertambahnya panjang tugas, tetapi dapat tetap stabil dan kemudian runtuh secara tiba-tiba melampaui ambang batas tertentu. Tujuh kategori utama kegagalan diidentifikasi, dikelompokkan menjadi dua keluarga: 72,5% kegagalan terkait dengan risiko proses dan 27,5% terkait dengan risiko desain agen. Anthropic menyoroti fenomena yang disebut 'polusi konteks,' di mana informasi antara yang terakumulasi memenuhi konteks agen dan mengganggu penilaian. Studi ini menyarankan bahwa memecah tugas menjadi subtugas independen yang ditangani oleh agen terpisah berhasil, sedangkan memecah fase seperti desain, implementasi, dan pengujian, yang berbagi terlalu banyak konteks, menyebabkan hilangnya informasi seperti permainan telepon. Bagi para eksekutif, ada empat pertanyaan kunci: siapa yang membuat keputusan, berdasarkan informasi apa, dengan biaya berapa, dan apakah satu langkah yang gagal dapat diputar ulang secara independen. Tanpa kemampuan putar ulang, insiden akan memulai ulang semuanya, dan pemecahan yang tidak tepat dapat menghabiskan biaya 3 hingga 10 kali lebih banyak daripada satu agen.