Memikirkan ACE? Kita Bisa Melakukannya dengan Lebih Sedikit Token
DeepSeek
OpenAI
Blog ini membandingkan dua sistem memori agen, ACE (Agentic Context Engineering) dan ALTK-Evolve, yang keduanya mengubah lintasan masa lalu agen menjadi pelajaran yang dapat digunakan kembali tanpa pembaruan bobot. Keduanya sepakat untuk tidak mengompresi pelajaran, tetapi berbeda dalam penyampaian: ACE menyuntikkan buku pedoman yang komprehensif di setiap langkah, sementara ALTK-Evolve mengkalibrasi berapa banyak pedoman yang harus dikirim berdasarkan model dan tugas. Pada AppWorld, ALTK-Evolve mencapai akurasi yang sama atau lebih baik dengan biaya inferensi yang jauh lebih rendah.
Blog ini memperkenalkan ALTK-Evolve dan membandingkannya dengan ACE (Agentic Context Engineering), yang keduanya merupakan bentuk memori agentik yang mengubah lintasan masa lalu agen menjadi pelajaran yang dapat digunakan kembali, disuntikkan pada waktu inferensi tanpa memperbarui bobot. Kedua sistem sepakat pada prinsip inti untuk tidak mengompresi pelajaran: ACE menggunakan playbook komprehensif yang berkembang dengan penghitung bermanfaat/berbahaya per butir, sementara ALTK-Evolve menggabungkan pelajaran serupa ke dalam kluster dan mempertahankan jumlah dukungan untuk setiap pedoman, tidak pernah merangkum penyimpanan. Keduanya berbeda dalam cara memori dibangun dan disampaikan: ACE menumbuhkan playbook tunggal melalui loop Generator, Reflector, dan Curator dengan pembaruan delta dan deduplikasi berbasis embedding, sedangkan ALTK-Evolve mengkluster duplikat dekat, mendukung penggabungan dengan konservasi dukungan, dan mengekstrak pedoman bertipe (strategi, pemulihan, optimasi) dengan provensi pada granularitas subtugas. Perbedaan utama adalah penyampaian: ACE menyuntikkan playbook penuh pada setiap langkah, sementara ALTK-Evolve mengirim inti tetap kecil dari pedoman dukungan tinggi plus pemilihan per tugas, atau set penuh jika model dapat menanganinya. Pada tolok ukur AppWorld dengan agen ReAct yang sama, ALTK-Evolve mencapai skor TGC dan SGC yang lebih tinggi atau sebanding dengan token yang jauh lebih sedikit: untuk DeepSeek-V3.2, TGC 89,3 vs 80,4 dan 263K vs 634K token per tugas; untuk gpt-oss-120b, TGC 56,0 vs 54,8 dan 116K vs 777K token. Peningkatan akurasi berasal dari mengambil beberapa pedoman per tugas alih-alih menyuntikkan playbook penuh, dan analisis berdasarkan tingkat kesulitan menunjukkan bahwa pada tugas sulit, pengambilan terkurasi mengungguli playbook penuh, sementara pada tugas yang lebih mudah, playbook penuh mungkin lebih membantu tetapi perbedaannya kecil. Blog mencatat bahwa efisiensi ACE sendiri ada dalam membangun konteks dengan murah, sementara efisiensi ALTK-Evolve ada dalam menyajikannya, dan bahwa kalibrasi penyampaianlah yang mendorong penghematan token. Pustaka ALTK-Evolve, termasuk pipeline ekstraksi, konsolidasi, dan pengambilan, tersedia, bersama dengan laporan teknis lengkap.
Sumber: Hugging Face blog —
asli
