Evolusi Kompresi Konteks dalam Agen AI

Agen AI adalah siklus pertukaran pesan antara pengguna dan model bahasa (LLM), di mana model dapat memanggil alat atau MCP. Setiap interaksi menambahkan riwayat percakapan, yang biasanya dikirim secara lengkap ke panggilan model berikutnya. Namun, jendela konteks, meskipun besar, tidak terbatas, dan performa menurun dengan riwayat yang besar dan tidak terstruktur dengan baik. Makalah klasik 'Lost in the Middle' menunjukkan kurva berbentuk U: model menggunakan awal dan akhir input panjang dengan lebih baik daripada bagian tengahnya. Artikel ini menelusuri evolusi pendekatan untuk mengompres konteks: pemotongan ekor sederhana (jendela bergulir) di LangChain melalui trim_messages; merangkum pesan lama menjadi blok ringkasan menggunakan SummarizationMiddleware di create_agent; kemudian melindungi N pesan pertama dan ekor terbaru sambil mengompresi bagian tengah, seperti yang terlihat pada Hermes Agent dan kompresi dari tengah ke luar milik OpenRouter. Pendekatan terbaru memisahkan riwayat yang disimpan dari konteks kerja: riwayat lengkap disimpan secara eksternal (misalnya, dalam file), panggilan model menerima tampilan dengan ekor terbaru plus ringkasan, dan agen diberikan alat seperti read_file atau grep untuk mengambil detail dari riwayat lengkap. Pustaka Deep Agents dari LangChain mengimplementasikan ini dalam SummarizationMiddleware-nya, meskipun namanya membingungkan karena berbagi dengan middleware dasar. Evolusi ini merupakan bagian dari tren yang lebih luas dalam rekayasa konteks, membedakan apa yang diketahui agen (riwayat lengkap, hasil alat, keterampilan) dari apa yang masuk ke panggilan model berikutnya.