Context Engineering: Apa Itu, Cara Bekerja dengan Konteks LLM Agent, dan Mengapa Anda Dibayar untuk Itu

Context engineering adalah sekumpulan strategi untuk mengumpulkan dan menjaga konteks yang optimal selama proses inferensi Large Language Model (LLM), di mana konteks optimal adalah kumpulan minimal token yang benar-benar berguna. Ini berbeda dari prompt engineering, yang hanya menangani instruksi, sedangkan context engineering mengelola segala sesuatu yang diterima model bersama instruksi tersebut: riwayat, dokumen, alat (tools), memori, dan state. Retrieval-Augmented Generation (RAG) menghadirkan pengetahuan eksternal, Model Context Protocol (MCP) menstandardisasi koneksi ke data dan alat, sementara context engineering menentukan bagaimana semua ini dirangkai menjadi konteks untuk langkah berikutnya dari agent. Konteks sebuah agent terdiri dari beberapa lapisan: query pengguna, system prompt, tools, contoh few-shot, data dari RAG, riwayat pesan dan pemanggilan tool, memori, serta state saat ini (scratchpad). Meskipun LLM modern memiliki context window yang besar, laporan Chroma berjudul "Context Rot" menunjukkan bahwa seiring bertambahnya konteks yang digunakan, kualitas bisa menurun bahkan pada tugas-tugas sederhana. Drew Breunig mengidentifikasi empat skenario kegagalan konteks yang umum terjadi: context poisoning (kesalahan masuk ke dalam konteks lalu berulang), context distraction (informasi penting hilang di antara data yang tidak relevan), context confusion (model menjadi bingung di antara tool/dokumen yang serupa), dan context clash (data yang saling bertentangan tanpa aturan prioritas). LangChain mengusulkan empat tindakan untuk mengelola konteks: write (menyimpan informasi penting ke state eksternal), select (memilih konten yang relevan), compress (memampatkan), dan isolate (memindahkan ke konteks terpisah).