Bağlam Mühendisliği: Nedir, LLM Ajan Bağlamıyla Nasıl Çalışılır ve Neden Bunun İçin Para Alırsınız

Bağlam mühendisliği, LLM çıkarımı sırasında optimal bağlamı toplama ve sürdürme stratejileri bütünüdür. Optimal bağlam, yararlı tokenların minimum kümesidir. Sadece talimatları işleyen prompt mühendisliğinden farklıdır; bağlam mühendisliği modelin talimatla birlikte aldığı her şeyi yönetir: geçmiş, belgeler, araçlar, bellek ve durum. RAG (Retrieval-Augmented Generation) dış bilgiyi getirir, MCP (Model Context Protocol) verilere ve araçlara bağlantıları standartlaştırır ve bağlam mühendisliği tüm bunların ajanın bir sonraki adımı için bağlama nasıl birleştirileceğine karar verir. Bir ajanın bağlamı birkaç katmandan oluşur: kullanıcı sorgusu, sistem promptu, araçlar, az örnekli öğrenme (few-shot examples), RAG'dan gelen veriler, mesaj geçmişi ve araç çağrıları, bellek ve mevcut durum (scratchpad). Modern LLM'ler geniş bağlam pencerelerine sahip olsa da Chroma'nın 'Bağlam Çürümesi' (Context Rot) raporu, kullanılan bağlam büyüdükçe basit görevlerde bile kalitenin düşebileceğini göstermiştir. Drew Breunig dört tipik bağlam başarısızlığı senaryosu belirlemiştir: bağlam zehirlenmesi (bağlama bir hata girer ve tekrarlanır), bağlam dikkat dağıtması (gerekli bilgi ilgisiz veriler arasında kaybolur), bağlam karışıklığı (model benzer araçlar/belgeler arasında karışıklık yaşar) ve bağlam çatışması (öncelik kuralları olmadan çelişen veriler). LangChain, bağlamı yönetmek için dört eylem önerir: yaz (harici duruma önemli bilgi kaydet), seç (ilgili içeriği seç), sıkıştır (sıkıştır) ve ayır (ayrı bir bağlama taşı).