Sinir Ağları Neden Token Tüketir: Uzun Sohbetlerde Ne Olur ve Maliyetler Nasıl Düşürülür

Makale, uzun sohbetlerde AI modellerinin neden aşırı token tükettiğini ve maliyetlerin nasıl düşürüleceğini ele alıyor. Reddit'teki anekdotlara atıfta bulunuyor: Bir kullanıcı Claude ile 1,156 milyar girdi tokeni harcadı, bir diğeri ise her 30 dakikada bir pull request kontrol eden bir Claude Code ajanını 26 saat boyunca durdurmayı unuttu; bu, toplam 46 çalıştırma ve yaklaşık 6000 dolarlık bir maliyetle sonuçlandı. Yüksek maliyetlerin teknik nedeni, her yeni isteğin, 800 bin tokena kadar büyüyebilen birikmiş bağlamın tamamını içermesidir. Anthropic, dokümantasyonunda bağlam boyutu arttıkça maliyetlerin arttığını belirtir ve geçmişin temizlenmesini veya sıkıştırma kullanılmasını önerir. Chroma'nın 'Context Rot' araştırması ve 2026 tarihli 'Diagnosing and Mitigating Context Rot' çalışması, bağlam penceresi sınırından önce bile performansın, özellikle dikkat dağıtıcı bilgilerle, uzun girdilerde düştüğünü gösteriyor. Prompt önbelleğe alma yalnızca tekrarlanan önekler için maliyeti azaltır, gereksiz bağlam sorunlarını çözmez. AI ajanları için maliyetler gizlidir çünkü otonom olarak birçok araç işlemi gerçekleştirirler. Pratik ipuçları arasında bağımsız görevleri bölme, Claude Code'ta /clear ve /compact kullanma, yalnızca ilgili belge bölümlerini verme, kararlı talimatları önbelleğe alma ve doğru model katmanını seçme (kodlama için Sonnet, karmaşık akıl yürütme için Opus, basit alt görevler için Haiku) yer alır. Yazar ayrıca, 100'den fazla AI modeli sunan ve bir diyalog içinde model değiştirme imkanı tanıyan SYNTX.AI'nin LLM Studio'sunu tanıtıyor ve %20 indirim için CTRLAI promosyon kodunu öneriyor. Makale, prompt mühendisliğinin artık gereksiz bilgilerin atılmasını da içermesi gerektiği sonucuna varıyor.