LLM'den Ajan'a: Model ve Uygulama Arasındaki Katmanları Anlamak

Makale, bir LLM'den bir ajana giden tam yolu açıklıyor. Temelde model, bir tokenlaştırıcı kullanarak metni token kimliklerine dönüştüren ve bir detokenlaştırıcı ile geri dönüştüren bir otoregresif döngüde sonraki tokenı tahmin eder. KV-önbelleği, önceki anahtar-değer çiftlerini depolayarak üretimi hızlandırır. Modelin beklediği girdi metni ham JSON değil, modelin sohbet şablonuna göre biçimlendirilmiş bir istemdir; bu, bir mesaj listesini özel tokenlar (örneğin, ChatML, Llama 3) içeren bir dizeye dönüştüren bir Jinja şablonudur. Akıl yürütme modelleri için istem bir <think> bloğu içerebilir; model akıl yürütmeye çok fazla token harcarsa, nihai bir cevap üretmeden önce üretim bütçesi tükenebilir. Makale ayrıca faturalandırma ve bağlam uzunluğunun, API JSON'ına değil, sohbet şablonundan sonra tokenlaştırılmış isteme dayandığını açıklıyor. Disk üzerinde model depolaması, safetensors ağırlıklarını, config.json'ı, tokenlaştırıcı dosyalarını ve tokenizer_config.json'daki sohbet_şablonunu içerir. llama.cpp gibi çalışma zamanları, bu bileşenleri birleştiren bir GGUF dosyası yükleyerek metinden metne yüksek seviyeli bir arayüz sağlar.