Mükemmel Bir LLM Bile Neden Aracılı Sistemleri Öngörülebilir Kılmaz?

Makale, sıfır halüsinasyon durumunda bile LLM tabanlı çoklu ajan sistemlerinin öngörülemezliğini inceliyor. Yazar, sıcaklık 0'da Qwen Instruct 30B modeliyle bir deney yapıyor: LLM determinizmi hakkında sekiz benzer soru için model, her bir sorgu birebir aynı şekilde yeniden üretilmesine rağmen iki zıt yanıt verdi. BAAI/bge-m3 metriğiyle ölçülen soruların anlamsal benzerliği 0.30–0.39 idi, yani kullanıcı için pratik olarak ayırt edilemezler. Daha sonra yazar, lojistik harita kullanarak bir ajan zincirinin davranışını simüle ediyor—durumların doğrusal olmayan bir dönüşümü. Anlamsal benzerliğe karşılık gelen başlangıç değerleriyle, her adım deterministik olmasına rağmen yörüngeler 15. adımda kaotik bir şekilde ayrışıyor. Sonuç: Tek bir ajanın öngörülebilirliği, doğrusal olmama ve hata birikimi nedeniyle kompozisyonun öngörülebilirliğini garanti etmez. Pratik öneriler arasında sıralı zincirlerin uzunluğunu sınırlamak, doğrulama noktaları eklemek, paralel yapılar kullanmak ve boru hattını anlamsal olarak benzer girdilerle test etmek yer alıyor.