RAG: Kıyaslamalar Kod’dan Daha Önemlidir. “Doğru” İyileştirmelerin Sonucu Kötüleştirdiği Bir Botun Hikayesi

Bir geliştirici, kripto para sohbet kullanıcılarına yönelik hedefli destek için bir RAG botu oluşturmaya koyuldu: botun benzer sorguları bulması ve önceden var olan yönetici yanıtlarını göstermesi amaçlanıyordu. 3,9 milyon mesajlık bir külliyat ve 51 soruluk bir değerlendirme kümesi kullanarak, saf vektör araması için temel hit@3 oranını %74 olarak ölçtü. Sistemi iyileştirmek amacıyla BM25 ile hibrit arama ve bir çapraz kodlayıcı yeniden sıralayıcı ekledi. Her iki değişiklik de metriği düşürdü: hibrit %55, yeniden sıralayıcı %64 ve hibrit+yeniden sıralayıcı %57 verdi. Analiz, BM25'in örnek soru külliyatında tam belirteçlerin bulunmaması nedeniyle etkisiz olduğunu, yeniden sıralayıcının ise zaten iyi olan bir sıralamayı bozduğunu gösterdi. Yararlı olan tek değişiklik, kesme eşiğini botun rolüne uyacak şekilde (son yanıtlayıcı değil, bir yedek olarak) ayarlamaktı; bu, ek kod gerektirmeden faydalı çıktıyı iyileştirdi. Ana çıkarım, RAG'da önemli olanın endüstri varsayımları değil, dürüst ölçümler ve veri temizliği olduğudur.