Arama ve RAG Sistemleri için Test Kontrol Listesi: Altı Seviye Kontrol
Arama ve RAG (Getirme ile Artırılmış Üretim) sistemlerini test etmek için bir kontrol listesi sunuluyor. Liste, temel işlevsellikten eksik veri işlemeye kadar altı seviyeyi kapsıyor. Metrikler, araçlar ve 50'den fazla terimden oluşan bir sözlük açıklanıyor. Seviye sıralamasının önemi vurgulanıyor: sıfır seviye geçilmediyse RAG'ı değerlendirmenin bir anlamı yok.
Habr'da arama motorlarını ve RAG mimarilerini test etmek için ayrıntılı bir kontrol listesi yayınlandı. Yazarlar altı düzeyde kontrol belirliyor: Seviye 0 — işlevsel (motor belirtilen alanlara göre getirme yapar, yazım hatalarını düzeltir, boş sorguları ve özel karakterleri işler); Seviye 1 — etiketlenmiş bir altın sorgu kümesi üzerinde Precision@k, Recall@k, NDCG, MRR, MAP metrikleriyle klasik Bilgi Erişimi; Seviye 2 — RAG için alınan bağlamın kalitesi (Bağlamsal Kesinlik ve Duyarlılık); Seviye 3 — RAG üretiminin kalitesi (Doğruluk, Halüsinasyon Oranı, Yanıt Uygunluğu, Eksiksizlik, alıntı doğruluğu); Seviye 4 — bilgi grafikleri üzerinde etkinlik ve gezinme (çok adımlı, araç doğruluğu, görev tamamlama, plana uyma); Seviye 5 — eksik ve gevşek ilişkili verileri işleme (kaçınma, aşırı tahmin, güncel olmayan ve güncel veriler arasındaki çakışma). Her seviye için önerilen araçlar sağlanmıştır: Seviye 0 için pytest, Hypothesis, Postman, k6; Seviye 1 için ranx, trec_eval; Seviye 2–4 için deepeval, RAGAS, TruLens; Seviye 5 için özel G-Eval. Özellikle sıralı test yapmanın gerekliliğine vurgu yapılıyor — arama motoru temel testleri geçemiyor, örneğin bir yazım hatası nedeniyle belgeyi bulamıyorsa, RAG metriklerini değerlendirmenin bir anlamı yok.
Kaynak: Habr — хаб NLP —
orijinal