Test-Checkliste für Such- und RAG-Systeme: Sechs Ebenen von Prüfungen
Es wird eine Checkliste zum Testen von Such- und RAG-Systemen vorgestellt, die sechs Prüfebenen umfasst – von grundlegender Funktionalität bis hin zur Verarbeitung unvollständiger Daten. Metriken, Werkzeuge und ein Glossar mit über 50 Begriffen werden beschrieben. Die Bedeutung der Reihenfolge der Ebenen wird betont: Es macht keinen Sinn, RAG zu bewerten, wenn die nullte Ebene nicht bestanden wurde.
Auf Habr wurde eine detaillierte Checkliste zum Testen von Suchmaschinen und RAG-Architekturen veröffentlicht. Die Autoren unterscheiden sechs Prüfebenen: Ebene 0 – funktional (die Engine findet anhand der angegebenen Felder, korrigiert Tippfehler, verarbeitet leere Anfragen und Sonderzeichen); Ebene 1 – klassisches Information Retrieval mit Metriken wie Precision@k, Recall@k, NDCG, MRR, MAP auf einem annotierten goldenen Query-Set; Ebene 2 – Qualität des gefundenen Kontexts für RAG (Contextual Precision und Recall); Ebene 3 – Qualität der RAG-Generierung (Faithfulness, Halluzinationsrate, Answer Relevance, Vollständigkeit, Zitiergenauigkeit); Ebene 4 – Agentivität und Navigation im Wissensgraphen (Multi-Hop, Tool Correctness, Task Completion, Plan Adherence); Ebene 5 – Umgang mit unvollständigen und schwach verknüpften Daten (Abstention, Überextrapolation, Konflikt zwischen veralteten und aktuellen Daten). Für jede Ebene werden empfohlene Werkzeuge genannt: pytest, Hypothesis, Postman, k6 für Ebene 0; ranx, trec_eval für Ebene 1; deepeval, RAGAS, TruLens für die Ebenen 2 bis 4; benutzerdefiniertes G-Eval für Ebene 5. Besonderer Wert wird darauf gelegt, dass die Prüfungen sequenziell durchgeführt werden müssen – es macht keinen Sinn, RAG-Metriken zu bewerten, wenn die Suchmaschine grundlegende Tests nicht besteht, beispielsweise ein Dokument aufgrund eines Tippfehlers nicht findet.
Quelle: Habr — хаб NLP —
Original