Checklist de test pour les systèmes de recherche et RAG : six niveaux de vérifications
Une checklist pour tester les systèmes de recherche et RAG (Retrieval-Augmented Generation) est présentée, couvrant six niveaux de vérifications — des fonctionnalités de base à la gestion des données incomplètes. Des métriques, des outils et un glossaire de plus de 50 termes sont décrits. L'importance de la séquence des niveaux est soulignée : cela ne sert à rien d'évaluer le RAG si le niveau zéro n'a pas été franchi.
Un guide détaillé pour tester les moteurs de recherche et les architectures RAG a été publié sur Habr. Les auteurs identifient six niveaux de vérification : Niveau 0 — fonctionnel (le moteur effectue des recherches par champs spécifiés, corrige les fautes de frappe, gère les requêtes vides et les caractères spéciaux) ; Niveau 1 — Recherche d’Information classique avec les métriques Precision@k, Recall@k, NDCG, MRR, MAP sur un ensemble de requêtes en or annotées ; Niveau 2 — qualité du contexte extrait pour le RAG (Précision et Rappel contextuels) ; Niveau 3 — qualité de la génération RAG (Fidélité, Taux d’hallucination, Pertinence de la réponse, Complétude, précision des citations) ; Niveau 4 — agence et navigation à travers les graphes de connaissances (multi-sauts, exactitude des outils, achèvement des tâches, respect du plan) ; Niveau 5 — gestion des données incomplètes et faiblement liées (abstention, sur-extrapolation, conflit entre données obsolètes et actuelles). Pour chaque niveau, des outils recommandés sont fournis : pytest, Hypothesis, Postman, k6 pour le niveau 0 ; ranx, trec_eval pour le niveau 1 ; deepeval, RAGAS, TruLens pour les niveaux 2 à 4 ; G-Eval personnalisé pour le niveau 5. Un accent particulier est mis sur la nécessité de tests séquentiels — il est inutile d’évaluer les métriques RAG si le moteur de recherche échoue aux tests de base, comme ne pas trouver un document en raison d’une faute de frappe.
Source: Habr — хаб NLP —
original