검색 및 RAG 시스템을 위한 테스트 체크리스트: 여섯 가지 수준의 점검

검색 엔진과 RAG 아키텍처를 테스트하기 위한 상세 체크리스트가 Habr에 게재되었습니다. 저자들은 6단계의 검증을 제시합니다: 0단계 — 기능적(엔진이 지정된 필드로 검색, 오타 수정, 빈 쿼리와 특수 문자 처리); 1단계 — 레이블이 지정된 골든 쿼리 세트에 대한 메트릭 Precision@k, Recall@k, NDCG, MRR, MAP을 사용한 고전적 정보 검색; 2단계 — RAG를 위한 검색된 컨텍스트의 품질(Contextual Precision 및 Recall); 3단계 — RAG 생성 품질(Faithfulness, Hallucination Rate, Answer Relevance, Completeness, 인용 정확도); 4단계 — 지식 그래프를 통한 에이전시 및 탐색(멀티홉, 도구 정확성, 작업 완료, 계획 준수); 5단계 — 불완전하고 느슨하게 관련된 데이터 처리(기권, 과도한 추론, 오래된 데이터와 최신 데이터 간의 충돌). 각 단계별로 권장 도구가 제공됩니다: 0단계에는 pytest, Hypothesis, Postman, k6; 1단계에는 ranx, trec_eval; 2~4단계에는 deepeval, RAGAS, TruLens; 5단계에는 커스텀 G-Eval. 검색 엔진이 오타로 인해 문서를 찾지 못하는 등 기본 테스트를 통과하지 못하면 RAG 메트릭을 평가하는 것은 의미가 없으므로, 순차적 테스트의 필요성이 특히 강조됩니다.