RUMBA: A New Benchmark for Evaluating Long-term Memory of Dialogue Systems in Russian
Сбербанк
RUMBA (Russian User Memory Benchmark), the first Russian-language benchmark for evaluating long-term memory in multi-session dialogues, has been introduced. It includes 85 dialogues and 1,543 questions testing information retrieval, reasoning, and the ability to refrain from answering. The benchmark accounts for temporal context and enables diagnosis of bottlenecks in memory architecture.
RUMBA (Russian User Memory Benchmark)는 대화 시스템의 장기 기억 성능을 평가하기 위해 설계된 새로운 러시아어 벤치마크로, 해당 논문의 저자들이 개발했습니다. 데이터셋은 사용자와 어시스턴트 간의 85개의 원본 러시아어 대화로 구성되어 있으며, 평균 191일(12~85회 세션, 180~998개 발화)의 대화 기간을 포괄합니다. 벤치마크에는 총 1543개의 질문이 포함되어 있으며, 각 질문에는 타임스탬프가 있어 질문 시점의 사실 정확성을 확인할 수 있습니다. 질문은 세 가지 슈퍼그룹으로 나뉩니다: Information Extraction(갱신, 삭제 및 시간적 의존성을 고려한 사실 검색 및 정확한 사용), Reasoning(비교, 계산, 인과 관계 및 시간적 맥락을 포함한 추론), Abstention(정보 부재 인식 능력). 각 질문에는 다층적 분류 체계가 적용되어, 의미 유형(17개 유형, 예: StaticUser, UpdatingInfo, SocialRelationship, Arithmetic, MultiStep), 증거 세션 수(단일 또는 다중 세션), 시간성(시간적 또는 비시간적), 시간 표현 유형(명시적, 암시적, 시간 표현 없음)이 포함됩니다. 대화는 수동으로 작성되었으며, 사용자 발화는 사람이 작성하고 어시스턴트 응답은 GigaChat Max를 사용하여 생성되었으며, 질문과 기준 답변은 수동으로 검증되었습니다. 수집에는 26명의 기여자가 참여했으며, 작업 기간은 20영업일이 소요되었습니다. 영어 버전은 자동 번역을 통해 생성된 후 교차 언어 비교를 위해 수동으로 검증되었습니다.
출처: Habr — хаб ИИ —
원문