RUMBA: 러시아어 대화 시스템의 장기 기억 평가를 위한 새로운 벤치마크

RUMBA 벤치마크는 러시아어 대화 시스템의 장기 기억을 평가하기 위해 개발되었으며, 해당 언어에 대한 이러한 벤치마크가 부족한 문제를 해결합니다. 이 벤치마크는 총 85개의 대화와 1,543개의 질문으로 구성되어 있으며, 대화당 평균 191일의 대화 기간과 약 34만 자에 달합니다. 이 벤치마크는 세 가지 슈퍼그룹을 평가합니다: 정보 추출(사실 찾기 및 업데이트), 추론(다단계 추론), 그리고 기권(답변하지 말아야 할 때 알기). 각 질문에는 의미 유형, 세션 범위(단일 세션 또는 다중 세션), 시간성(시간적 또는 비시간적)이 태그로 지정되며, 추가적인 시간 표현 태그도 포함됩니다. 대화는 처음부터 작성되었으며, 사용자 발화는 인간이 작성하고 어시스턴트 응답은 GigaChat Max로 생성되었습니다. 데이터셋은 교차 언어 비교를 위한 러시아어 및 영어 버전을 포함합니다.