RUMBA: A New Benchmark for Evaluating Long-term Memory of Dialogue Systems in Russian

RUMBA (Russian User Memory Benchmark) là một benchmark mới bằng tiếng Nga để đánh giá trí nhớ dài hạn của các hệ thống đối thoại, do các tác giả của bài báo phát triển. Bộ dữ liệu bao gồm 85 cuộc đối thoại nguyên bản bằng tiếng Nga giữa người dùng và trợ lý, trải rộng trung bình 191 ngày giao tiếp (từ 12 đến 85 phiên, từ 180 đến 998 lượt). Tổng cộng có 1543 câu hỏi trong benchmark, mỗi câu hỏi đều có dấu thời gian, cho phép kiểm tra tính cập nhật của thông tin tại thời điểm đặt câu hỏi. Các câu hỏi được chia thành ba siêu nhóm: Information Extraction (tìm kiếm và sử dụng đúng các thông tin có tính đến cập nhật, xóa bỏ và phụ thuộc thời gian), Reasoning (suy luận với so sánh, tính toán, quan hệ nhân quả và ngữ cảnh thời gian) và Abstention (khả năng thừa nhận thiếu thông tin). Mỗi câu hỏi được gán một phân loại đa tầng: loại ngữ nghĩa (17 loại, ví dụ: StaticUser, UpdatingInfo, SocialRelationship, Arithmetic, MultiStep), số lượng phiên evidence (single-session hoặc multi-session), tính thời gian (temporal hoặc atemporal) và loại biểu thức thời gian (explicit, implicit, no temporal expression). Các cuộc đối thoại được tạo thủ công: lượt của người dùng do con người viết, câu trả lời của trợ lý được sinh bằng GigaChat Max, câu hỏi và câu trả lời chuẩn được xác minh thủ công. 26 người đóng góp tham gia thu thập, quá trình kéo dài 20 ngày làm việc. Phiên bản tiếng Anh được dịch tự động và hiệu đính thủ công để so sánh đa ngôn ngữ.