RUMBA：评估对话系统俄语长时记忆的新基准

RUMBA基准测试旨在评估俄语对话系统的长期记忆能力，解决了该语言缺乏此类基准测试的问题。它包含85个对话，共计1,543个问题，每个对话平均跨越191天，约含34万个字符。该基准评估三个超级组：信息提取（查找和更新事实）、推理（多步推理）以及弃权（知道何时不回答）。每个问题都标注了语义类型、会话范围（单会话或多会话）和时态性（时间性非时间性），并附有时间表达标签。对话是从头创建的，用户话语由人类撰写，助手回复由GigaChat Max生成。数据集包含俄语和英语版本，用于跨语言比较。