RUMBA：评估对话系统长期记忆的俄语新基准

RUMBA（俄语用户记忆基准测试）是一个新的俄语基准测试，用于评估对话系统的长期记忆，由论文作者开发。该数据集包含85个用户与助手之间的原始俄语对话，平均覆盖191天的交流时间（12到85个会话，180到998条消息）。基准测试中共有1543个问题，每个问题都带有时间戳，从而可以验证在提问时事实是否仍然相关。问题分为三个超级组：信息提取（查找并正确使用事实，同时考虑更新、删除和时间依赖性）、推理（通过比较、计算、因果和时间背景进行推理）以及弃权（承认信息缺失的能力）。每个问题都分配了多层级分类：语义类型（17种类型，例如StaticUser、UpdatingInfo、SocialRelationship、Arithmetic、MultiStep）、证据会话数量（单会话或多会话）、时间性（时间相关或非时间相关）以及时间表达类型（显式、隐式、无时间表达）。对话是手动创建的：用户消息由人类编写，助手回复使用GigaChat Max生成，问题和参考答案经过人工验证。收集过程共有26名贡献者参与，耗时20个工作日。英文版本通过自动翻译获得并进行人工校对，以支持跨语言比较。