RUMBA：ロシア語対話システムの長期記憶を評価する新しいベンチマーク

RUMBAベンチマークは、ロシア語対話システムの長期記憶を評価するために開発されました。この言語にはそのようなベンチマークが不足していたためです。このベンチマークは、1,543の質問を含む85の対話で構成されており、1対話あたり平均191日間の会話と約340,000文字に相当します。このベンチマークは、情報抽出（事実の発見と更新）、推論（多段階の推論）、および棄権（回答すべきでないタイミングの判断）の3つのスーパーグループを評価します。各質問には、意味タイプ、セッション範囲（単一セッションまたは複数セッション）、時間性（時間的または非時間的）のタグが付与され、さらに時間表現タグも追加されています。対話はゼロから作成され、ユーザーの発言は人間が書き、アシスタントの応答はGigaChat Maxによって生成されました。データセットには、言語間比較のためのロシア語版と英語版が含まれています。