RUMBA: A New Benchmark for Evaluating Long-term Memory of Dialogue Systems in Russian
Сбербанк
RUMBA (Russian User Memory Benchmark), the first Russian-language benchmark for evaluating long-term memory in multi-session dialogues, has been introduced. It includes 85 dialogues and 1,543 questions testing information retrieval, reasoning, and the ability to refrain from answering. The benchmark accounts for temporal context and enables diagnosis of bottlenecks in memory architecture.
RUMBA (Russian User Memory Benchmark) — yeni bir Rusça diyalog sistemlerinin uzun süreli hafızasını değerlendirmek için makale yazarları tarafından geliştirilen bir kıyaslama ölçütüdür. Veri seti, kullanıcı ve asistan arasında geçen, ortalama 191 günlük iletişimi kapsayan (12 ila 85 oturum, 180 ila 998 replik) 85 orijinal Rusça diyalog içerir. Kıyaslamada toplam 1543 soru bulunur ve her sorunun bir zaman damgası vardır, bu da soru anındaki gerçeklerin güncelliğini kontrol etmeye olanak tanır. Sorular üç ana gruba ayrılır: Information Extraction (güncellemeler, silmeler ve zamansal bağımlılıkları dikkate alarak gerçekleri bulma ve doğru kullanma), Reasoning (karşılaştırma, hesaplama, neden-sonuç ilişkileri ve zaman bağlamı ile akıl yürütme) ve Abstention (bilgi eksikliğini kabul edebilme). Her soru için çok katmanlı bir taksonomi tanımlanır: anlamsal tip (17 tip, örneğin StaticUser, UpdatingInfo, SocialRelationship, Arithmetic, MultiStep), kanıt oturum sayısı (tek oturum veya çoklu oturum), zamansallık (zamansal veya zamansız) ve zamansal ifade türü (açık, örtülü, zamansal ifade yok). Diyaloglar elle oluşturulmuştur: kullanıcı replikleri insanlar tarafından yazılmış, asistan yanıtları GigaChat Max ile üretilmiş, sorular ve referans yanıtlar elle doğrulanmıştır. Toplama 26 katkıda bulunan kişi katılmış, süreç 20 iş günü sürmüştür. İngilizce versiyon otomatik çeviri ile elde edilmiş ve diller arası karşılaştırma için elle düzeltilmiştir.
Kaynak: Habr — хаб ИИ —
orijinal