RUMBA: Diyalog Sistemlerinin Rusça Uzun Dönemli Belleğini Değerlendirmek İçin Yeni Bir Referans Ölçütü
Сбербанк
RUMBA (Russian User Memory Benchmark) adlı yeni bir Rusça referans ölçütü, çoklu oturumlu diyaloglarda uzun dönemli belleği değerlendirmek için oluşturuldu. Bilgi Çıkarma, Akıl Yürütme ve Çekimser Kalma olmak üzere üç süper grubu kapsar; ayrıntılı taksonomi ise anlamsal tür, oturum kapsamı ve zamansallığı içerir.
RUMBA kıyaslaması, Rusça diyalog sistemlerinin uzun süreli belleğini değerlendirmek amacıyla geliştirilmiş olup, bu dil için bu tür kıyaslamaların eksikliğini gidermektedir. 85 diyalog ve 1.543 sorudan oluşmakta olup, diyalog başına ortalama 191 günlük konuşma ve yaklaşık 340.000 karakter içermektedir. Kıyaslama üç ana grubu değerlendirir: Bilgi Çıkarımı (gerçekleri bulma ve güncelleme), Akıl Yürütme (çok adımlı çıkarım) ve Kaçınma (ne zaman cevap vermemesi gerektiğini bilme). Her soru anlamsal tür, oturum kapsamı (tek veya çoklu oturum) ve zamansallık (zamansal veya zamansız) ile etiketlenmiş olup, ek zamansal ifade etiketleri de bulunmaktadır. Diyaloglar sıfırdan oluşturulmuş, kullanıcı sözleri insanlar tarafından yazılmış ve asistan yanıtları GigaChat Max tarafından üretilmiştir. Veri seti, çapraz dil karşılaştırması için Rusça ve İngilizce sürümleri içermektedir.
Kaynak: Habr — хаб ИИ —
orijinal