RUMBA: Ein neuer Benchmark zur Bewertung des Langzeitgedächtnisses von Dialogsystemen auf Russisch

RUMBA (Russian User Memory Benchmark), der erste russischsprachige Benchmark zur Bewertung des Langzeitgedächtnisses in multisession-Dialogen, wurde vorgestellt. Er umfasst 85 Dialoge und 1.543 Fragen, die Informationsabruf, logisches Denken und die Fähigkeit, Antworten zu verweigern, testen. Der Benchmark berücksichtigt den zeitlichen Kontext und ermöglicht die Diagnose von Engpässen in der Gedächtnisarchitektur.

Сбербанк