RUMBA: Een nieuwe benchmark voor het evalueren van langetermijngeheugen van dialoogsystemen in het Russisch

RUMBA (Russian User Memory Benchmark), de eerste Russischtalige benchmark voor het evalueren van langetermijngeheugen in multi-sessiedialogen, is geïntroduceerd. Het omvat 85 dialogen en 1.543 vragen die informatieopvraging, redeneren en het vermogen om antwoorden te weigeren testen. De benchmark houdt rekening met temporele context en maakt diagnose van knelpunten in de geheugenarchitectuur mogelijk.

Сбербанк