RUMBA : un nouveau benchmark pour évaluer la mémoire à long terme des systèmes de dialogue en russe

RUMBA (Russian User Memory Benchmark), le premier benchmark en langue russe pour évaluer la mémoire à long terme dans les dialogues multi-sessions, a été introduit. Il comprend 85 dialogues et 1 543 questions testant la récupération d'informations, le raisonnement et la capacité à s'abstenir de répondre. Le benchmark prend en compte le contexte temporel et permet de diagnostiquer les goulots d'étranglement dans l'architecture mémoire.

Сбербанк