RUMBA: Un Nuevo Benchmark para Evaluar la Memoria a Largo Plazo de Sistemas de Diálogo en Ruso

Se ha presentado RUMBA (Russian User Memory Benchmark), el primer benchmark en lengua rusa para evaluar la memoria a largo plazo en diálogos de múltiples sesiones. Incluye 85 diálogos y 1,543 preguntas que evalúan recuperación de información, razonamiento y la capacidad de abstenerse de responder. El benchmark considera el contexto temporal y permite diagnosticar cuellos de botella en la arquitectura de la memoria.

Сбербанк