RUMBA: Um Novo Benchmark para Avaliar a Memória de Longo Prazo de Sistemas de Diálogo em Russo

RUMBA (Russian User Memory Benchmark), o primeiro benchmark em língua russa para avaliar a memória de longo prazo em diálogos de múltiplas sessões, foi introduzido. Ele inclui 85 diálogos e 1.543 questões que testam recuperação de informação, raciocínio e a capacidade de se abster de responder. O benchmark leva em conta o contexto temporal e permite diagnosticar gargalos na arquitetura de memória.

Сбербанк