RUMBA: Chuẩn mực mới để đánh giá trí nhớ dài hạn của hệ thống hội thoại bằng tiếng Nga
Сбербанк
Một chuẩn mực tiếng Nga mới có tên RUMBA (Russian User Memory Benchmark) đã được tạo ra để đánh giá trí nhớ dài hạn trong các cuộc hội thoại đa phiên. Nó bao gồm ba nhóm siêu: Trích xuất thông tin, Suy luận và Tránh nói, với phân loại chi tiết bao gồm loại ngữ nghĩa, phạm vi phiên và tính thời gian.
Бенчмарк RUMBA был разработан для оценки долговременной памяти диалоговых систем на русском языке, восполняя отсутствие таких тестов для этого языка. Он состоит из 85 диалогов с 1543 вопросами, в среднем охватывая 191 день общения и около 340 000 символов на диалог. Бенчмарк оценивает три супергруппы: извлечение информации (поиск и обновление фактов), рассуждение (многошаговые выводы) и отказ от ответа (умение воздержаться от ответа, когда это уместно). Каждый вопрос снабжён метками семантического типа, области сессии (одна или несколько сессий) и темпоральности (временной или нетемпоральный), а также дополнительными метками временных выражений. Диалоги были созданы с нуля: реплики пользователей написаны людьми, а ответы ассистента сгенерированы GigaChat Max. Набор данных включает русскую и английскую версии для кроссязычного сравнения.
Nguồn: Habr — хаб ИИ —
bản gốc