Пустые полки или потерянные ключи? Воспроизведение — узкое место параметрической фактичности
Google Research представляет профилирование знаний — структуру, разделяющую кодирование и воспроизведение в больших языковых моделях. Используя WikiProfile, бенчмарк из 2150 фактов из Википедии, они обнаружили, что передовые модели, такие как Gemini и GPT-5, кодируют почти все факты, но с трудом воспроизводят многие, смещая узкое место с приобретения знаний на их использование.
Исследователи из Google Research Нитай Кальдерон и Галь Йона предлагают поведенческую основу, названную профилированием знаний, для различения того, вызваны ли фактические ошибки в больших языковых моделях отсутствием знаний (ошибка кодирования) или недоступностью знаний (ошибка воспроизведения). Они представляют WikiProfile — эталонный набор из 2150 фактов, полученных из Википедии, каждый из
Показать ещё ↓
Источник: Google Research —
оригинал