ABBEL: обучение LLM обновлять убеждения для эффективного долгосрочного взаимодействия
Cursor
Alibaba/Qwen
ABBEL — это фреймворк, который улучшает производительность LLM в задачах с длительным горизонтом путем изоляции и контроля информационного содержания сводок с помощью состояний убеждений на естественном языке. Он сокращает разрыв в производительности по сравнению с моделями полного контекста примерно на 50%, вдвое уменьшая количество шагов обучения и используя значительно меньше памяти.
ABBEL (Autoencoder Belief Bottleneck for Efficient Learning — автоэнкодерное убеждающее узкое место для эффективного обучения) решает проблему, с которой сталкиваются большие языковые модели при длительных взаимодействиях, когда полный контекст истории не помещается в окно контекста. В отличие от традиционной рекурсивной суммаризации, ABBEL формулирует сводки как состояния убеждений, которые
Показать ещё ↓
Источник: BAIR (Berkeley AI) —
оригинал