Категории масштабирования времени вывода для улучшения рассуждений больших языковых моделей
OpenAI
Масштабирование времени вывода улучшает качество ответов больших языковых моделей за счет использования большего объема вычислений во время вывода. В этой статье категоризируются подходы и рассматриваются недавние публикации, показывающие, что основные провайдеры больших языковых моделей полагаются на такие техники.
Инференс-тайм скейлинг стал ключевым методом повышения производительности LLM за счет дополнительных вычислительных ресурсов на этапе инференса. В статье методы группируются по категориям: цепочка рассуждений (Chain-of-Thought), самосогласованность (Self-Consistency), рейтинг Best-of-N, выборка с отклонением и верификатором (Rejection Sampling with a Verifier), самоуточнение (Self-Refinement) и
Показать ещё ↓
Источник: Sebastian Raschka —
оригинал