Phân loại các phương pháp mở rộng suy luận theo thời gian để cải thiện lý luận của mô hình ngôn ngữ lớn

Suy luận với quy mô mở rộng (inference-time scaling) đã trở thành một phương pháp quan trọng để cải thiện hiệu suất của các mô hình ngôn ngữ lớn (LLM) bằng cách phân bổ thêm tài nguyên tính toán trong quá trình suy luận. Bài báo phân loại các kỹ thuật thành các nhóm như: gợi ý chuỗi suy nghĩ (Chain-of-Thought prompting), tính nhất quán nội tại (Self-Consistency), xếp hạng Best-of-N, lấy mẫu loại bỏ kết hợp với bộ xác minh (Rejection Sampling with a Verifier), tự tinh chỉnh (Self-Refinement), và tìm kiếm trên không gian lời giải (Search Over Solution Paths). Bài báo cũng tổng quan các nghiên cứu gần đây và lưu ý rằng các LLM độc quyền đang sử dụng các phương pháp này. Tác giả đã chia một chương sách về chủ đề này thành hai phần, có sẵn trong bản truy cập sớm, và chia sẻ thêm các ý tưởng cũng như ghi chú không nằm trong chương cuối cùng.