Adaptive Parallel Reasoning: Mô Hình Mới Cho Việc Mở Rộng Suy Luận AI Hiệu Quả
Berkeley Artificial Intelligence Research
Adaptive Parallel Reasoning (APR) là một mô hình trong đó các mô hình ngôn ngữ lớn (LLM) học cách quyết định linh hoạt thời điểm và cách thức song song hóa các nhiệm vụ suy luận phụ, tránh tính toán dư thừa và cải thiện hiệu quả. Không giống các phương pháp song song cố định, APR cho phép mô hình lựa chọn chiến lược phân rã, số luồng và sự phối hợp cho từng bài toán, tận dụng học tăng cường và các token điều khiển đặc biệt.
Bài đăng trên blog BAIR giới thiệu Lập luận Song song Thích ứng (Adaptive Parallel Reasoning - APR) như một mô hình mới để mở rộng suy luận LLM một cách hiệu quả. Suy luận tuần tự truyền thống mở rộng tuyến tính với quá trình khám phá, gây ra độ trễ và vấn đề về ngữ cảnh (context-rot). Các phương pháp song song hiện tại như tự nhất quán, Cây suy luận (Tree-of-Thoughts) hay Tìm kiếm Cây Monte Carlo (Monte Carlo Tree Search - MCTS) áp đặt cấu trúc song song cố định, lãng phí tài nguyên tính toán cho các vấn đề đơn giản. APR, tiên phong bởi Pan và cộng sự (2025), huấn luyện mô hình thông qua Học tăng cường (Reinforcement Learning - RL) để xuất ra các token đặc biệt điều khiển thời điểm suy luận song song hay tuần tự. ThreadWeaver (Lian và cộng sự, 2025) là một phương pháp APR. Thực thi suy luận sử dụng thiết kế fork-join, với các phương pháp như Multiverse sửa đổi engine suy luận để tái sử dụng bộ nhớ đệm KV (KV cache) trong quá trình tổng hợp, trong khi các phương pháp khác như dựa trên giải mã nhánh (branch-decoding-based) tránh sửa đổi engine. Lợi ích chính: không cần heuristic dành riêng cho miền, giảm dư thừa và tính song song thích ứng theo độ phức tạp của tác vụ.
Nguồn: BAIR (Berkeley AI) —
bản gốc