Adaptives paralleles Denken: Ein neues Paradigma für effizientes KI-Inferenz-Scaling
Berkeley Artificial Intelligence Research
Adaptives paralleles Denken (APR) ist ein Paradigma, bei dem große Sprachmodelle (LLMs) dynamisch entscheiden, wann und wie sie logische Teilaufgaben parallelisieren, um redundante Berechnungen zu vermeiden und die Effizienz zu verbessern. Im Gegensatz zu festen Parallelisierungsmethoden ermöglicht APR den Modellen, für jedes Problem Zerlegungsstrategien, Thread-Anzahlen und Koordination zu wählen, wobei verstärkendes Lernen und spezielle Steuerungstoken zum Einsatz kommen.
Der BAIR-Blogbeitrag stellt Adaptive Parallel Reasoning (APR) als Paradigma zur effizienten Skalierung von LLM-Inferenz vor. Traditionelles sequenzielles Denken skaliert linear mit der Erkundung, was zu Latenz- und Kontext-Rotationsproblemen führt. Bestehende parallele Methoden wie Self-Consistency, Tree-of-Thoughts oder MCTS erzwingen feste parallele Strukturen und verschwenden Rechenleistung bei einfachen Problemen. APR, entwickelt von Pan et al. (2025), trainiert Modelle mittels Reinforcement Learning (RL), um spezielle Tokens auszugeben, die steuern, wann parallel oder sequenziell gedacht wird. ThreadWeaver (Lian et al., 2025) ist eine APR-Methode. Die Inferenzausführung verwendet ein Fork-Join-Design, mit Ansätzen wie Multiverse, die die Inferenz-Engine modifizieren, um den KV-Cache während der Synthese wiederzuverwenden, während andere wie Branch-Decoding-basierte Methoden Engine-Modifikationen vermeiden. Wichtigste Vorteile: keine domänenspezifischen Heuristiken, reduzierte Redundanz und adaptive Parallelität pro Aufgabenkomplexität.
Quelle: BAIR (Berkeley AI) —
Original