Sopeutuva rinnakkaispäättely: uusi paradigma tehokkaaseen tekoälyn päättelyn skaalaamiseen
Berkeley Artificial Intelligence Research
Sopeutuva rinnakkaispäättely (Adaptive Parallel Reasoning, APR) on paradigma, jossa kielimallit oppivat dynaamisesti päättämään, milloin ja miten rinnakkaistaa päättelyn osatehtäviä, välttäen tarpeetonta laskentaa ja parantaen tehokkuutta. Toisin kuin kiinteät rinnakkaistamismenetelmät, APR antaa malleille mahdollisuuden valita hajotusstrategiat, säikeiden määrät ja koordinoinnin tehtäväkohtaisesti hyödyntäen vahvistusoppimista ja erityisiä ohjausmerkkejä.
BAIR-blogissa esitellään Adaptive Parallel Reasoning (APR) paradigmana, jolla LLM-päättelyä voidaan skaalata tehokkaasti. Perinteinen peräkkäinen päättely skaalautuu lineaarisesti tutkimisen kanssa, aiheuttaen viivettä ja kontekstin kiertymisen ongelmia. Olemassa olevat rinnakkaismenetelmät, kuten self-consistency, Tree-of-Thoughts tai MCTS (Monte Carlo Tree Search), pakottavat kiinteitä rinnakkaisrakenteita, mikä tuhlaa laskentaa yksinkertaisissa ongelmissa. APR, jonka Pan ym. (2025) ovat edelläkävijöitä, kouluttaa malleja vahvistusoppimisella tuottamaan erityisiä tokeneita, jotka ohjaavat, milloin päättelyä tehdään rinnakkain tai peräkkäin. ThreadWeaver (Lian ym., 2025) on yksi APR-menetelmä. Päättelyn suoritus käyttää fork-join-mallia, ja menetelmät kuten Multiverse muokkaavat päättelymoottoria uudelleenkäyttämään KV-välimuistia synteesin aikana, kun taas toiset, kuten haaroitusdekoodaukseen perustuvat menetelmät, eivät vaadi moottorin muutoksia. Keskeisiä etuja: ei toimialakohtaisia heuristiikkoja, vähemmän redundanssia ja mukautuva rinnakkaisuus tehtävän monimutkaisuuden mukaan.
Lähde: BAIR (Berkeley AI) —
Alkuperäinen