Tokeneista tehtäviin: Kuinka agentti-AI muuttaa infrastruktuurin painopistettä
Arm
Agentti-AI siirtää painopistettä tokenien tuottamisesta kokonaisten työnkulkujen suorittamiseen. Uudessa paradigmassa keskeisiä mittareita eivät ole mallin nopeus, vaan tehtävän kustannus, työkalujen kutsuviive ja hiekkalaatikon käynnistysaika. Keskussuoritin (CPU) ja pääsolmu (head node) ovat keskeisessä roolissa orkestroinnissa. Perinteiset vertailuarvot, jotka painottavat tokenien läpimenoa, eivät enää heijasta todellista suorituskykyä.
Agenttitekoäly muuttaa infrastruktuurivaatimuksia: keskeinen mittari ei ole enää tuotettujen tokenien määrä, vaan koko tehtävän onnistunut suorittaminen. Toisin kuin yksinkertaiset chatbottit, agenttityönkulut sisältävät suunnittelua, kontekstin hakua, työkalu- ja rajapintakutsuja, hiekkalaatikossa tapahtuvaa koodin suorittamista, tulosten varmistusta ja telemetriaa. Perinteiset vertailuarvot, kuten tokenien läpäisykyky ja aika ensimmäiseen tokeniin, eivät enää heijasta todellista suorituskykyä. Sen sijaan tarvitaan työnkulkumittareita: tehtävän suorituskustannus, työkalukutsun viive, hiekkalaatikon käynnistysaika ja agentit solmua kohti. Keskusyksiköllä (CPU) ja pääsolmulla, joka hallinnoi reititystä, kontekstin valmistelua, käytäntöjä ja telemetriaa, on keskeinen rooli orkestraatiossa. Pääsolmusta tulee strateginen ohjauskeskus heterogeeniselle tekoälyjärjestelmälle. Arm näkee tämän alustamahdollisuutena ja ehdottaa omaa Arm AGI CPU -siruaan, joka on optimoitu koordinoimaan mallin ympärillä tapahtuvia toimintoja: muistinhallintaa, hakua, työkaluja, sovellusohjelmointirajapintoja (API), suoritusympäristöä, hiekkalaatikkoa ja havainnointia. Tavoitteena ei ole korvata grafiikkaprosessoria (GPU), vaan tehdä koko heterogeenisestä järjestelmästä tehokkaampi optimoimalla koko tehtävägraafi, ei pelkästään tokenivirtaa. Tulevaisuuden vertailuarvojen tulisi arvioida, kuinka nopeasti, tarkasti, turvallisesti ja tehokkaasti järjestelmä suorittaa tehtäviä.
Lähde: InfoQ 中国 —
Alkuperäinen