Agenttitekoälyn yritysympäristön rakentaminen
Intel Corporation
Anthropic
Intel jakaa viisi käytännön ohjetta yrityksille, jotka ottavat käyttöön agenttitekoälyä. Se korostaa, että menestys edellyttää täydellistä ympäristöä pelkän suuren kielimallin (LLM) päättelyn lisäksi. Tärkeitä mittareita ovat agenttitiheys virtuaalista suoritinta kohden (vCPU) ja 95. persentiiin viive. Artikkeli esittelee kolmivaiheisen lähestymistavan: suunnittelu agenttitiheyden perusteella, uusien seurantakäytäntöjen omaksuminen ja oletusarvoinen skaalaus.
Intel suoritti tuhansia agenttiaiheeseen liittyviä tekoälytyökuormakokeita ja johti niistä viisi oppituntia yritysjohtajille. He väittävät, että agenttitekoäly on laajempi järjestelmäongelma, ei pelkkä päättely, ja että useimmat nykyiset testiympäristöt eivät mittaa koko järjestelmän suorituskykyä. Kapasiteetti tulisi suunnitella agenttien suhdeluvulla suoritinytimiin, ei agenttien lukumäärän perusteella. Agenttitehtävien viiveen (P95) seuranta on informatiivisempaa kuin keskimääräinen suoritinkäyttö. Agentteja isännöivien järjestelmien tulisi oletuksena laajentua vaakasuunnassa, jättäen pystysuuntainen laajennus työkuormille, joissa on raskaampaa laskentaa per agentti. Intel laajensi Terminal-Bench-työkalua agenttitekoälytyökuormien testaamiseen käyttäen determinististä tallennus-toistoa suurten kielimallien vastauksista erottaakseen agenttien suorituskyvyn suurten kielimallien vaihtelusta. Tehtävävalikoimaan kuului käännöksiä, testausta, tietokantaoperaatioita ja muuta. Agenttitekoälyn käyttöönotto tulisi edetä kolmessa vaiheessa: suunnittelu agenttitiheyden perusteella, uusien seurantakäytäntöjen omaksuminen P95-viiveeseen keskittyen ja oletuksena vaakasuuntainen laajennus. Artikkeli tunnistaa myös yritysrooleja agenttitekoälylle: vastuulliset johtajat, jotka parantavat läpimenoaikaa, tuottavuutta ja kustannustenhallintaa.
Lähde: MIT Technology Review —
Alkuperäinen
