Het bouwen van de enterprise-omgeving voor agentische AI

Intel heeft duizenden experimenten met agentische AI-workloads uitgevoerd en vijf lessen getrokken voor leiders in het bedrijfsleven. Zij stellen dat agentische AI een groter systeemprobleem is, niet alleen inferentie, en dat de meeste bestaande meetinstrumenten de algehele systeemprestatie niet meten. Capaciteit moet worden gepland op basis van agenten per vCPU-dichtheid, niet op basis van het aantal agenten. Het monitoren van de latentie van agenttaken (P95) is informatiever dan het gemiddelde CPU-gebruik. Systemen die agenten hosten, moeten standaard schalen, waarbij schaalvergroting wordt gereserveerd voor workloads met zwaardere rekenkracht per agent. Intel heeft Terminal-Bench uitgebreid om agentische AI-workloads te benchmarken, met behulp van een deterministische opname- en afspeelmethode van LLM-reacties om agentprestaties te scheiden van LLM-variabiliteit. De taakmix omvatte compilatie, testen, databasebewerkingen en meer. De implementatie van agentische AI moet in drie fasen verlopen: plannen op basis van agentdichtheid, nieuwe observatiemethoden aannemen die gericht zijn op P95-latentie, en standaard schalen. Het artikel identificeert ook bedrijfspersona's voor agentische AI: verantwoordelijke leiders die cyclustijd, productiviteit en kostenbeheer verbeteren.