Aufbau der Unternehmensumgebung für agentische KI
Intel Corporation
Anthropic
Intel teilt fünf praktische Lektionen für Unternehmen, die agentische KI einsetzen, und betont, dass der Erfolg eine vollständige Umgebung über die reine LLM-Inferenz hinaus erfordert, mit Metriken wie Agentendichte pro vCPU und P95-Latenz. Der Artikel skizziert einen Drei-Phasen-Ansatz: Planung nach Agentendichte, Einführung neuer Beobachtungspraktiken und standardmäßige Skalierung.
Intel hat Tausende von Experimenten mit agentischer KI durchgeführt und daraus fünf Lektionen für Unternehmensführer abgeleitet. Sie argumentieren, dass agentische KI ein größeres Systemproblem darstellt und nicht nur Inferenz umfasst, und dass die meisten vorhandenen Testumgebungen die Gesamtsystemleistung nicht messen. Die Kapazität sollte anhand der Agenten-pro-VCPU-Dichte geplant werden, nicht anhand der Anzahl der Agenten. Die Überwachung der Aufgabenlatenz von Agenten (P95) ist aussagekräftiger als die durchschnittliche CPU-Auslastung. Systeme, die Agenten hosten, sollten standardmäßig auf Skalierung ausgelegt sein, wobei die Aufwärtsskalierung für Arbeitslasten mit höherem Rechenaufwand pro Agent reserviert wird. Intel hat Terminal-Bench erweitert, um agentische KI-Arbeitslasten zu bewerten, und verwendet dabei eine deterministische Aufzeichnung und Wiedergabe von LLM-Antworten, um die Agentenleistung von der LLM-Variabilität zu trennen. Die Aufgabenmischung umfasste Kompilierung, Tests, Datenbankoperationen und mehr. Die Bereitstellung agentischer KI sollte in drei Phasen erfolgen: Planung nach Agentendichte, Einführung neuer Überwachung mit Fokus auf P95-Latenz und standardmäßige horizontale Skalierung. Der Artikel identifiziert auch Unternehmenspersönlichkeiten für agentische KI: verantwortliche Führungskräfte, die Zykluszeit, Produktivität und Kostenmanagement verbessern.
Quelle: MIT Technology Review —
Original