OneAdvanced setzt über 50 KI-Agenten auf UK-souveränem AWS ein
Meta
OneAdvanced, ein in Großbritannien ansässiger Anbieter von Unternehmenssoftware, hat über 50 KI-Agenten auf einer UK-souveränen AWS-Architektur eingesetzt und hostet Llama 4 Maverick und Llama Guard 4 selbst auf Amazon SageMaker AI, um die Datenresidenz zu gewährleisten. Die Lösung nutzt eine RAG-Pipeline mit pgvector, das Strands Agents SDK und läuft auf Amazon ECS.
OneAdvanced, ein britisches Softwareunternehmen für Unternehmen mit über 10.000 Kunden, musste KI-Fähigkeiten bereitstellen und gleichzeitig sicherstellen, dass keine Daten das Vereinigte Königreich verlassen. Da die gewünschten Modelle, Llama 4 Maverick und Llama Guard 4, in der britischen Region noch nicht über AWS Managed Services verfügbar waren, hosteten sie Open-Weight-LLMs selbst auf AWS-Infrastruktur, die sie vollständig kontrollieren. Die Architektur umfasst Llama 4 Maverick und Llama Guard 4, die über vLLM auf Amazon SageMaker AI-Endpunkten bereitgestellt werden, die auf p5.48xlarge-Instanzen in der Region London (eu-west-2) laufen. Über 50 Strands-Agenten laufen auf Amazon ECS, jeder mit eigenem System-Prompt und Tool-Konfiguration, wobei die Agentenkonfiguration in Amazon DynamoDB gespeichert ist. Auf Amazon S3 hochgeladene Dokumente werden in Markdown konvertiert, in Chunks aufgeteilt und zur Abfrage in pgvector eingebettet. Llama Guard 4 prüft Benutzereingaben vor dem Erreichen des Hauptmodells auf schädliche Inhalte. OneAdvanced ging vom Prototyp zur Produktion, stellte über 50 Agenten in drei Wochen bereit und erhielt die ISO 42001-Zertifizierung für KI-Governance.
Quelle: AWS ML blog —
Original