OneAdvanced zet meer dan 50 AI-agenten in op Brits soevereine AWS
Meta
OneAdvanced, een Britse leverancier van bedrijfssoftware, heeft meer dan 50 AI-agenten ingezet op een Brits soevereine AWS-architectuur, waarbij het Llama 4 Maverick en Llama Guard 4 zelf host op Amazon SageMaker AI om dataresidentie te waarborgen. De oplossing maakt gebruik van een RAG-pijplijn (retrieval-augmented generation) met pgvector, de Strands Agents SDK en draait op Amazon ECS.
OneAdvanced, een Britse leverancier van bedrijfssoftware die meer dan 10.000 klanten bedient, moest AI-mogelijkheden leveren terwijl ervoor werd gezorgd dat er geen gegevens het Verenigd Koninkrijk verlaten. Omdat de specifieke modellen die zij wilden, Llama 4 Maverick en Llama Guard 4, nog niet beschikbaar waren via de beheerde diensten van AWS in de regio VK, hebben zij open-weight LLM's zelf gehost op AWS-infrastructuur die zij volledig beheren. De architectuur omvat Llama 4 Maverick en Llama Guard 4 die via vLLM worden aangeboden op Amazon SageMaker AI-endpoints, die draaien op p5.48xlarge-instanties in de regio Londen (eu-west-2). Meer dan 50 Strands-agents draaien op Amazon ECS, elk met hun eigen systeemprompt en toolconfiguratie, waarbij de agentconfiguratie is opgeslagen in Amazon DynamoDB. Documenten die naar Amazon S3 worden geüpload, worden omgezet naar markdown, opgedeeld in stukken en ingebed in pgvector voor zoekopdrachten. Llama Guard 4 controleert gebruikersinvoer op schadelijke inhoud voordat het verzoek het hoofdmodel bereikt. OneAdvanced ging van prototype naar productie, implementeerde meer dan 50 agents in drie weken en behaalde ISO 42001-certificering voor AI-governance.
Bron: AWS ML blog —
origineel